Originalarbeiterreichbar
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
machinelearning.apple.com (externe Seite)
Forschungsbeitrag von Apple vom 15. Oktober 2026: beschreibt die verteilte Ausführung von Muse Spark Open auf zwei Mac Studios mit M5 Ultra und den Speicherbedarf in NVFP4.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
Time to first token (TTFT) is essentially compute bound
bestätigt 10.11.2026Generation speed (in tokens per second) is memory-bandwidth bound.
bestätigt 10.11.2026The M5 Ultra chip delivers 1.2 TB/
bestätigt 10.11.2026s of unified memory bandwidth, up from 819 GB/ s for the M3 Ultra. Pipeline parallelization leaves decode speed essentially unchanged.
bestätigt 10.11.2026would require more than 1.6TB of RAM in its native precision (BF16) for the model parameters alone
bestätigt 10.11.2026In a 4-bit quantized (NVFP4) format, the model memory footprint is lowered to about 493GB.
bestätigt 10.11.2026Add the memory needed for intermediate computations during inference, and the model cannot fit on a single machine.
bestätigt 10.11.2026
Muse Spark Open läuft laut Apple verteilt auf zwei Mac Studios mit M5 Ultra04 Was ein Modell an Hardware braucht