Artikelerreichbar
Apple: Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU
machinelearning.apple.com (externe Seite)
Ein Beitrag von Apples Forschungsabteilung vom 19.11.2025 über Sprachmodelle auf Apple-Rechnern mit MLX. Er hält fest, dass die Erzeugung jedes weiteren Tokens durch die Speicherbandbreite begrenzt ist, und misst unter anderem ein Mo
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:
Generating subsequent tokens is bounded by memory bandwidth, rather than by compute ability.
bestätigt 10.11.2026TTFT is compute-bound, while generation is memory-bandwidth-bound.
bestätigt 10.11.202630B Mo
bestätigt 10.11.2026E 4-bit quantized generating the first token is compute-bound, and takes full advantage of the Neural Accelerators
bestätigt 10.11.2026the M5 provides 19-27% performance boost compared to the M4, thanks to its greater memory bandwidth
bestätigt 10.11.2026120GB/
bestätigt 10.11.2026s for the M4, 153GB/ s for the M5, which is 28% higher keeping the inference workload under 18GB for both of these architectures
bestätigt 10.11.2026
Wie ein Mixture-of-Experts-Modell rechnet04 Was ein Modell an Hardware braucht