Dokumentationerreichbar
mlx.core.quantize
ml-explore.github.io (externe Seite)
Die Doku der Funktion, mit der MLX Gewichte quantisiert, abgerufen in Fassung 0.32.4. Eine Tabelle nennt die Arten affine, mxfp4, mxfp8 und nvfp4 mit Gruppengröße und Skalentyp: mxfp4 und mxfp8 mit 32 Werten und einer Skala in E8M0, nvfp4 mit 16 Werten und einer Skala in E4M3.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 09.11.2026:
The elements are quantized to 4-bit or 8-bit precision floating-point values
bestätigt 10.11.2026There is a shared 8-bit scale per group.
bestätigt 10.11.2026mode uses an E4M3 scale
bestätigt 10.11.2026Unlike affine quantization, these modes does not have a bias value.
bestätigt 10.11.2026
Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtNVFP4 im Glossar