Dokumentationerreichbar
llama.cpp, README von llama-quantize beim Commit a4d4f2f
Die Anleitung des Werkzeugs, mit dem llama.cpp eine GGUF-Datei quantisiert, im Stand vom 09.11.2026. Sie nennt den Genauigkeitsverlust und wie er gemessen wird. Eine Tabelle mit Messwerten für Llama 3.1 8B gibt für Q4_K_M 4,8944 Bit je Gewicht an. Der Permalink zeigt auf einen festen Stand.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 09.11.2026:
Quantization reduces the precision of model weights (e.g., from 32-bit floats to 4-bit integers), which shrinks the model's size and can speed up inference.
bestätigt 10.11.2026may introduce some accuracy loss which is usually measured in Perplexity (ppl)
bestätigt 10.11.2026
derzeit nirgends verwendet