Dokumentationerreichbar
llama.cpp, Quelltext der Quantisierung beim Commit a4d4f2f
Der Quelltext, mit dem llama.cpp beim Quantisieren jedem Tensor einen Typ zuweist, im Stand vom 09.11.2026. Bei Q4_K_M ist der Grundtyp Q4_K. Ein Teil der Schichten bekommt für attn_v und ffn_down Q6_K, der Ausgabetensor ebenfalls Q6_K. Der Permalink zeigt auf einen festen Stand.
geprüft 10.11.2026
Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtk-quants im Glossar