Originalarbeiterreichbar
k-quants, Pull Request 1684 an llama.cpp
Der Pull Request, mit dem Iwan Kawrakow die k-quants in llama.cpp einbrachte, übernommen am 05.06.2023. Gewichte liegen in Superblöcken; Q4_K hat 8 Blöcke zu 32 Gewichten und kommt auf 4,5 Bit je Gewicht, Q6_K auf 6,5625. Q4_K_M nimmt für die Hälfte der Tensoren attention.wv und feed_forward.w2 den Typ Q6_K.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 09.11.2026:
weights w are obtained from quants q using w = d * q, where d is the block scale.
bestätigt 10.11.2026weights are given by w = d * q + m, where m is the block minimum.
bestätigt 10.11.20264-bit quantization in super-blocks containing 8 blocks, each block having 32 weights. Scales and mins are quantized with 6 bits. This ends up using 4.5 bpw.
bestätigt 10.11.20266-bit quantization. Super-blocks with 16 blocks, each block having 16 weights. Scales are quantized with 8 bits. This ends up using 6.5625 bpw
bestätigt 10.11.2026LLAMA_FTYPE_MOSTLY_Q4_K_M - uses GGML_TYPE_Q6_K for half of the attention.wv and feed_forward.w2 tensors, else GGML_TYPE_Q4_K
bestätigt 10.11.2026
Gleicher Name, neuer Digest: Wie Ollama ein Modell ablegtk-quants im Glossar