Originalarbeiterreichbar
Qwen, Modellkarte Qwen3-30B-A3B-Instruct-2507-FP8
huggingface.co (externe Seite)
Die Fassung desselben Modells mit Gewichten in 8 Bit Gleitkomma, vom Hersteller selbst. Die Gewichte wiegen laut Indexdatei 31,17 GB, die Fassung in BF16 61,06 GB. Was über die Hälfte hinausgeht, sind fast ganz die Matrizen für das Vokabular am Ein- und Ausgang, die in 16 Bit bleiben; die Skalierungsfaktoren machen wenige Megabyte aus.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
The quantization method is fine-grained fp8 quantization with block size of 128.
bestätigt 10.11.2026