Originalarbeiterreichbar
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
Die Arbeit zu AWQ vom 01.06.2023, von Forschenden am MIT, bei NVIDIA und an weiteren Hochschulen. Wer ein Prozent der wichtigsten Gewichte schützt, senkt den Fehler einer Quantisierung deutlich; welche das sind, zeigen die Aktivierungen. AWQ skaliert diese Kanäle vor dem Quantisieren hoch.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 09.11.2026:
AWQ finds that not all weights in an LLM are equally important.
bestätigt 10.11.2026Protecting only 1% salient weights can greatly reduce quantization error.
bestätigt 10.11.2026
derzeit nirgends verwendet