Originalarbeiterreichbar
Fast Transformer Decoding: One Write-Head is All You Need
Shazeer beschreibt 2019, warum ein Transformer beim Erzeugen Token für Token langsam ist: Für jeden Schritt werden die gespeicherten Schlüssel und Werte erneut aus dem Speicher geladen. Sein Vorschlag lässt alle Köpfe der Aufmerksamkeit einen gemeinsamen Satz Schlüssel und Werte benutzen.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
We propose a variant called multi-query attention
bestätigt 10.11.2026greatly reducing the size of these tensors and hence the memory bandwidth requirements of incremental decoding
bestätigt 10.11.2026
Grouped-Query Attention im Glossar01 Wie ein Modell innen gebaut ist