Originalarbeiterreichbar
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
Ainslie und Mitautoren führen 2023 die Grouped-Query Attention ein, eine Mitte zwischen einem eigenen Schlüssel-Wert-Kopf je Abfragekopf und einem einzigen für alle. Mehrere Abfrageköpfe teilen sich dabei eine Gruppe. Die Arbeit misst Qualität nahe am Vollmodell bei einer Geschwindigkeit nahe am geteilten Fall.
geprüft 10.11.2026Archivfassung (externe Seite, web.archive.org)
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
which uses an intermediate (more than one, less than number of query heads) number of key-value heads
bestätigt 10.11.2026We show that uptrained GQA achieves quality close to multi-head attention with comparable speed to MQA.
bestätigt 10.11.2026Autoregressive decoder inference is a severe bottleneck for Transformer models due to the memory bandwidth overhead from loading decoder weights and all attention keys and values at every decoding step
bestätigt 10.11.2026key and value heads to a single key and value head, reducing the size of the key-value cache and therefore amount of data that needs to be loaded by a factor of
bestätigt 10.11.2026as the KV-cache scales with model dimension while model FLOPs and parameters scale with the square of model dimension
bestätigt 10.11.2026
Grouped-Query Attention im Glossar01 Wie ein Modell innen gebaut ist04 Was ein Modell an Hardware braucht