Originalarbeiterreichbar

Transformer Feed-Forward Layers Are Key-Value Memories

Geva und Mitautoren deuten 2020 die Feed-Forward-Schichten eines Transformers als Speicher aus Schlüsseln und Werten. Der erste Satz nennt eine Faustzahl für ihren Anteil an den Parametern. Die Deutung selbst gehört zur Interpretierbarkeitsforschung.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:

Feed-forward layers constitute two-thirds of a transformerbestätigt 10.11.2026

01 Wie ein Modell innen gebaut ist

Alle Quellen