Originalarbeiterreichbar

GLU Variants Improve Transformer

Shazeer ersetzt 2020 die Aktivierung im Feed-Forward-Teil durch Varianten mit einem zweiten, multiplikativ wirkenden Zweig, darunter SwiGLU. Die Arbeit misst bessere Werte und sagt im Schluss ausdrücklich, dass sie keine Erklärung dafür hat.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:

We offer no explanation as to why these architectures seem to workbestätigt 10.11.2026
we attribute their success, as all else, to divine benevolencebestätigt 10.11.2026

01 Wie ein Modell innen gebaut ist

Alle Quellen