Originalarbeiterreichbar
On Layer Normalization in the Transformer Architecture
Xiong und Mitautoren untersuchen 2020, wo im Transformer die Normalisierung stehen soll. Steht sie hinter jedem Unterblock wie 2017, sind die Gradienten nahe der Ausgabe beim Trainingsstart groß, und das Training braucht eine Aufwärmphase. Steht sie davor, verhalten sich die Gradienten von Anfang an gutartig.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 19.10.2026:
show that the location of layer normalization matters
bestätigt 10.11.2026the gradients are well-behaved at initialization
bestätigt 10.11.2026