Originalarbeiterreichbar

Lepikhin u. a.: GShard, Scaling Giant Models with Conditional Computation and Automatic Sharding

Die Arbeit von Google vom 30.06.2020, die Mixture of Experts in den Transformer bringt: Jede zweite Feed-Forward-Schicht wird zur MoE-Schicht mit zwei aktiven Experten, das Übersetzungsmodell hat über 600 Milliarden Parameter. Sie führt die feste Kapazität je Experte ein und misst den Aufwand für die Verteilung der Token auf die Geräte.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

the token is considered as an overflowed tokenbestätigt 10.11.2026
passed on to the next layer via residual connectionsbestätigt 10.11.2026
their proportion of execution time in the MoE and Transformer increases from 16% to 36%bestätigt 10.11.2026
It is important that the gating function does not always choose the same few expertsbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen