Originalarbeiterreichbar

Zoph u. a.: ST-MoE, Designing Stable and Transferable Sparse Expert Models

Die Arbeit von Google vom 17.02.2022, hier in der zweiten Fassung vom 29.04.2022. Sie macht das Training großer MoE-Modelle mit einem Zusatzterm für den Router stabil, untersucht die Überanpassung beim Feinabstimmen und wertet aus, worauf sich einzelne Experten spezialisieren.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

router z-loss that resolves instability issuesbestätigt 10.11.2026
sparse models are prone to overfittingbestätigt 10.11.2026
some encoder experts exhibit clear specialization, with some experts primarily operating on punctuation, verbs, proper names, counting, etc.bestätigt 10.11.2026
without a clear semantic or syntactic specializationbestätigt 10.11.2026
we also do not observe meaningful specialization (semantics or syntax) in decoder expertsbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen