Originalarbeiterreichbar

Zhou u. a.: Mixture-of-Experts with Expert Choice Routing

Die Arbeit von Google vom 18.02.2022, hier in der Fassung vom 14.10.2022 zur NeurIPS 2022. Sie dreht die Wahl um: Die Experten wählen ihre Token, jeder bekommt gleich viele. Für die Erzeugung von Text Token für Token passt das nach Angabe der Autoren nicht ohne Weiteres.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

might not immediately apply to auto-regressive text generationbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen