Nachschlagen·Quellenregister
Originalarbeiterreichbar
Clark u. a.: Unified Scaling Laws for Routed Language Models
arxiv.org (externe Seite)
Die Arbeit von DeepMind vom 02.02.2022, die Skalierungsgesetze für Modelle mit Routing aufstellt. Sie sagt einen abnehmenden Nutzen des Routings bei wachsender Modellgröße voraus. Alle Modelle wurden dafür gleich lange trainiert, mit 130 Milliarden Token.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:
predict diminishing improvements from routing when increasing scale
bestätigt 10.11.2026
Wie ein Mixture-of-Experts-Modell rechnet
Alle Quellen