Originalarbeiterreichbar

Krajewski u. a.: Scaling Laws for Fine-Grained Mixture of Experts

Die Arbeit vom 12.02.2024, die Skalierungsgesetze für feinkörnige Experten aufstellt und die Trainingsdauer mitwachsen lässt. Sie findet eine wachsende Lücke zugunsten von MoE und widerspricht damit ausdrücklich der Vorhersage von Clark u. a. 2022.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

the efficiency gap between dense and MoE models widens as we scale up the model size and training budgetbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen