Originalarbeiterreichbar

Ludziejewski u. a.: Joint MoE Scaling Laws, Mixture of Experts Can Be Memory Efficient

Die Arbeit vom 07.02.2025, die dichte und MoE-Modelle bei gleichem Speicher vergleicht. Sie kommt zu dem Schluss, dass MoE auch bei knappem Speicher oft die bessere Wahl ist. Gemessen wurde an Modellen bis 2,7 Milliarden aktiver und 5 Milliarden gesamter Parameter.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

MoE can often be the preferred alternative to dense models, even if GPU memory is the constraining factorbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen