Originalarbeiterreichbar

Muennighoff u. a.: OLMoE, Open Mixture-of-Experts Language Models

Die Arbeit des Allen Institute for AI vom 03.09.2024 zu OLMoE-1B-7B, einem MoE-Modell mit offenen Gewichten, Daten und Trainingscode. Sie wertet aus, worauf sich die Experten spezialisieren, und vergleicht ein hochgezogenes mit einem von Grund auf trainierten MoE.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

requires more GPU memory to store its 7B total parametersbestätigt 10.11.2026
experts exhibit domain and vocabulary specializationbestätigt 10.11.2026
We hypothesize that this is due to Mixtral being upcycled from Mistralbestätigt 10.11.2026
At around 600B tokens, the MoE from scratch starts outperforming the upcycled MoE.bestätigt 10.11.2026
but falls short of others like Llama3.1-8Bbestätigt 10.11.2026
the first expert in layer 0 is nearly 100% specializedbestätigt 10.11.2026
activate for many non-alphabetic tokens, such as Cyrillic and Devanagari lettersbestätigt 10.11.2026
likely a result of the dataset and modeling changes we make to the OLMo setupbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen