SchlüsselarbeitOriginalarbeiterreichbar
Jiang u. a.: Mixtral of Experts
Die Arbeit von Mistral AI vom 08.01.2024 zu Mixtral 8x7B, einem Modell mit offenen Gewichten unter Apache 2.0. Je Schicht wählt ein Router zwei von acht Experten, das Modell hat 47 Milliarden Parameter, davon 13 Milliarden aktiv. Die Arbeit enthält eine Auswertung, nach welchen Mustern die Experten gewählt werden.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:
For every token, at each layer, a router network selects two experts to process the current state and combine their outputs.
bestätigt 10.11.2026each token has access to 47B parameters, but only uses 13B active parameters during inference
bestätigt 10.11.2026The memory costs for serving Mixtral are proportional to its sparse parameter count
bestätigt 10.11.2026They are more suitable for batched workloads where one can reach a good degree of arithmetic intensity.
bestätigt 10.11.2026except on reading comprehension benchmarks while using 5x lower active parameters
bestätigt 10.11.2026Surprisingly, we do not observe obvious patterns in the assignment of experts based on the topic.
bestätigt 10.11.2026The selection of experts appears to be more aligned with the syntax rather than the domain, especially at the initial and final layers.
bestätigt 10.11.2026indentation tokens are always assigned to the same experts
bestätigt 10.11.2026
Wie ein Mixture-of-Experts-Modell rechnetMixture of Experts im Glossar02 Woher Modelle kommen