Originalarbeiterreichbar

Dai u. a.: DeepSeekMoE, Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

Die Arbeit von DeepSeek vom 11.01.2024, die feinkörnige Experten und geteilte Experten einführt. Ein Experte wird in mehrere kleinere zerlegt, damit der Router feiner zuteilen kann. Geteilte Experten durchläuft jedes Token, sie sollen gemeinsames Wissen aufnehmen.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

4,426,165,368 potential combinationsbestätigt 10.11.2026
aiming at capturing common knowledge and mitigating redundancy in routed expertsbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen