Originalarbeiterreichbar

Puigcerver u. a.: From Sparse to Soft Mixtures of Experts

Die Arbeit von Google DeepMind vom 02.08.2023, hier in der zweiten Fassung. Sie benennt eine Folge der festen Kapazität je Experte: Token verschiedener Eingaben konkurrieren um die Plätze, und die Ausgabe einer Eingabe hängt dann von den anderen im selben Stapel ab. Das gilt für Verfahren mit Kapazitätsgrenze.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

these tokens compete for available spots in expert buffersbestätigt 10.11.2026
the model is no longer deterministic at the sequence-level, but only at the batch-levelbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen