SchlüsselarbeitOriginalarbeiterreichbar
Shazeer u. a.: Outrageously Large Neural Networks, The Sparsely-Gated Mixture-of-Experts Layer
Die Arbeit vom 23.01.2017, die Mixture of Experts für große Sprachmodelle einführt. Eine Schicht aus bis zu Tausenden Experten sitzt zwischen den Schichten eines LSTM-Modells, ein lernendes Auswahlnetz wählt je Eingabe wenige davon aus. Die größte Fassung hat 137 Milliarden Parameter in dieser Schicht.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:
achieving greater than 1000x improvements in model capacity with only minor losses in computational efficiency
bestätigt 10.11.2026A trainable gating network determines a sparse combination of these experts to use for each example.
bestätigt 10.11.2026
Wie ein Mixture-of-Experts-Modell rechnetMixture of Experts im Glossar