Originalarbeiterreichbar

Komatsuzaki u. a.: Sparse Upcycling, Training Mixture-of-Experts from Dense Checkpoints

Die Arbeit von Google vom 09.12.2022, erschienen zur ICLR 2023. Sie macht aus einem fertigen dichten Modell ein MoE-Modell, indem sie den Feed-Forward-Teil zu Experten vervielfältigt und weitertrainiert. Der zusätzliche Aufwand liegt bei rund der Hälfte des ursprünglichen Trainings.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:

sparse models remain data-hungry and costly to train from scratchbestätigt 10.11.2026
significantly outperform their dense counterparts on SuperGLUE and ImageNetbestätigt 10.11.2026

Wie ein Mixture-of-Experts-Modell rechnet

Alle Quellen