SchlüsselarbeitOriginalarbeiterreichbar
Fedus, Zoph, Shazeer: Switch Transformers, Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Die Arbeit von Google, zuerst am 11.01.2021, hier in der dritten Fassung vom 16.06.2022, die im Journal of Machine Learning Research erschien. Sie schickt jedes Token an nur einen Experten, vereinfacht den Ausgleich der Last auf eine Formel und erreicht die Qualität eines dichten Vergleichsmodells in einem Siebtel der Trainingszeit.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.10.2026:
trains in one-seventh the time that it would take the T5-Base to get similar perplexity
bestätigt 10.11.2026referred to later as dropped tokens
bestätigt 10.11.2026computation is skipped and the token representation is passed directly to the next layer through the residual connection
bestätigt 10.11.2026widespread adoption has been hindered by complexity, communication costs, and training instability
bestätigt 10.11.2026