Originalarbeiterreichbar
Sparse Layers are Critical to Scaling Looped Language Models
Preprint von Ryan Lee, Jacob Biloki, Edward J. Hu und Jonathan May, erste Fassung vom 09.05.2026, zweite vom 30.06.2026. Es vergleicht gewöhnliche Transformer und Mixture-of-Experts-Modelle, jeweils mit und ohne Wiederholung von Schichten, und misst, wie sie mit wachsender Größe skalieren.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 15.10.2026:
However, looped models do not scale as favorably as standard transformers with unique layers.
bestätigt 10.11.2026First, we find Looped-Mo
bestätigt 10.11.2026E models scale better than the standard baseline while dense looped models do not. in Looped-Mo
bestätigt 10.11.2026E models, different experts are activated on each pass through the same shared layers, recovering expressivity without additional parameters.
Looped Transformer: Ein Modell, das denselben Block mehrfach durchläuft