Originalarbeiterreichbar
Reasoning with Latent Thoughts: On the Power of Looped Transformers
Die Arbeit von Nikunj Saunshi und vier Mitautoren, eingereicht am 24.02.2025, angenommen für die ICLR 2025. Sie vergleicht Modelle mit k Schichten und L Durchläufen mit gewöhnlichen Modellen aus k mal L Schichten, auf künstlichen Denkaufgaben und beim Sprachmodell.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 15.10.2026:
In this work, we make a stronger claim -- many reasoning problems require a large depth but not necessarily many parameters.
bestätigt 10.11.2026In fact, our empirical analysis reveals an intriguing phenomenon: looped and non-looped models exhibit scaling behavior that depends on their effective depth, akin to the inference-time scaling of chain-of-thought (Co
bestätigt 10.11.2026T) reasoning.
Looped Transformer: Ein Modell, das denselben Block mehrfach durchläuft