Originalarbeiterreichbar
Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach
Die Arbeit von Jonas Geiping und acht Mitautoren, eingereicht am 07.02.2025, zweite Fassung vom 17.02.2025. Sie baut ein Sprachmodell, das zusätzlichen Rechenaufwand über wiederholte Durchläufe eines Blocks erzeugt, ohne dafür Text auszugeben. Den wiederholten Block führt die Arbeit selbst auf die Universal Transformers von 2018 zurück. Der Prototyp hat 3,5 Milliarden Parameter, Modell und Code sind veröffentlicht.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 06.10.2026:
Our model works by iterating a recurrent block, thereby unrolling to arbitrary depth at test-time.
bestätigt 10.11.2026We scale a proof-of-concept model to 3.5 billion parameters and 800 billion tokens.
bestätigt 10.11.2026We show that the resulting model can improve its performance on reasoning benchmarks, sometimes dramatically, up to a computation load equivalent to 50 billion parameters.
bestätigt 10.11.2026
Die Denkspur als Fenster ins Modell, und was GPT-6 Astra daran ändertLooped Transformer: Ein Modell, das denselben Block mehrfach durchläuftLooped Transformer im Glossar