Looped Trans­former: Ein Modell, das denselben Block mehrfach durch­läuft

Ein gewöhnlicher Transformer schickt jedes Token einmal durch alle seine Schichten, von der ersten bis zur letzten. Wie tief er rechnet, steht damit beim Bau fest. Ein Looped Transformer lässt das Token denselben Block mehrfach durchlaufen. Ein Preprint vom Oktober 2026 fasst das Versprechen in einem Satz: mehr Rechnung im Inneren (externe Seite, arxiv.org), ohne zusätzlichen Speicher.

Dieser Beitrag erklärt die Bauform und ordnet ein, was an ihr gemessen ist und was sie kostet. Danach geht es um das Mitlesen der Denkspur. Er schließt an KI jenseits der Sprachmodelle, Kapitel 03 an, wo Schichten, Tiefe und die großen Bauformen von Netzen stehen, und an den Beitrag Die Denkspur als Fenster ins Modell. Wie ein gewöhnlicher Block innen gebaut ist, zeigt Nutzung und Anpassung von LLMs, Kapitel 01.

Ein Block, mehrere Durchläufe

Die Tiefe eines Netzes ist die Zahl der Schichten, durch die eine Eingabe nacheinander läuft. In einem gewöhnlichen Transformer hat jede Schicht ihre eigenen Gewichte. Ein Looped Transformer speichert einen Block aus wenigen Schichten und wendet ihn mehrmals hintereinander an. Ein Modell aus k Schichten mit L Durchläufen rechnet damit so viele Schritte hintereinander wie eines aus k mal L Schichten. Speichern muss es nur die Gewichte für k.

seitlich verschiebbar

eigene Darstellung nach Dehghani und Mitautoren (2018) und Geiping und Mitautoren (2025), Stand 15.10.2026

Den Gedanken stellten Mostafa Dehghani und Mitautoren im Juli 2018 vor, gut ein Jahr nach der Transformer-Arbeit (externe Seite, arxiv.org). Ihr Universal Transformer (externe Seite, arxiv.org) ist ein rekurrentes Modell mit Aufmerksamkeit, das alle Stellen einer Folge zugleich verarbeitet. Die Wiederholung läuft also über die Tiefe, und die Autoren fassen das Modell als Verallgemeinerung des Transformers auf.

Zur Arbeit gehören zwei weitere Punkte. Ein Haltemechanismus je Position (externe Seite, arxiv.org) entscheidet, wann für ein Token genug gerechnet ist, und verbesserte bei mehreren Aufgaben die Genauigkeit. Und unter bestimmten Annahmen ist das Modell Turing-vollständig (externe Seite, arxiv.org), kann also im Prinzip jede Berechnung ausführen, die sich überhaupt ausführen lässt.

Wie weit das reicht, zeigten Angeliki Giannou und Mitautoren im Januar 2023. Sie setzten die Gewichte eines Transformers von Hand und ließen ihn in einer Schleife laufen. Ein so programmierter Transformer aus 13 Schichten (externe Seite, arxiv.org) führt Programme aus wie ein kleiner Rechner, darunter einen einfachen Taschenrechner. Die Arbeit zeigt damit ohne jedes Training, was die Bauform ausdrücken kann, wenn jemand die passenden Gewichte kennt.

Bei vielen heutigen Sprachmodellen dieser Bauform steht die Zahl der Durchläufe erst bei der Anwendung fest. Jonas Geiping und Mitautoren beschreiben ihr Modell als einen Block, der wiederholt wird und so bei der Anwendung beliebig tief rechnen (externe Seite, arxiv.org) kann. Wer mehr Rechenzeit gibt, bekommt mehr Durchläufe, ohne ein anderes Modell zu laden.

Die Daten nennen die erste Fassung bei arXiv. Die Arbeiten sind seither zum Teil überarbeitet worden, Ouro zuletzt am 11.10.2026.

Was gemessen ist

Jede Messung zu dieser Bauform hat eine Bedingung, und an ihr hängt, was sie aussagt. Alle Zahlen dieses Abschnitts stammen aus den Arbeiten selbst.

Kleine Aufgaben, wenige Parameter. Liu Yang und Mitautoren ließen Transformer Aufgaben lösen, bei denen ein Modell aus Beispielen im Kontext eine Funktion an Daten anpasst. Der Looped Transformer kam nach ihren Versuchen auf vergleichbare Ergebnisse wie ein gewöhnlicher, mit weniger als 10 Prozent der Parameter (externe Seite, arxiv.org). Gemessen ist eine eng umrissene Art von Aufgaben aus dem maschinellen Lernen. Ein Sprachmodell kam darin nicht vor.

Tiefe als eigene Größe. Nikunj Saunshi und Mitautoren vertreten die These, dass viele Denkaufgaben große Tiefe verlangen (externe Seite, arxiv.org), ohne zwingend viele Parameter zu brauchen. Auf künstlichen Aufgaben wie Addition kommt in ihren Versuchen ein Modell aus k Schichten mit L Durchläufen nahe an eines aus k mal L Schichten heran. Beide Modellarten skalieren nach ihrer Auswertung mit der effektiven Tiefe (externe Seite, arxiv.org), ähnlich wie ein Modell, das über eine längere Denkspur mehr rechnet.

Vortrainierte Sprachmodelle. Der Prototyp von Geiping und Mitautoren hat 3,5 Milliarden Parameter und wurde mit 800 Milliarden Tokens (externe Seite, arxiv.org) trainiert. Ouro ist eine Familie solcher Modelle mit offenen Gewichten, vortrainiert auf 7,7 Billionen Tokens. Die meisten Kernautoren arbeiten bei ByteDance Seed, und ByteDance veröffentlicht die Gewichte unter dem eigenen Konto (externe Seite, huggingface.co). Nach Angabe der Autoren erreichen die Modelle mit 1,4 und 2,6 Milliarden Parametern (externe Seite, arxiv.org) über eine breite Auswahl von Benchmarks die Ergebnisse von Modellen mit bis zu 12 Milliarden. Den Vorsprung führen sie in kontrollierten Versuchen auf einen besseren Umgang mit dem Gelernten (externe Seite, arxiv.org) zurück. Außerdem berichten sie, dass die Zwischenschritte ihrer Modelle besser zur Antwort passen (externe Seite, arxiv.org) als eine ausgeschriebene Denkspur.

Ein Modell für den Einsatz gibt es ebenfalls. Nanbeige4.2-3B des Nanbeige Lab ist ein kompaktes Modell für Agentenaufgaben, vorgestellt im Juli 2026. Nach Angabe seiner Entwickler ist es von Grund auf als Looped Transformer vortrainiert (externe Seite, arxiv.org), auf 28 Billionen Tokens.

Wo gewöhnliche Transformer vorn liegen. Ryan Lee und Mitautoren verglichen im Mai 2026 in einem Preprint Modelle mit und ohne Wiederholung. Looped-Modelle skalieren nach ihrer Messung schlechter (externe Seite, arxiv.org) als gewöhnliche Transformer, in denen jede Schicht eigene Gewichte hat. Besser als die Vergleichsmodelle skalierten allein Looped-Modelle mit Mixture of Experts (externe Seite, arxiv.org). Bei ihnen rechnen in jedem Durchlauf durch dieselben Schichten andere Experten.

Was die Bauform kostet

Gespart wird Speicher für die Gewichte. Sie liegen einmal im Speicher, gleich wie oft der Block läuft. Die Rechnung dagegen wächst mit jedem Durchlauf, denn jedes Token geht L-mal durch denselben Block. Ein Block aus k Schichten rechnet bei vier Durchläufen je Token ungefähr so viel wie ein gewöhnliches Modell aus 4k Schichten. Das Modell von Geiping und Mitautoren hat 3,5 Milliarden Parameter und verbessert sich bei Denkaufgaben mit mehr Durchläufen bis zu einer Rechenlast, die 50 Milliarden Parametern entspricht (externe Seite, arxiv.org).

Beim Erzeugen von Text kommt allerdings Speicher hinzu: Der KV-Cache hält für jeden Durchlauf eigene Einträge. Geiping und Mitautoren begrenzen ihn deshalb in Abschnitt 6.2 ihrer Arbeit (externe Seite, arxiv.org), indem sich mehrere Durchläufe einen Platz teilen.

Daraus folgt ein Hebel für den Betrieb. Bei solchen Modellen wird die Zahl der Durchläufe beim Ausführen gewählt (externe Seite, arxiv.org), und weniger Durchläufe sind billiger und schneller. Was das kostet, misst ein Preprint vom 10.10.2026, unbegutachtet. Mit der halben trainierten Tiefe löst Ouro-1.4B-Thinking noch 69,2 Prozent der Matheaufgaben aus GSM8K (externe Seite, arxiv.org), gegen 77,5 Prozent bei voller Tiefe, und behält damit 89 Prozent seiner Genauigkeit. Im selben Schritt steigt der Anteil schädlicher Anfragen, bei denen das Modell hilft, von 3,8 auf 20,5 Prozent (externe Seite, arxiv.org), auf mehr als das Fünffache. Die Ablehnung schädlicher Anfragen leidet beim Sparen also stärker als die Mathematik.

Was die Bauform für die Denkspur bedeutet

Ein Reasoning-Modell rechnet länger, indem es Zwischenschritte als Text schreibt, wie in Grundkurs, Kapitel 01 beschrieben. Diesen Text können Anbieter und Prüfer mitlesen. Die zusätzlichen Durchläufe eines Looped Transformers erscheinen in keinem Text. Sie rechnen mit Zahlen im Inneren des Modells, und wer sie verstehen will, braucht die Werkzeuge aus Beurteilen und Einordnen, Kapitel 06.

Tomek Korbak und 40 Mitautoren, darunter Yoshua Bengio und Jakub Pachocki von OpenAI, halten das Mitlesen der Denkspur für eine Möglichkeit, die verloren gehen kann. Sie empfehlen den Entwicklern großer Modelle deshalb, die Folgen ihrer Ent­wick­lungs­ent­schei­dungen (externe Seite, arxiv.org) für die Überwachbarkeit zu bedenken. Als eine Gefahr nennen sie in Abschnitt 2 ihrer Arbeit (externe Seite, arxiv.org) neue Architekturen, die ein Modell in einem inneren Zahlenraum schrittweise tiefer rechnen lassen, und führen dafür Recurrent Depth und Coconut an. Abschnitt 4 schlägt vor, dass ein Entwickler die Entscheidung für eine Architektur ohne überwachbare Denkspur in der Systemkarte festhält, sobald das Modell im Einsatz ist.

Denken ohne ausgeschriebenen Text heißt in der Forschung Latent Reasoning, und es gibt dafür eine zweite Bauform. Bei Coconut von Shibo Hao und Mitautoren gibt das Modell seinen letzten inneren Zustand direkt als nächste Eingabe zurück (externe Seite, arxiv.org), ohne ihn in Wörter zu übersetzen. Coconut rechnet damit in zusätzlichen Schritten der Folge, der Looped Transformer in zusätzlichen Durchläufen je Token. Beide entziehen einen Teil der Rechnung dem Mitlesen.

Im Oktober 2026 erschienen drei Preprints zu Überwachung und Sicherheit solcher Modelle, alle unbegutachtet:

• Han Wang und Mitautoren finden bei manchen Aufgaben unter Belastungstests einen Rückgang der Überwachbarkeit, wenn Modelle derselben Familie mehr Durchläufe rechnen. Im Vergleich mit gewöhnlichen Modellen gleicher Größe oder Tiefe fanden sie keinen Hinweis (externe Seite, arxiv.org), dass Looped-Modelle durchweg schlechter zu überwachen sind.
• Yi Wang und Mitautoren prüfen Umgehungsversuche gegen verschiedene Tiefen und folgern, dass sich die Sicherheit eines solchen Modells an keiner einzelnen Tiefe ablesen lässt (externe Seite, arxiv.org).
• Das Preprint zu weniger Durchläufen aus dem vorigen Abschnitt gehört ebenfalls hierher: Die Tiefe, die ein Betreiber wählt, verändert das Verhalten des Modells.

Was über OpenAI belegt ist

Ob ein Produktmodell eines großen Anbieters die Bauform nutzt, ist offen. Drei Aussagen von OpenAI berühren die Frage.

Jakub Pachocki, Chief Scientist bei OpenAI, schrieb am 02.09.2026, die Tiefe des Rechengraphen (externe Seite, x.com) der aktuellen Spitzenmodelle, Astra eingeschlossen, liege innerhalb eines Faktors zwei von GPT-4. Anlass war nach seinen Worten eine verwirrende Berichterstattung. Die Angabe begrenzt die Rechentiefe, gleich auf welchem Weg sie entsteht. Mit einer Wiederholung von Schichten ist sie vereinbar, solange die Gesamttiefe in diesem Rahmen bleibt. Im selben Beitrag nennt er das Mitlesen der Denkspur zerbrechlich und auf einem ungünstigen Weg, aus Gründen, die nach seinen Worten nicht an Änderungen der Architektur hängen. Die Gründe kündigte er für später an.

Die Systemkarte zu GPT-6 Astra meldet eine Denkspur, die das Modell besser steuern kann als seine Vorgänger. OpenAI ist nach eigenen Worten recht zuversichtlich (externe Seite, deploymentsafety.openai.com), dass Änderungen an der Architektur diese Entwicklung nicht in besonderem Maß verursacht haben. Den Anstieg beobachtet OpenAI vor allem im Verlauf des Trainings mit Reinforcement Learning (externe Seite, deploymentsafety.openai.com), und er geht mit den gewachsenen Fähigkeiten ohne Denkspur (externe Seite, deploymentsafety.openai.com) einher.

In seinem Essay vom 06.09.2026 schreibt Pachocki, nach den eigenen Auswertungen könne OpenAI sich immer weniger auf das Mitlesen der Denkspur verlassen (externe Seite, openai.com). Er nennt drei Gründe. Das Denken mischt sich mit Gesprächen mit Menschen und anderen KIs und mit Werkzeugaufrufen, von denen viele überwacht werden müssen. Das Modell kann sein eigenes Denken besser steuern (externe Seite, openai.com). Und mit besserem Vortraining wird es auch ohne ausgeschriebenes Denken klüger (externe Seite, openai.com). Eine Wiederholung von Schichten nennen weder die Systemkarte noch der Essay, Stand 15.10.2026.

Was offen bleibt

Belegt ist die Forschungslinie, vom Universal Transformer 2018 bis zu den offenen Ouro-Modellen, und mit Nanbeige4.2-3B gibt es ein veröffentlichtes kleines Modell dieser Bauform. Dazu kommen Messungen, was mehr oder weniger Durchläufe für Sicherheit und Überwachung bedeuten, die jüngsten als unbegutachtete Preprints. Ob die Modelle der großen Anbieter die Bauform nutzen, bleibt offen, bis einer es in einer Systemkarte oder Ankündigung sagt.