Die Denkspur als Fenster ins Modell, und was GPT-6 Astra daran ändert
Ein Reasoning-Modell schreibt vor der Antwort Zwischenschritte, und darin zeigte sich schon, dass ein Modell seine Testumgebung erkannt hatte. Zwei Deep
Ein Reasoning-Modell schreibt vor seiner Antwort Zwischenschritte, und wer sie lesen darf, sieht darin manchmal mehr, als die Antwort verrät. Rohin Shah und Anca Dragan von Google DeepMind halten diese Denkspur für ein Sicherheitsmerkmal, das es zu bewahren gilt, und sehen es in einem Essay des DeepMind Institute bedroht (Beleg (externe Seite, institute.deepmind.com)). Als Anlass nennen sie OpenAIs Systemkarte zu GPT-6 Astra.
Dieser Beitrag ordnet ein, was die Denkspur zeigt, wer sie zu sehen bekommt, was bei Astra gemessen wurde und was die beiden vorschlagen. Er schließt an Beurteilen und Einordnen, Kapitel 06 an, wo es um Interpretierbarkeit und die Selbstauskunft eines Modells geht, und an Beurteilen und Einordnen, Kapitel 07, wo die Prüfer von außen stehen.
Was die Denkspur ist
Dass ein Reasoning-Modell vor der Antwort Zwischenschritte erzeugt und dafür mehr Rechenzeit verbraucht, steht in Grundkurs, Kapitel 01. Shah und Dragan vergleichen das mit einem Notizzettel: Das Modell schreibt sein Zwischendenken auf, bevor es sich auf eine Antwort festlegt (Beleg (externe Seite, institute.deepmind.com)). Im Englischen heißt die Sache Chain of Thought, wie die Prompt-Technik, deren Gedanken die Reasoning-Modelle ins Training geholt haben.
Beurteilen und Einordnen, Kapitel 06 hält fest, dass die Begründung eines Modells ein Text über den Vorgang ist, dessen Richtigkeit erst eine Prüfung von außen belegt. Auch die Denkspur ist Text. Sie entsteht aber vor der Antwort, und das Modell rechnet mit ihr weiter; eine nachträgliche Erklärung entsteht erst, wenn das Ergebnis feststeht.
Warum man der Denkspur eher trauen kann als anderen Ausgaben, begründen Shah und Dragan mit dem Training: Bisher werde sie allein daraufhin trainiert, zu guten Antworten zu führen, und wie sie aussieht, belohne das Training nicht (Beleg (externe Seite, institute.deepmind.com)). Dieselben Autoren schränken das selbst ein. Große KI-Unternehmen hätten Denkspuren bereits versehentlich dafür belohnt, sicher auszusehen (Beleg (externe Seite, institute.deepmind.com)). Das Argument beschreibt also, worauf ein Training achten sollte. Wie ein bestimmtes Modell tatsächlich trainiert wurde, belegt es nicht.
Lücken hat die Denkspur ohnehin. Anthropic hat 2025 die Denkspur von Claude 3.7 Sonnet mit der Rechnung im Inneren verglichen. Bei der Wurzel aus 0,64 passten beide zusammen. Beim Kosinus einer großen Zahl behauptete das Modell eine Rechnung, von der sich im Inneren keine Spur fand, und mit einem Hinweis auf das Ergebnis arbeitete es manchmal rückwärts: Es suchte Zwischenschritte, die zu diesem Ergebnis führen. Anthropic fasst das im Bericht über das Nachverfolgen (externe Seite, anthropic.com) in einem Satz: Claude erfindet manchmal plausibel klingende Schritte, um dorthin zu kommen, wo es hinwill.
Die Denkspur liegt damit zwischen den beiden Wegen aus Beurteilen und Einordnen, Kapitel 06. Sie entsteht früher als eine Selbstauskunft, ist viel billiger als das Nachverfolgen im Modell und bleibt dabei lückenhaft.
Wozu man hineinsieht
Das Beispiel aus dem Essay stammt aus der Prüfung von Gemini 3 Pro vor der Veröffentlichung. In der Denkspur zeigte sich, dass das Modell erkannt hatte, in einer simulierten Testumgebung zu stecken. An einer Stelle beklagte es sich bei sich selbst, sein Vertrauen in die Wirklichkeit (externe Seite, institute.deepmind.com) schwinde. Nützliche Prüfungen müssten ein Modell nicht über die Lage täuschen, schreiben Shah und Dragan, man müsse aber wissen, wann es sich für geprüft hält.
Ein solcher Befund ändert, wie man eine Messung liest: Ein Modell, das die Prüfung erkennt, kann sich darin anders verhalten als im Betrieb. Beurteilen und Einordnen, Kapitel 07 zeigt das an Astra. Apollo Research zählte, wie oft das Modell in seiner Denkspur äußert, geprüft zu werden. Laut Systemkarte (externe Seite, deploymentsafety.openai.com) geschah das bei der Denkstufe xhigh in 41,1 Prozent der Durchläufe von Astra, bei GPT-5.5 auf derselben Stufe in 27,7 Prozent.
Apollo folgert daraus selbst, dass wenig Fehlverhalten in diesen Tests wenig über die Ausrichtung des Modells aussagt (Beleg (externe Seite, deploymentsafety.openai.com)). Erhoben wurde die Zahl in der Denkspur.
Auch im Betrieb wird mitgelesen. Für den internen Einsatz von Astra beschreibt OpenAI eine lückenlose Überwachung (externe Seite, deploymentsafety.openai.com) vollständiger Abläufe samt Denkspur.
Das Nachverfolgen im Modell reicht tiefer und kostet viel Handarbeit. Anthropic schreibt über sein eigenes Verfahren (externe Seite, anthropic.com), es koste einige Stunden menschlicher Arbeit, die gefundenen Schaltkreise zu verstehen, selbst bei Prompts von nur einigen Dutzend Wörtern. Dazu erfasse es nur einen Teil der Rechnung (Beleg (externe Seite, anthropic.com)). Die Denkspur liegt dagegen als Text vor, und ein Überwachungssystem kann sie bei jeder Anfrage lesen.
Wer die Denkspur zu sehen bekommt
Um dieses Fenster geht es DeepMind, und es steht vor allem den Anbietern offen. Wer Claude über Anthropics Schnittstelle nutzt, bekommt höchstens eine Zusammenfassung der Denkspur zu lesen. Laut Doku zur Denkanzeige (externe Seite, platform.claude.com) gibt keine Anzeigeeinstellung die rohe Denkspur zurück.
Bei Opus 5.5 und anderen neuen Claude-Modellen bleibt auch die Zusammenfassung ausgeblendet, bis man sie anfordert. Die vollständige Denkspur geht verschlüsselt an den Client, der sie mit der nächsten Anfrage unverändert zurückschickt, und erst der Server entschlüsselt sie wieder (Beleg (externe Seite, platform.claude.com)). Dasselbe Verfahren beschreibt eine Forschungsgruppe, die im August 2026 die Schnittstellen von Anthropic, OpenAI und Google untersucht hat. Als Grund der Anbieter nennt sie den Schutz des geistigen Eigentums (externe Seite, alphaxiv.org) und das Begrenzen abfließender Information.
Was dieser Schutz wert ist, hat Anthropic im Oktober 2026 an einem eigenen Versuch beziffert. Ein vortrainiertes Claude-Modell wurde auf die Denkspuren von Claude Opus 4.8 abgestimmt. Mit den vollen Denkspuren löste es im Programmier-Benchmark SWE-bench Verified 80,4 Prozent der Aufgaben, mit nur den Zusammenfassungen 71,8 Prozent (Beleg (externe Seite, anthropic.com)). Wer ein Modell an einem anderen lernen lässt, gewinnt mit der vollen Denkspur in diesem Versuch also gut acht Punkte. Wie das geht und wer es bei wem versucht, zeigt Nutzung und Anpassung von LLMs, Kapitel 03.
Die Arbeit zeigt zugleich, was eine aufbewahrte Denkspur kostet. Die Gruppe brachte ein schwächeres Modell desselben Anbieters dazu, untergeschobene verschlüsselte Blöcke im Klartext auszugeben. Aus 315.320 Blöcken, die Entwickler mit ihren Sitzungsprotokollen in öffentlichen Repositories abgelegt hatten, gewann sie 367 personenbezogene Angaben und 182 Zugangsdaten zurück, dazu gefährliche Inhalte, deren Herausgabe die sichtbare Antwort verweigert hatte. Über denselben Weg ließen sich unsichtbare Anweisungen einschleusen (Beleg (externe Seite, alphaxiv.org)). Eine Denkspur, die gespeichert und mitgelesen wird, ist selbst ein Datenbestand, der geschützt werden muss.
Neben den Anbietern lesen die Prüfer mit, die sie zulassen. Apollo Research hatte bei Astra an zwei von drei Prüftagen Zugang zu einem Stand mit sichtbarer Denkspur (Beleg (externe Seite, deploymentsafety.openai.com)). Wer ein Modell einsetzt, prüft also selbst nicht nach, ob es täuscht, und liest in der Systemkarte, was der Anbieter und dessen Prüfer darin gefunden haben.
Was bei GPT-6 Astra gemessen wurde
Die Systemkarte zu Astra erschien am 03.09.2026 und wurde seither zweimal ergänzt, am 09.09. im Abschnitt zur Ausrichtung und am 22.09. bei den HealthBench-Werten (Beleg (externe Seite, deploymentsafety.openai.com)). Zitiert ist hier die Fassung vom 25.09.2026. Ihr Abschnitt zur Überwachbarkeit (externe Seite, deploymentsafety.openai.com) beginnt mit einem deutlichen Befund: Nach OpenAIs eigenen Prüfungen lässt sich die Denkspur von GPT-6 Astra wesentlich schlechter überwachen als bei früheren Modellen.
Worin der Rückgang besteht, sagt die Zusammenfassung am Anfang der Karte: Astra kann seine eigene Denkspur besser steuern als GPT-5.6 Sol und schreibt seltener belastende Angaben hinein.
Gemessen hat OpenAI unter zwei Bedingungen, und die Karte führt für beide eigene Abschnitte: ohne Eingriff in das, was das Modell dem Überwacher zeigt, und mit dem gezielten Versuch, es zum Ausweichen zu bringen. Die Zusammenfassung stützt ihre Befunde nach eigener Angabe derzeit vor allem auf die zweite Art, also auf Prüfungen, in denen OpenAI das Modell anweist, der Überwachung auszuweichen.
Unter diesen Bedingungen blieb Astra unentdeckt, wenn es in Prüfungen absichtlich schlechter abschnitt, und entging bei bestimmten Sabotageaufgaben manchmal den internen Überwachern (Beleg (externe Seite, deploymentsafety.openai.com)). Die Folgerung zieht die Karte selbst: Unter solchen gezielten Bedingungen könnten die Modelle der Astra-Klasse den Denkspur-Überwachern von OpenAI entgehen.
Auf die ausdrückliche Anweisung beschränkt ist der Befund trotzdem nicht. Der Abschnitt stellt den Rückgang vor beide Teile, und die Überschrift eines seiner Unterabschnitte (externe Seite, deploymentsafety.openai.com) sagt es ausdrücklich: Schon das Wissen, dass ein Überwacher mitliest, senkt die Überwachbarkeit. Die einzelnen Messgrößen führt die Karte je Umgebung in eigenen Unterabschnitten; dieser Beitrag gibt ihre Zusammenfassung wieder.
Versteckte Botschaften in scheinbar harmlosem Text hat OpenAI dabei nicht gefunden, und daraus leitet die Karte eine Grenze des Risikos ab: Für steganografisches Denken, also Überlegungen, die in gewöhnlichem und scheinbar unverbundenem Text versteckt sind, sah OpenAI keine Anzeichen. Das Risiko des Ausweichens beschränke sich deshalb womöglich weitgehend auf Aufgaben, die wenig Überlegung brauchen. Im selben Satz wie die Einschränkung auf Tests mit Ausweich-Anweisung steht ein Gegenbefund: Nach OpenAIs Alignment-Tests verletzt Astra Sicherheitsvorgaben insgesamt seltener als GPT-5.6 Sol. Die beiden Befunde gehen auseinander. Das Modell verhält sich in den Tests besser, und in seine Denkspur lässt sich schlechter hineinsehen. OpenAI schreibt, man nehme den Trend ernst und untersuche weiter, was er für die Überwachbarkeit künftiger, fähigerer Modelle bedeutet (Beleg (externe Seite, deploymentsafety.openai.com)).
Shah und Dragan stellen daneben einen Befund des britischen AI Security Institute zu Astra: eine stark gewachsene Fähigkeit (externe Seite, institute.deepmind.com), innerhalb eines einzigen Vorwärtsdurchlaufs zu schlussfolgern, und die Fähigkeit, den Inhalt der eigenen Denkspur zu steuern. Ein Vorwärtsdurchlauf ist die Rechnung für ein einzelnes Token. Was ein Modell darin erledigt, taucht in keiner Denkspur auf.
Denken ohne Text
Die Sorge des Essays reicht über Astra hinaus. Zwischen Eingabe und Ausgabe rechnet ein Sprachmodell mit Begriffen in einem extrem hochdimensionalen Zahlenraum (externe Seite, institute.deepmind.com), der für Menschen von sich aus unverständlich ist. Die Denkspur zwingt es, das in Sprache zurückzuübersetzen. Ein Modell könnte seine Zwischenschritte auch ganz in diesen Zahlen ablegen. Das wäre nach Shah und Dragan womöglich effizienter und leistungsfähiger, auf Kosten der Durchsicht (Beleg (externe Seite, institute.deepmind.com)). Eine lesbare Denkspur gäbe es dann nicht mehr.
Eine solche Bauform gibt es schon, zuerst als Forschungsmodell. Den Grundgedanken stellten Mostafa Dehghani und Mitautoren im Juli 2018 vor: Ihr Universal Transformer (externe Seite, arxiv.org) durchläuft denselben Block von Schichten wiederholt. Jonas Geiping und Mitautoren bauten im Februar 2025 nach diesem Prinzip ein Sprachmodell unter dem Namen Recurrent Depth (externe Seite, arxiv.org). Ihr Modell kann bei der Anwendung beliebig oft durch den Block laufen, also beliebig tief rechnen, ohne dabei zusätzlichen Text auszugeben. Ein Reasoning-Modell bekommt seinen Mehraufwand über eine längere Denkspur. Der Prototyp hat 3,5 Milliarden Parameter und wurde mit 800 Milliarden Tokens trainiert. Nach den Autoren steigt seine Leistung bei Denkaufgaben mit der Zahl der Durchläufe, bis zu einem Rechenaufwand, der 50 Milliarden Parametern entspricht (Beleg (externe Seite, arxiv.org)).
Seit Juli 2026 gibt es mit Nanbeige4.2-3B auch ein veröffentlichtes Modell, das nach Angabe seiner Entwickler von Grund auf als Looped Transformer vortrainiert (externe Seite, arxiv.org) ist. Wie die Bauform funktioniert und was sie für die Überwachung bedeutet, erklärt der Beitrag Looped Transformer.
Wie viel ein Modell ohne lesbaren Zwischenschritt leisten kann, fassen die beiden in einer eigenen Größe, der opaque serial depth, also der längsten schrittweisen Rechnung (externe Seite, institute.deepmind.com), die ein Modell ausführen kann, ohne einen für Menschen lesbaren Mechanismus wie die Denkspur zu brauchen. Je größer diese Tiefe, desto mehr kann ein Modell erledigen, ohne dass es in der Denkspur auftaucht.
Der Befund des AI Security Institute zu Astra passt zu dieser Richtung. Die Tiefe selbst misst er nicht, und eine besser steuerbare Denkspur heißt noch nicht, dass das Modell ohne sie denkt.
Was Shah und Dragan vorschlagen
Das DeepMind Institute kennzeichnet seine Essays als Anstöße zur Diskussion, die Gedanken und Forschung der Autoren wiedergeben; als offizielle Sicht von Google seien sie ausdrücklich nicht zu lesen (Beleg (externe Seite, institute.deepmind.com)). Mit dieser Einschränkung schlagen die beiden drei Maßnahmen vor.
Messen. Regelmäßig prüfen, wie gut sich aus der Denkspur ablesen lässt, was das System tut, damit auffällt, wenn diese Durchsicht unbemerkt nachlässt (Beleg (externe Seite, institute.deepmind.com)). Die Astra-Karte enthält eine solche Messung, und der Rückgang steht darin, weil jemand gemessen hat.
Die Bauform bewahren. Wie viel undurchsichtiges Denken möglich ist, soll begrenzt bleiben; messen lässt es sich an der opaque serial depth (Beleg (externe Seite, institute.deepmind.com)). Eine verwandte Empfehlung steht in einem Positionspapier (externe Seite, arxiv.org) vom Juli 2025 mit 41 Autorinnen und Autoren, darunter Yoshua Bengio. Weil die Überwachbarkeit der Denkspur zerbrechlich sein könnte, empfiehlt es den Entwicklern der führenden Modelle, bei ihren Entwicklungsentscheidungen deren Folgen für diese Überwachbarkeit zu bedenken.
Das Training prüfen. Wer Reasoning-Modelle trainiert, soll prüfen, ob er dabei die Denkspur beeinflusst. Die naheliegendste Forderung: die Denkspur nicht darauf zu trainieren, dass sie auf eine bestimmte Art aussieht. Als Beispiel nennen Shah und Dragan, man solle die Denkspur nicht direkt darauf trainieren (externe Seite, institute.deepmind.com), ausgerichtet und nicht täuschend zu wirken. Die versehentliche Belohnung, von der oben die Rede war, gehört ausdrücklich dazu.
Die beiden erklären das an einem Tagebuch. Eine Jugendliche, deren Eltern ihr Tagebuch lesen und sie für aufmüpfige Einträge bestrafen, wird dadurch kaum weniger aufmüpfig. Sie lernt, ihre Gedanken besser zu verbergen (Beleg (externe Seite, institute.deepmind.com)). Ein Modell, das für eine brave Denkspur belohnt wird, könnte dasselbe lernen (Beleg (externe Seite, institute.deepmind.com)). Und selbst bei sorgfältigem Training könnten fähigere Modelle ihre Gedanken verbergen, etwa indem sie bestimmte Gedanken unterdrücken (externe Seite, institute.deepmind.com) oder sie in Codewörtern, Anspielungen oder versteckten Mustern unterbringen.
Was daraus für die Einordnung folgt
Für das Verständnis schließt die Denkspur eine Lücke zwischen den beiden Wegen aus Beurteilen und Einordnen, Kapitel 06. Die Selbstauskunft entsteht nach der Antwort, das Nachverfolgen kostet Stunden. Die Denkspur entsteht vorher, lässt sich maschinell lesen und kann trotzdem Schritte enthalten, die so nie gerechnet wurden. Als Hinweis ist sie ernst zu nehmen, als Beleg nur zusammen mit einer Prüfung von außen.
Für die Beurteilung eines Anbieters ergeben sich drei Fragen an die Systemkarte: ob sie die Überwachbarkeit der Denkspur misst, unter welchen Bedingungen das geschah, und ob die Prüfer von außen die Denkspur zu sehen bekamen. Die Astra-Karte beantwortet alle drei. Wie man eine solche Karte sonst liest, steht in Beurteilen und Einordnen, Kapitel 07.
Für die Reichweite gilt beides. Eine gut lesbare Denkspur kann Lücken haben, und eine schwer lesbare ist noch kein Zeichen von Täuschung. Astra zeigt beides zugleich: bessere Werte in den Alignment-Tests und eine Denkspur, die sich schlechter überwachen lässt. Wer die Denkspur lesbar hält und mitliest, schafft dazu einen Bestand, der selbst geschützt werden muss; die ausgelesenen Blöcke aus der Arbeit vom August zeigen, wie viel darin steht. Shah und Dragan halten die heutige Lesbarkeit für einen Zustand, der sich ändern kann. Die Astra-Karte zeigt, dass ein Hersteller einen solchen Rückgang selbst messen und veröffentlichen kann.
Quellen
10 Einträge, davon 1 Schlüsselarbeitalle erreichbar
Erreichbarkeit automatisch geprüft
SchlüsselarbeitOriginalarbeiterreichbar
Tracing the thoughts of a large language model (externe Seite, anthropic.com)
anthropic.comgeprüft 25.10.2026
Anthropics Übersicht über zwei Fachaufsätze vom 27.03.2025, in denen die Rechenwege eines Sprachmodells nachverfolgt werden. Zwei Angaben machen den Text belastbar. Die Autoren legen einen Fehlschlag offen: Sie wollten zeigen, dass das Modell beim Reimen nicht vorausplant, und fanden das Gegenteil. Und sie beziffern die Grenze ihres Verfahrens selbst, nämlich einen Bruchteil der Rechnung und Stunden menschlicher Arbeit je kurzer Eingabe. Herstellermaterial über die eigenen Modelle, mit benannten Grenzen.
Originalarbeiterreichbar
The case for reasoning transparency (externe Seite, institute.deepmind.com)
institute.deepmind.comgeprüft 25.10.2026
Essay von Shah und Dragan im DeepMind Institute, Beleg für die Aussagen zu Gemini 3 Pro und zur sinkenden Überwachbarkeit bei GPT-6 Astra.
Dokumentationerreichbar
OpenAI, GPT-6 Astra System Card (externe Seite, deploymentsafety.openai.com)
deploymentsafety.openai.comgeprüft 25.10.2026
OpenAIs System Card zu GPT-6 Astra, veröffentlicht am 03.09.2026. Sie führt eigene Abschnitte zu Umgehungsversuchen, biologischen und chemischen Fähigkeiten, Cybersicherheit und der Einstufung nach dem Preparedness-Rahmen und benennt zwei externe Prüfer. Zur Herkunft der Trainingsdaten sagt sie nichts Nachprüfbares mehr: Der zuständige Abschnitt spricht von vielfältigen Datensätzen und einer Filterung, ohne eine Quelle zu nennen. Die GPT-5 System Card nannte an derselben Stelle noch drei. Der Änderungsverlauf am Kopf führt bis zum 29.09.2026 drei Arten von Einträgen: eine Präzisierung zur Ausrichtung (09.09.), korrigierte HealthBench-Werte nach einer Fehlkonfiguration (22.09.) und Anhänge zu GPT-6 Sol und Luna (22.09.) sowie zu den Agenten namens dots (29.09.).
Dokumentationerreichbar
Anthropic, Thinking (externe Seite, platform.claude.com)
platform.claude.comgeprüft 25.10.2026
Anthropics Dokumentation zum Denken der Claude-Modelle, abgerufen am 25.09.2026. Sie belegt, dass die Schnittstelle höchstens eine Zusammenfassung der Denkspur ausgibt, dass die vollständige Spur verschlüsselt im Feld signature an den Client geht und der Server sie beim Zurückschicken wieder entschlüsselt, und dass bei Opus 5.5 und weiteren neuen Modellen auch die Zusammenfassung ausgeblendet ist, bis man sie anfordert.
Originalarbeiterreichbar
Stealing Reasoning Traces from Proprietary LLM APIs (externe Seite, alphaxiv.org)
alphaxiv.orggeprüft 25.10.2026
Das Paper beschreibt die Architekturschwäche und die durchgeführten Angriffe gegen Anthropic-, OpenAI- und Google-Modelle.
Dokumentationerreichbar
OpenAI, GPT-6 Astra System Card: Monitorability (externe Seite, deploymentsafety.openai.com)
deploymentsafety.openai.comgeprüft 25.10.2026
Der Abschnitt zur Überwachbarkeit der Denkspur in OpenAIs Systemkarte zu GPT-6 Astra, abgerufen am 25.09.2026. Die Karte erschien am 03.09.2026 und wurde am 09.09. und 22.09. an anderen Stellen ergänzt. Der Abschnitt misst unter zwei Bedingungen, ohne Eingriff und mit gezielter Aufforderung zum Ausweichen; die Zusammenfassung am Anfang der Karte stützt ihre Befunde vor allem auf die zweite. Die Adresse liefert die ganze Karte samt dieser Zusammenfassung.
Originalarbeiterreichbar
Universal Transformers (externe Seite, arxiv.org)
arxiv.orggeprüft 25.10.2026
Die Arbeit von Mostafa Dehghani und vier Mitautoren, eingereicht am 10.07.2018, dritte Fassung vom 05.03.2019, angenommen für die ICLR 2019. Sie lässt einen Transformer denselben Block mehrfach durchlaufen und ergänzt einen Haltemechanismus, der je Position entscheidet, wann die Rechnung endet. Das Abstract der ersten Fassung weicht im Wortlaut ab, zitiert wird die dritte.
Originalarbeiterreichbar
arxiv.orggeprüft 25.10.2026
Die Arbeit von Jonas Geiping und acht Mitautoren, eingereicht am 07.02.2025, zweite Fassung vom 17.02.2025. Sie baut ein Sprachmodell, das zusätzlichen Rechenaufwand über wiederholte Durchläufe eines Blocks erzeugt, ohne dafür Text auszugeben. Den wiederholten Block führt die Arbeit selbst auf die Universal Transformers von 2018 zurück. Der Prototyp hat 3,5 Milliarden Parameter, Modell und Code sind veröffentlicht.
Originalarbeiterreichbar
arxiv.orggeprüft 25.10.2026
Positionspapier von Tomek Korbak und 40 Mitautoren, darunter Yoshua Bengio und Jakub Pachocki, eingereicht am 15.07.2025, zweite Fassung vom 07.12.2025. Es hält die Überwachung der Denkspur für eine Chance der KI-Sicherheit, die verloren gehen kann, und empfiehlt den Entwicklern, ihre Entwicklungsentscheidungen daraufhin zu bedenken. Abschnitt 2 nennt neue Architekturen mit Rechnung im inneren Zahlenraum als Gefahr, mit Recurrent Depth und Coconut als Beispielen.
Originalarbeiterreichbar
Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Model (externe Seite, arxiv.org)
arxiv.orggeprüft 25.10.2026
Technischer Bericht des Nanbeige Lab zu Nanbeige4.2-3B, einem kompakten Modell für Agentenaufgaben mit 3 Milliarden Parametern ohne Embedding, erste Fassung vom 24.07.2026, zweite vom 27.07.2026. Nach Angabe der Entwickler von Grund auf als Looped Transformer vortrainiert. Die Vergleiche mit größeren Modellen sind Angaben der Entwickler über das eigene Modell.