Dasselbe Modell, drei­fa­cher Wert

Im Februar 2026 beschrieb Mitchell Hashimoto eine Arbeitsweise als Harness Engineering (externe Seite, mitchellh.com): Nach einem Fehler baut man eine Vorkehrung, damit der Agent ihn künftig vermeidet. Er wusste nach eigener Aussage nicht, ob es dafür bereits einen allgemein anerkannten Begriff gab.

Am 29. Juli 2026 veröffentlichte OpenAI eine Eigenmessung (externe Seite, openai.com) über das eigene Modell. Der Anbieter hat den Test ARC-AGI-3 noch einmal gefahren, mit demselben GPT-5.6 Sol, und kommt auf dem öffentlichen Aufgabensatz von 13,3 auf 38,3 Prozent. Menschliche Tester liegen nach Schätzung des Anbieters bei 48 Prozent. Am Modell wurde nichts verändert.

Was verändert wurde

Zwei Einstellungen der Umgebung, in der das Modell die Spiele bedient.

Die Gedankenkette blieb erhalten. Ein Modell dieser Bauart denkt vor jeder Ausgabe in Nachrichten, die der Anwender nicht sieht. Die offizielle Umgebung warf sie nach jedem Spielzug weg. Das Modell sah danach zwar noch, welche Züge es gemacht hatte, aber nicht mehr, warum. Es begann bei jedem Zug von vorn und musste das Spiel neu erschließen.

Der Verlauf wurde zusammengefasst statt abgeschnitten. Die offizielle Umgebung verwarf die ältesten Nachrichten, sobald der Verlauf 175.000 Zeichen überschritt. Das Modell verlor damit seine Gedanken, und nach und nach auch seine Züge. Die Alternative fasst den Verlauf zusammen, bevor er zu lang wird, und behält so, was gelernt wurde. OpenAI nennt eine weitere Einzelheit des Vergleichs: Der eigene Aufbau begrenzt auf 175.000 Token. Weil der Verlauf überwiegend Spielraster enthält, entspreche das dort ungefähr derselben Zeichenzahl.

Mit beiden Einstellungen sank der Verbrauch an Ausgabe-Token auf etwa ein Sechstel. Nach Darstellung des Anbieters musste das Modell seine bisherigen Überlegungen dadurch seltener neu erschließen. Was Grundkurs, Kapitel 03 über die Abrechnung sagt, gilt also in beide Richtungen. Eine schlechte Umgebung kostet zweimal, in der Qualität und im Verbrauch.

Warum der Test es überhaupt anders macht

Das Naheliegende wäre, das für einen Fehler der Testumgebung zu halten. Es ist eine Entscheidung, und sie hat einen Grund.

ARC baut die Umgebung bewusst schlicht, ohne Tools und Sonderausstattung. Nach der Darstellung von OpenAI ist die Überlegung dahinter, dass eine einfache Umgebung die Schwächen eines Modells sichtbarer macht und Modelle untereinander fairer vergleichbar hält. Wer jedem Anbieter erlaubt, seine eigene Umgebung mitzubringen, misst am Ende die Umgebungen.

Die Gegenposition steht im selben Text: Wer ein Produkt baut, stimmt die Umgebung auf sein Modell ab, und genau so wird das Modell später auch eingesetzt. Eine Zahl aus einer Umgebung, die niemand benutzt, misst dann etwas, das es im Betrieb nicht gibt.

Beide Positionen sind vertretbar, und sie messen verschiedene Dinge. Das ist der eigentliche Befund: Eine Zahl aus einem Test beantwortet die Frage nicht, solange nicht dabeisteht, welche der beiden Fragen sie beantwortet. Was eine Benchmark-Zahl außerdem offenlässt, behandelt Beurteilen und Einordnen, Kapitel 04.

Was daraus für das Lesen von Ranglisten folgt

Drei Fragen, die eine Benchmark-Zahl beantwortbar machen.

In welcher Umgebung wurde gemessen? Bleibt die Gedankenkette erhalten? Wie wird mit einem vollen Kontextfenster umgegangen? Standen Tools zur Verfügung? Ohne diese Angaben ist der Vergleich zweier Modelle ein Vergleich zweier Paare aus Modell und Umgebung, von denen man nur eine Hälfte kennt.

Wer hat gemessen? Der Fall hier ist eine Eigenmessung. OpenAI misst das eigene Modell und veröffentlicht dazu die Empfehlung, die eigene Schnittstelle zu verwenden. Die Zahlen sind nachvollziehbar beschrieben, und die Herkunft ordnet sie ein: Ein Anbieter, der zeigt, wie gut sein Modell in der besten Umgebung arbeitet, hat ein Interesse an dem Ergebnis.

Was misst die Metrik? ARC-AGI-3 vergleicht die Zahl der Aktionen mit einem menschlichen Maßstab und rechnet nicht in gelösten Aufgaben. 38,3 Prozent heißt nicht, dass 38 von 100 Aufgaben gelöst wurden. Ohne diese Angabe liest man eine Prozentzahl als Schulnote, und das ist sie nicht.

Der Teil, der bleibt

Zwei Systeme arbeiten mit demselben Modell und kommen verschieden weit. Die Messung beziffert diesen Unterschied für einen bestimmten Aufbau. Der Unterschied zwischen zwei Umgebungen kann größer sein als der zwischen zwei Modell­ge­ne­ra­tionen, und er entsteht aus Entscheidungen an der Umgebung. Was zu diesem Gerüst gehört, erklärt Agenten und Harness, Kapitel 04.

Für die Praxis heißt das weniger, als es klingt, und mehr, als man denkt. Weniger, weil niemand seine Werkzeuge nach einer Benchmark aussuchen sollte. Mehr, weil die Frage „welches Modell ist besser“ die Zeit schlechter nutzt als die Frage, was das vorhandene Modell eigentlich zu sehen bekommt.