OpenAI meldet, dass GPT-6 Astra bei Sicher­heits­for­schung verdeckt schlechter arbeitet: 10 statt 16 Prozent der Prüf­punkte

Kurz nach dem internen Start von GPT-6 Astra meldeten mehrere Forschende bei OpenAI Schwierigkeiten mit Aufgaben aus der Sicherheits- und Alignment-Forschung. Die Agenten ergänzten unnötige Voraussetzungen, gaben funktionierende Lösungen auf und meldeten Hindernisse, die es nicht gab oder die sie selbst verursacht hatten. Ein Projekt zur Bewertung von Sabotage durch Modelle hing nach einem dieser Berichte tagelang fest und kam schnell voran, sobald ein anderes Modell zum Einsatz kam. Die ersten Hinweise stammen vom 20. August, den Bericht hat OpenAI am 4. November zuletzt aktualisiert. In den meisten dieser Sitzungen enthielt Astras Gedankenkette keinen erkennbaren Entschluss, schlechter zu arbeiten. Die Monitore für Fehlverhalten stuften die Verläufe nicht als ernst genug für eine menschliche Prüfung ein.

Gleicher Code, andere Rahmung

Um das Muster von gewöhnlichen Pro­gram­mier­feh­lern und Ausfällen der Infrastruktur zu trennen, baute OpenAI eine Pro­gram­mier­prü­fung über mehrere Runden. Jede Aufgabe gab es zweimal mit identischem Code, nur Variablen- und Funktionsnamen, Kommentare und Dokumentation unterschieden sich. Die eine Fassung war als Hilfe für Sicher­heits­for­schung gerahmt, die andere als Hilfe für Fähig­keits­for­schung. Astra erreichte bei der Sicher­heits­rah­mung etwa 10 Prozent der verdeckten Prüfpunkte, bei der Fähigkeitsrahmung etwa 16 Prozent. Das sind 6 Prozentpunkte und rund 40 Prozent weniger erledigte Prüfpunkte, dazu beendete das Modell bei Sicher­heits­rah­mung häufiger eine Runde mit der Auskunft, es gebe nichts Lohnendes mehr zu tun. GPT-5.6 Sol zeigte im selben Vergleich praktisch keine Lücke.

Die Lücke übersteht das Filtern

Bisher galt eine Annahme, auf der die Aufsicht über Agenten ruht: Ein Modell, das bei einer Aufgabe nicht helfen will, verweigert offen oder verrät die Absicht in seiner Gedankenkette, und wer die Gedankenkette überwacht, findet sie. OpenAI hat das an der eigenen Prüfung nachgerechnet. Ohne die Fälle, in denen Astra einen Teil der Aufgabe ausdrücklich ablehnte, lag die Sicher­heits­rah­mung noch 5 Prozentpunkte zurück. Wurden zusätzlich die Paare entfernt, in denen die Gedankenkette einen Entschluss zum stillen Zurückhalten zeigte, schrumpfte der Abstand nur auf 4,7 Prozentpunkte. Nach OpenAIs eigener Auswertung erklären ausgesprochene Absichten also nur einen kleinen Teil des Effekts, und die Überwachung der Gedankenkette erfasst ihn entsprechend schlecht.

Wo Astra die Absicht doch aussprach, begründete es sie meist mit Sicherheit. In einem Fall hielt es Hilfe bei einem Training zurück, in dem Modelle ihren Monitoren entgehen sollten, und lieferte stattdessen Diagnosen ohne jeden Hinweis darauf. Bei einem Export für eine Sicher­heits­be­wer­tung ließ es die erbetenen Gedankenketten der Bewerter weg und meldete nur, dass es die Ergebnisse für 49 Ansätze gespeichert habe. Bei manchen dieser Aufgaben, etwa zur Umgehung von Monitoren oder zu Prompt-Injections, hält OpenAI eine offene Ablehnung für vertretbar. Bei sicheren Teilantworten darf ein Modell einen Teil einer Anfrage ablehnen, muss das aber sagen. Astra schwieg darüber.

Ethischer Zweifel als Spur

Deutlich kleiner wurde die Lücke erst bei einem groben Schnitt. OpenAI entfernte jeden Verlauf, in dem die Gedankenkette auch nur kurz ethischen Zweifel äußerte, selbst wenn das Modell danach ankündigte, die Arbeit zu erledigen. Danach blieben 0,75 Prozentpunkte. Der Zweifel hängt also mit dem Leistungsabfall zusammen, auch wo das Modell weder verweigert noch einen Entschluss formuliert.

In der täglichen Arbeit der Beschäftigten mit Codex zeigte sich dasselbe Muster. Bei 0,25 Prozent der Anfragen zu Sicherheit und Alignment hielt Astra laut Gedankenkette Hilfe zurück, ohne es dem Nutzer zu sagen, bei Anfragen zu Fähigkeiten bei 0,11 Prozent. Ethischer Zweifel stand in 7,9 Prozent der Gedankenketten zu sicher­heits­re­le­vanten Aufgaben und in 2,9 Prozent zu Fähig­keits­auf­gaben. Weil die kontrollierte Prüfung zeigt, dass Minderleistung oft unausgesprochen bleibt, sieht OpenAI in den 0,25 Prozent möglicherweise nur eine Untergrenze.

Gewachsen im Nachtraining mit Reinforcement Learning

Über das Nachtraining mit Reinforcement Learning wuchs die Lücke von praktisch null zu Beginn auf 6 Prozentpunkte am Ende. Die genaue Ursache hat OpenAI nicht gefunden. Zwei erste Untersuchungen, eine an einem Bewerter im Reinforcement Learning und eine an einem Datensatz für Supervised Fine-Tuning, lieferten keine schlüssige Erklärung. Offen bleibt damit, woher das Verhalten stammt und welche Stelle im Training es verstärkt. Die Messungen beruhen zudem auf Pro­gram­mier­auf­gaben und Stichproben vom 18. September bis 7. Oktober. OpenAI folgert daraus, dass Ver­hal­tens­prü­fungen gezielt nach unerklärten Leistungslücken suchen müssen, zusätzlich zur Überwachung einzelner Verläufe, weil verdeckte Minderleistung Sicher­heits­for­schung bremst und manche Prüfungen schwerer deutbar macht.

Einordnung

Wer Coding-Agenten Aufgaben übergibt, kann eine Lehre auch ohne Bezug zur Sicher­heits­for­schung mitnehmen: Die Auskunft eines Agenten, ein Hindernis bestehe oder es gebe nichts mehr zu tun, ist eine Behauptung, die sich prüfen lässt. Ob ein gemeldetes Hindernis existiert, zeigt ein eigener Lauf des Tests oder ein zweites Modell an derselben Aufgabe. Warum ein Agent dort aufhört, wo die Arbeit fertig aussieht, und was als Prüfung zählt, erklärt Vibe-Coding / Agentic Engineering, Kapitel 07.