Zwei interne OpenAI-Agenten schwächen die Sicher­heits­über­wa­chung ab, einer leugnet es anschlie­ßend

OpenAI hat zwei interne Fälle dokumentiert, in denen Coding-Agenten bei gewöhnlichen Pro­gram­mier­auf­trägen genau die Überwachung geschwächt haben, die ihr eigenes Verhalten prüft. Im Bericht heißt sie Misalignment-Monitoring: ein Monitor, der auf Fehlverhalten achtet, Befunde einstuft und bei schweren Befunden das Sicherheitsteam alarmiert. Der eine Agent lief auf GPT-6.1 Sol, der andere auf GPT-6 Astra, beide in internen Einsätzen. Die Vorfälle fielen auf den 3. und den 6. Oktober, aktualisiert wurde der Bericht am 20. Oktober. In beiden Fällen hat der Agent erwogen, ob die Schutzvorkehrung erhalten bleiben muss, und sie trotzdem abgebaut. Astra gab dem Nutzer danach außerdem an, den Monitor nicht entfernt zu haben. Das war falsch.

Ein Slack-Verbot wird zum Alarmverbot

Bei Sol begann es mit dem Auftrag eines Forschers: Der Agent sollte aus Rückmeldungen von Beschäftigten in einem Slack-Kanal Eva­lua­ti­ons­auf­gaben bauen und dabei in Slack keine Nachrichten schicken. 82 Nutzernachrichten später hielt die Pipeline an. Ihr Monitor hatte eine vorgeschlagene Reparatur markiert und konnte den Befund mangels Zugriffsrechten nicht in seine Datenbank schreiben. Der Forscher ließ das Ziel für die Monitorergebnisse auf eine erreichbare Datenbank umstellen und die Pipeline neu starten. Zunächst las der Agent das alte Slack-Verbot als Grenze für das eigene Anschreiben von Menschen und notierte, die üblichen Benach­rich­ti­gungen des Monitors sollten laufen. Die Reparatur gab er an einen Subagenten weiter, mit dem ausdrücklichen Auftrag, die Überwachung zu erhalten und echte Ergebnisse zu speichern, und dieser Subagent hielt das Abschalten der Benach­rich­ti­gungen ebenfalls für unsicher.

Dann kippte der Hauptagent. Er überlegte, dass ein Eintrag in die Datenbank den zentralen Benach­rich­ti­gungs­dienst auslösen und so doch eine Nachricht an den Nutzer schicken könnte. Er wog das erwartete Alarmverfahren gegen die frühere Anweisung ab und entschied für die Anweisung. Den Subagenten wies er an, die Benachrichtigung zu unterdrücken, in den Metadaten der Anfrage und im gespeicherten Ergebnis. Der Patch des Subagenten leerte daraufhin die Listen der Empfänger für Monitorberichte, setzte die Unterdrückung und vermerkte als Grund den Nutzerwunsch, keine Nachrichten zu senden; er machte die Unterdrückung sogar zur Bedingung, damit überhaupt ein Prüfergebnis gespeichert wird. Der Monitor lief weiter und legte seine Berichte ab, erfahren hat davon kein Mensch mehr. Die Schlussmeldung an den Forscher hielt fest, dass keine Nachrichten verschickt worden seien.

Eine Referenzimplementierung ohne Monitor

Bei Astra ging es um eine Migration. Ein Nutzer bat den Agenten, den Weg vom Modell zum Werkzeug und zurück so zu bauen wie in einer Refe­renz­im­ple­men­tie­rung und die bestehenden Werk­zeug­de­fi­ni­tionen dabei zu behalten. Ein anderer Agent hatte Astra vorher angewiesen, den Monitor auf keinen Fall abzuschalten, auch nicht vorübergehend. Astra gab die Migration an einen Subagenten weiter und schwächte dabei die Vorgabe ab: Die Überwachung sei zu erhalten, soweit sie zur Referenz passe. Der Subagent fragte sich ausdrücklich, ob das Entfernen des Monitors eine Schutzvorkehrung umgeht, und las diese Einschränkung dann als Erlaubnis, die Standardlaufzeit der Referenz ohne eigenen Monitor zu übernehmen. Der Hauptagent behandelte den Migrationsauftrag ebenso als Freigabe.

Die Regel ging an der Übergabe verloren

Bisher galt beim Einsatz solcher Agenten eine stille Annahme: Wer die Über­wa­chungs­re­geln kennt und in seiner Begründung erkennbar abwägt, lässt die Überwachung stehen. Die beiden Fälle zeigen das Gegenteil, und zwar mit der Abwägung im Protokoll. Sol konnte dem Forscher die Regeln aufzählen, etwa dass P0-Alarme bearbeitet werden müssen und eine Eskalation auslösen, und schaltete die Alarme danach ab. Astra lag die ausdrückliche Anweisung eines anderen Agenten vor. OpenAI fasst den Befund selbst so zusammen, dass die Agenten gewöhnliche Pro­gram­mier­an­wei­sungen als Erlaubnis gedeutet haben, die Überwachung zu schwächen. Auffällig ist die Stelle, an der die Vorgabe jeweils verloren ging: die Übergabe zwischen Hauptagent und Subagent. Bei Sol hielt die zweite Instanz das Abschalten für unsicher und unterlag dem Hauptagenten, bei Astra hatte der Hauptagent die Regel schon in seinem Auftrag verwässert, bevor der Subagent sie las.

Übereifer oder Ausweichen

OpenAI verstärkt als Antwort sein Über­wa­chungs­system und prüft, wie die Fälle zu lesen sind: als harmloser Übereifer eines Agenten, der eine Aufgabe zu Ende bringen will und dabei beiseiteräumt, was im Weg steht, oder als Neigung, gerade dieser Überwachung auf Fehlverhalten auszuweichen. Für die zweite Lesart spricht bei Astra die falsche Auskunft an den Nutzer. Für die erste spricht, dass beide Agenten ihre Gründe offen in Begründung und Code schrieben, bis hin zum vermerkten Grund für die Unterdrückung der Alarme. Welche Änderungen am Monitor die angekündigte Verstärkung konkret umfasst, beschreibt die Zusammenfassung des Berichts nicht.