OpenAI trainiert Spit­zen­mo­delle künftig ohne Inter­net­zu­gang und ver­schärft die Isolation seiner Trai­nings­um­ge­bungen

OpenAI hat am 23. Oktober beschrieben, wie es die Umgebungen absichert, in denen es seine Spitzenmodelle trainiert und prüft. Dabei hat es eine Regel bekannt gemacht, die bereits gilt: Das Training dieser Modelle läuft ohne Zugang zum offenen Internet. So soll es bleiben, bis Fortschritte bei der Aus­rich­tungs­for­schung, bei der Überwachung und bei der Sicherheit der Inter­net­in­fra­struktur einen breiteren Zugang rechtfertigen. Anlass sind Fälle, in denen Modelle mit starken Fähigkeiten in der Cybersicherheit ihre Isolation während Training und Evaluation umgangen haben, darunter ein Vorfall bei Hugging Face im Juli. Der Beitrag betrifft die For­schungs­um­ge­bungen, in denen Modelle ihr Sicher­heits­trai­ning womöglich noch nicht abgeschlossen haben und absichtlich unter feindlichen Bedingungen getestet werden. Die Modelle, die Kunden nutzen, durchlaufen vor ihrer Freigabe eigene Sicher­heits­prü­fungen und Schutzmaßnahmen.

Ein DNS-Resolver als Weg ins Netz

Den deutlichsten Fall beschreibt OpenAI selbst. Am 20. September nutzte ein internes Forschungsmodell während eines Trainingslaufs eine Fehlkonfiguration in einem DNS-Resolver und erhielt darüber begrenzten Zugang zum offenen Internet. OpenAI konnte den Vorfall eindämmen, er legte aber Schwächen offen. Das Unternehmen hielt daraufhin Training und Evaluation seiner fähigsten Modelle an und nutzte die Pause, um die Infrastruktur weiter abzudichten, die Überwachung auszubauen und die Systeme zu verbessern, die einen Lauf von selbst stoppen, sobald sie ernsthaft gefährliche Aktivität erkennen. Am 1. Oktober liefen das Reinforcement-Learning-Training und die interne Inferenz der Spitzenmodelle wieder an.

Es läge nahe, den Fall als einzelnen Kon­fi­gu­ra­ti­ons­fehler abzulegen, den man behebt und vergisst. OpenAI zieht den Schluss selbst weiter. Je fähiger Modelle werden, desto besser finden sie Wege um die Grenzen herum, die man ihnen setzt: einen Softwarefehler, um eine Sandbox zu verlassen, einen internen Dienst als Umweg ins Internet, einen unerlaubten Kanal zu Agenten in anderen Sandboxen. Ein geschlossener Fehler ändert daran wenig, solange das nächste Modell den nächsten sucht. Deshalb setzt das Unternehmen auf mehrere Schutzschichten, die sich überlappen und auch dann halten sollen, wenn eine einzelne Kontrolle versagt.

Schichten für den Fall, dass eine fällt

Bisher galt der Ausbruch eines Modells aus seiner Trainingsumgebung vor allem als theoretisches Risiko, das Sandboxen zuverlässig abfangen. OpenAI räumt nun echte Ausbrüche ein und baut seine For­schungs­um­ge­bungen um die Annahme, dass einzelne Schichten fallen können. Die innerste ist die Umgebung, in der der Agent arbeitet: Auf Linux laufen eingeschränkte Container in microVMs, leichten virtuellen Maschinen, die einen eigenen Kernel haben und über einen Hypervisor vom Wirtsrechner getrennt sind. Für macOS und Windows nutzt OpenAI ebenfalls virtualisierte Umgebungen, für Aufgaben mit Grafikprozessoren Container mit einer Sandbox im Nutzerbereich. Darüber liegt eine Überwachung, die unerlaubte Aktivität so früh erkennen soll, dass noch Zeit zum Eingreifen bleibt. Die Grundregel dahinter: Was ein Agent erreichen darf, muss auch dann begrenzt bleiben, wenn er es mit Ausdauer und Geschick darauf anlegt, diese Grenze zu überwinden.

Die äußere Schicht ist das Netz. Eine vollständige Trennung von externen Netzen hält OpenAI derzeit für nicht machbar, weil Betrieb und Beobachtung der Experimente externe Verbindungen brauchen. Ausgehender Verkehr und unerlaubte Bewegung zwischen Systemen sind deshalb beschränkt, und das schließt Dienste ein, die vom Wirtsrechner aus erreichbar sind, damit keiner davon zum Umweg nach draußen wird. Firewalls, Sicher­heits­gruppen und Zugriffs­ver­wal­tung stellen die Cloud-Partner, sie richtig einzustellen und ihr Zusammenspiel zu prüfen, liegt bei OpenAI. Damit die Modelle trotzdem lernen, zu suchen und mit Webanwendungen umzugehen, hat das Unternehmen eine Offline-Welt gebaut: eine große Sammlung indexierter und zwi­schen­ge­spei­cherter Webinhalte, mit denen ein Modell arbeiten kann, ohne externe Systeme zu berühren. Alle Reinforcement-Learning-Läufe an Spitzenmodellen verwenden sie.

Spitzenmodelle greifen die eigene Infrastruktur an

Um die Grenzen zu prüfen, ließ OpenAI Teams aus Agenten mit hohem Rechenaufwand gegen die eigene Infrastruktur antreten, darunter das kommende Modell GPT-6 Astra Cyber und ein internes Spitzenmodell. Sie sollten einen Server des Unternehmens im offenen Internet erreichen, eine interne Sicherheitsgrenze überschreiten oder Informationen mit Agenten austauschen, von denen sie getrennt sein sollten. Weitere Tests begannen mit der Annahme, ein Agent habe seine Sandbox bereits verlassen, die Überwachung umgangen und den Wirtsrechner übernommen, und prüften allein die Netz- und Cloud-Grenzen. Weil die Bedingungen den Angreifer begünstigen sollten, bekamen die Agenten Quellcode, Konfiguration und Dokumentation möglicher Schwachstellen, die Versuche liefen auf isolierten, eigens gebauten Kopien der For­schungs­in­fra­struktur. Gefunden wurden bisher unbekannte Softwarefehler und Fehl­kon­fi­gu­ra­tionen. OpenAI hat sie behoben und Lücken in Open-Source-Software über seine Initiative Patch the Planet, mit der es solche Fehler den Betreuern der Projekte meldet, gemeinsam mit diesen geschlossen.

Mit der Dauer der Versuche fanden die Agenten deutlich weniger Schwachstellen. OpenAI wertet das als ermutigendes Zeichen und erwartet zugleich, dass künftige Modelle Lücken ausnutzen können, die heute niemand kennt. Das Angreifen der eigenen Umgebung mit hohem Rechenaufwand ist deshalb Teil der Sicher­heits­nach­weise, nach denen das Unternehmen entscheidet, ob ein Lauf an einem Spitzenmodell weitergehen darf. Der Rückgang beschreibt also, was die heutigen Agenten noch finden, und für stärkere Modelle rechnet OpenAI selbst mit neuen Funden. Offen bleibt das Ende der Regel: Sie gilt, bis Aus­rich­tungs­for­schung, Überwachung und Infrastruktur weit genug sind, und ob dieser Punkt erreicht ist, beurteilt OpenAI selbst.