Ein offenes Modell erreicht bei simu­lierten Netz­werk­an­griffen fast das Ergebnis des zugangs­be­schränkten GPT-6 Sol Daybreak, für etwa ein Zehntel der Kosten

Vals AI hat KI-Agenten zwei simulierte Firmennetzwerke angreifen lassen, ohne jede menschliche Hilfe. Ganz vorn lag GPT-6 Sol, das OpenAI nur über sein zugangs­be­schränktes Cyber-Programm Daybreak anbietet. Dicht dahinter folgte DeepSeek V4.1 Flash 1017, ein offenes Modell, dessen Gewichte jeder herunterladen kann. Im ersten Netzwerk lagen beide gleichauf, und ein Durchlauf mit DeepSeek kostete dort unter 3 US-Dollar, einer mit Daybreak etwa 22 US-Dollar. Im schwierigeren Netzwerk drang GPT-6 Sol Daybreak in eine erste Firma ein, übernahm die Admi­nis­tra­tor­rechte, erbeutete Passwörter und gelangte damit in eine zweite Firma. Am Ende hatte es 27 von 31 Zielen erfüllt, in unter drei Stunden.

Zwei Netzwerke mit versteckten Marken

Die meisten Prüfungen für Angriffs­fä­hig­keiten bestehen aus kurzen, abgeschlossenen Aufgaben, etwa einem einzelnen Capture-the-Flag-Rätsel. Ein echter Einbruch dauert Stunden und verkettet viele Schritte über ein ganzes Netzwerk. Deshalb nutzt der Test zwei Cyber-Ranges: abgeschottete Netzwerke, die mit Servern, Arbeits­platz­rech­nern, Benutzerkonten und typischen Sicherheitslücken einer echten Organisation nachgebaut sind. In Nova, einem großen Windows-Netz mit mehreren verbundenen Active-Directory-Domänen, beginnt der Agent an einem eigenen Arbeits­platz­rechner mit der Adresse einer öffentlichen Webanwendung. Über sie muss er hineinkommen, Admi­nis­tra­tor­rechte erlangen, Passwörter sammeln und weiterverwenden und zwischen Rechnern und Domänen wechseln. Lighthouse hat zwei getrennte Firmennetze, und was der Agent im ersten findet, ist der einzige Weg ins zweite; dort verlangen spätere Stufen unter anderem Phishing, bei dem ein simulierter Mitarbeiter die Datei des Angreifers ausführt. Jedes Modell lief im quelloffenen Agenten Pi auf einer isolierten Maschine mit Kali Linux, die nur den Modellanbieter und die Range erreicht, jedes Mal auf einer frischen Kopie. Jedes Ziel hat eine versteckte Marke auf einem Zielrechner, etwa eine Datei, die der Agent nur lesen kann, wenn er diese Stelle des Angriffs erreicht hat. Nach dem Lauf sucht Vals AI die aufgezeichnete Befehlsausgabe nach diesen Marken ab, und eine bloße Behauptung des Modells bringt keinen Punkt. Nova zählt 21 Ziele, Lighthouse 31. Verglichen wird bei gleichem Rechenaufwand: Ein Lauf bekommt nur die Ziele angerechnet, die er innerhalb von 500 Millionen Token erreicht hat, zwi­schen­ge­spei­cherte Eingaben und Reasoning-Token eingeschlossen, bei höchstens 48 Stunden Laufzeit.

Daybreak als Zugangsschranke

Bisher galt die Fähigkeit, ein Firmennetz eigenständig anzugreifen, als Eigenschaft der zugangs­be­schränkten Spitzenmodelle. Wer sie nutzen wollte, brauchte die Zulassung eines Anbieters, und der Anbieter konnte sehen, was damit geschah. Daybreak ist genau so ein Programm. Liest man nur die Rangfolge, scheint diese Ordnung zu halten, denn das beschränkte Modell steht weiter oben. Die Kosten verschieben das Bild: Im ersten Netzwerk erreichte das offene Modell denselben Stand für rund ein Zehntel des Preises. Sobald die Gewichte eines Modells öffentlich sind, kann kein Anbieter mehr überwachen oder stoppen, wofür es eingesetzt wird. Der Abstand, der ein beschränktes Spitzenmodell früher von einem frei verfügbaren trennte, ist nach Einschätzung der Autoren klein geworden. Die Schranke steht damit vor dem besten Modell, und das zweitbeste ist jedem zugänglich.

Der billige Weg braucht mehr Token

Wie ein Modell seinen Rechenaufwand einsetzt, zählt in diesem Test so viel wie dessen Menge. GPT-6 Sol Daybreak arbeitete sparsam und erreichte im schwierigeren Netzwerk 25 von 31 Zielen innerhalb von 100 Millionen Token. DeepSeek V4.1 Flash 1017 kam auf dem langsamen Weg an eine ähnliche Stelle: In den ersten 25 Millionen Token erfüllte es kein Ziel, den größten Teil seines Fortschritts machte es nach 100 Millionen, und insgesamt verbrauchte es zwei- bis viermal so viele Token. Weil diese Token billig sind, blieb der Lauf trotzdem unter drei Dollar. Eine Prüfung, die den Rechenaufwand früh deckelt, hätte DeepSeek weit unter seiner tatsächlichen Reichweite eingestuft; kurze Tests unterschätzen also, was billige offene Modelle können. Den schwächeren Modellen half mehr Rechenaufwand dagegen nichts. Grok 4.7, Kimi K3 und GLM 5.3 Flash blieben lange vor dem Ende ihres Budgets stecken und kamen nicht wieder in Gang. Alle Läufe endeten von selbst, vor der Token- und vor der Zeitgrenze, jede Wertung zeigt also die Stelle, an der einem Modell nichts mehr einfiel. GLM verbrachte auf einer Range rund 36 Stunden und etwa tausend Runden größtenteils damit, zu warten und nach einem Hin­ter­grund­pro­zess zu fragen, der nie zurückkam.

Die letzten Stufen schafft kein Modell

Die tiefsten Stufen bleiben für alle Modelle schwer. Im Netzwerk mit zwei Firmen erfüllte kein Modell die letzten Ziele, für die der Zugang aus dem ersten Netz bis zum letzten Ziel mitgenommen werden muss; im Netzwerk mit einer Firma erreichte nur ein einziger Lauf der ganzen Reihe die letzte Stufe. Vals AI hat jeden Lauf auf Abkürzungen durchgesehen. Das Ergebnis: Kein Modell las den Lösungsschlüssel, und jedes angerechnete Ziel geht auf eine Marke zurück, die von einem tatsächlich übernommenen Rechner stammt. Die Autoren sehen im Ergebnis eine Gelegenheit für Verteidiger, weil dieselben Modelle, die einen Weg ins Netz finden, auch die Schwachstellen dahinter finden, und offene Gewichte das ohne Zustimmung eines Anbieters erlauben. Sie erwarten, dass Angriffe dieser Art auf echte Firmennetze in den kommenden Monaten häufiger werden. Diese Erwartung belegt der Test selbst nicht: Beide Ranges sind abgeschottete Nachbauten, und wie ein Agent sich in einem Netz verhält, in dem jemand den Angriff bemerkt und eingreift, misst er nicht. Ebenso nennt die Auswertung nicht, wie viele Läufe je Modell in die Wertung eingingen.

Einordnung

Die Abwehr im eigenen Unternehmen kann sich nach diesem Test kaum darauf verlassen, dass ein Angreifer an der Zulassung eines Anbieters scheitert. Es zählen die gewohnten Mittel an den Stufen, über die die Angriffe liefen. Das sind gepflegte Webanwendungen, knappe Admi­nis­tra­tor­rechte, getrennte Domänen und Passwörter, die nur an einer Stelle gelten. Was offene Gewichte für die Kontrolle durch einen Anbieter bedeuten, beschreibt Nutzung und Anpassung von LLMs, Kapitel 02; warum eine Wertung auch Budget und Umgebung des Tests mitmisst, erklärt Beurteilen und Einordnen, Kapitel 04.