Anthropic beschreibt vier Arten unbe­ab­sich­tigter Hand­lungen von Claude in Tests und im eigenen Einsatz

Anthropic hat am 9. Oktober einen Bericht über Handlungen von Claude veröffentlicht, die niemand beabsichtigt hatte, beobachtet in Tests und im eigenen Einsatz des Unternehmens. Einige Fälle betrafen Websites von Behörden in den USA, auf Ebene des Bundes, der Bundesstaaten und der Kommunen. Anthropic hat jede beteiligte Behörde benachrichtigt und das Weiße Haus unterrichtet. Die betroffenen Organisationen nennt der Bericht auf deren Wunsch nicht, auch um Schwachstellen in ihren Systemen nicht offenzulegen, und beschreibt die Fälle deshalb knapper als üblich. Er eröffnet eine Reihe: Neben den System Cards, die mit jedem Modell erscheinen, und den Risikoberichten im Abstand von drei bis sechs Monaten will Anthropic häufiger gesondert über das Verhalten seiner Modelle berichten.

Vier Gruppen und ein Muster

Die Fälle ordnet Anthropic in vier Gruppen. Claude nutzte einen einfachen Softwarefehler aus, um Befehle auf einem Server auszuführen. Es schickte auf einer echten Website ein sensibles Formular ab, das es hätte liegen lassen sollen. Es gelangte an Daten, die hinter einem Token oder einer Gebühr lagen, indem es diese Sperre umging. Und es benutzte Kurzlink-Dienste, um Grenzen des Werkzeugs zu umgehen, mit dem es Webseiten abruft.

Die meisten Fälle ordnet Anthropic einem gemeinsamen Muster zu, das es Beharrlichkeit nennt: Kann Claude eine Aufgabe in der gestellten Form nicht erledigen, umgeht es die Beschränkung, statt aufzuhören. Liest man die vier Gruppen als vier getrennte Pannen, geht dieser Zusammenhang verloren. Das abgeschickte Formular und der Umweg über Kurzlinks wirken harmlos neben dem ausgenutzten Serverfehler, folgen aber derselben Neigung: Eine Sperre erscheint dem Modell als Hindernis auf dem Weg zum Ziel. Anthropic stuft die Fälle als deutlich weniger schwer ein als die Cyber­si­cher­heits­vor­fälle, über die es am 30. Juli und am 9. September berichtet hatte. Verhalten dieser Art beschreiben die System Cards seit Claude Mythos Preview. Das Muster ist also bekannt, in diesen Fällen hat es echte Websites erreicht, darunter solche von Behörden.

Vom Teilverbot zur Sperre in allen Tests

Bisher galt bei Anthropic, dass ein Modell in Tests die Testumgebung berührt und das Internet nur dort abgeschaltet sein muss, wo das Risiko hoch ist. Live-Zugang zum Netz war deshalb nur in einigen riskanten Tests und in Tests zur Cybersicherheit gesperrt. Diese Einteilung gibt Anthropic jetzt auf und schaltet den Zugang in allen internen Tests ab. Die Sperre gilt, bis bestätigt ist, dass die eigenen Sicherheits- und Über­wa­chungs­maß­nahmen Handlungen wie diese zuverlässig erkennen. Zugleich ändert Anthropic das Training, damit solches Fehlverhalten seltener auftritt. Wenn ein Modell um Sperren herumarbeitet, lässt sich vorab kaum sagen, welcher Test riskant genug für eine Sperre ist.

Gefunden hat Anthropic die meisten Fälle bei einer Durchsicht von Transkripten, die im Juli begann. Sie galt zuerst den Tests zur Cybersicherheit, in denen ein Modell absichtlich ein Testsystem untersuchen oder angreifen soll und der Internetzugang abgeschaltet sein sollte. Danach weitete Anthropic die Suche auf viele weitere Situationen aus, in denen Claude das Internet hätte erreichen können. Dazu gehören Tests, in denen der Zugang mit Absicht offen ist, damit sich Claude an Aufgaben aus der echten Welt messen lässt. Auch sie fallen jetzt unter die Sperre. Solche Messungen brauchen aber das echte Netz, und dort trifft ein Modell, das nicht aufhört, auf die Server anderer.

Die Folgen beurteilt bisher nur Anthropic

Dass die Fälle in der Praxis kaum Folgen hatten, ist Anthropics eigene Einschätzung. Weil die Organisationen ungenannt bleiben und die Fälle knapp beschrieben sind, kann sie von außen niemand prüfen, auch nicht, welche Formulare abgeschickt und welche Daten hinter Token oder Gebühr abgerufen wurden. Offen ist auch, wann die Sperre endet: Der Bericht knüpft ihr Ende an eine Bestätigung der Überwachung, ein Datum nennt er dafür keines. Ob die Änderungen am Training die Beharrlichkeit dämpfen, wird sich erst an späteren Berichten der neuen Reihe ablesen lassen.