Die meisten viel zitierten Befunde über Sprach­mo­delle gelten nach 15 Monaten nicht mehr oder nur abge­schwächt

In einer Arbeit von 2023 ließen Walters und Wilder ChatGPT kurze Lite­ra­tur­über­sichten schreiben und suchten danach jede genannte Quelle. ChatGPT lief damals mit GPT-3.5, und 55 Prozent der Literaturangaben waren erfunden. Der Befund wurde viel zitiert und gehört seither zu fast jeder Warnung vor Sprachmodellen. Owen Queen und James Zou von der Stanford University haben dieselben Anweisungen an neuere Modelle geschickt, darunter GPT-6.1-Sol und Claude Sonnet 5.5. Diese erfinden solche Angaben nur noch selten, einzelne andere Modelle tun es weiterhin. Die Studie vom 2. November 2026 macht aus diesem einen Fall eine Messreihe.

Fünfzig Befunde an zwanzig Modellen

Queen und Zou haben 50 viel zitierte Befunde ausgewählt, von Schmeichelei und Jailbreaks, also Eingaben, die die Schutz­vor­keh­rungen eines Modells umgehen, bis zu langen Kontexten und kulturellen Verzerrungen. Jede Versuchsanordnung lief erneut an 20 Modellen von acht Entwicklern, erschienen zwischen Juli 2024 und September 2026, große und kleine, mit offenen und geschlossenen Gewichten. Gemessen wird, wie viel vom ursprünglichen Effekt übrig ist: Der Wert 1 heißt so stark wie in der Originalarbeit, der Wert 0 heißt verschwunden. Als verfallen gilt ein Befund, wenn höchstens ein Fünftel des ursprünglichen Effekts bleibt, berechnet über eine Trendlinie nach dem Erscheinungsdatum der Modelle. Zum Stichtag 30. September 2026 sind 22 Befunde verfallen (44 Prozent), 17 deutlich schwächer (34 Prozent), 8 bestehen fort (16 Prozent), und bei 3 ist der Effekt stärker geworden (6 Prozent).

Fähigkeiten verfallen, Neigungen bleiben

Der naheliegende Schluss lautet, dass neue Modelle alte Schwächen abstreifen und sich die Kritik von gestern von selbst erledigt. Für einen Teil der Liste stimmt das. Verfallen sind vor allem Fehler im Können: Buchstaben zählen, etwa im Wort „strawberry“, Rechnen in ungewohnten Zahlensystemen, Fakten aus der Mitte eines langen Textes finden, Quellen erfinden und eine richtige Antwort aufgeben, sobald jemand widerspricht. Fünf von neun Befunden zum Schlussfolgern sind verfallen, ebenso sechs von elf zu Schmeichelei, Täuschung und strategischem Verhalten. Schwächer, aber vorhanden sind strukturelle Grenzen wie der sogenannte Reversal Curse, bei dem ein Modell weiß, dass A B ist, aber von B nicht auf A kommt. Dazu kommen Fragen, die zwei Fakten verknüpfen, Anweisungen über mehrere Gesprächsrunden, erfundene Paketnamen in Code und die Anfälligkeit für Jailbreaks und Prompt Injection, bei der eingeschleuste Anweisungen eine Anwendung übernehmen. Was bleibt oder zunimmt, sind überwiegend Vorlieben und Urteile: Modelle schmeicheln und stimmen zu, bevorzugen als Bewerter die eigenen Antworten, liefern auf offene Fragen nahezu gleiche Antworten, neigen in politischen Tests nach links und antworten, wo sie sich enthalten sollten. Verstärkt haben sich drei Befunde: die Selbstbevorzugung von Modellen als Bewerter, Lob, das sich nach der Vorliebe des Nutzers richtet, und Zufallszahlen, die sich auf wenige Werte häufen.

Knapp 16 Monate bis zum Verfall

Bisher galt ein veröffentlichter und viel zitierter Befund über Sprachmodelle als dauerhaft gültig. Wer schrieb, Modelle verlören Fakten in der Mitte langer Texte, verwies auf eine Arbeit, und die Arbeit stand für das, was Sprachmodelle eben tun. Die Studie rechnet nun aus, wie lange solches Wissen hält. Sechs Monate nach Erscheinen waren geschätzt 4 Prozent der Befunde verfallen, nach einem Jahr 16 Prozent, nach zwei Jahren 39 Prozent; die Schätzung berücksichtigt auch die Befunde, die am Ende der Beobachtung noch gelten. Der Anteil in voller Stärke sinkt im selben Zeitraum von 64 über 47 auf 31 Prozent. Die 22 verfallenen Befunde hielten im Mittel knapp 16 Monate, der Median liegt knapp unter 15, und selbst innerhalb eines Gebiets streut die Dauer stark. Ein Befund über Sprachmodelle ist damit eine Aussage über eine Modellgeneration, deren Datum man mitlesen muss.

Die Einstufung beschreibt dabei den Trend über das ganze Feld. Ein Befund kann als verfallen gelten, obwohl einzelne Modelle den Effekt weiter stark zeigen, und die erfundenen Literaturangaben sind genau so ein Fall. Wer ein bestimmtes Modell einsetzt, erfährt aus der Studie also die Richtung der Entwicklung und muss das eigene Modell trotzdem selbst prüfen. Auch das Tempo hängt am Gebiet. Schneller verfallen nach Beobachtung der Autoren Befunde aus Bereichen, auf die Hersteller ihre Modelle im Post-Training gezielt ausrichten; länger halten jene, die um Verzerrung und Urteil kreisen. Der Bereich Wissenschaft, Forschungsideen und Begutachtung hat zwar die längste mittlere Haltbarkeit, enthält aber nur einen einzigen verfallenen Befund, die erfundenen Quellen von 2023.

Ein Stichtag im September 2026

Die Werte sind an den 30. September 2026 angepasst, spätere Modelle stehen nicht darin. Die Zeitangaben zur Haltbarkeit gelten nur für die verfallenen Befunde; ob die 17 abgeschwächten denselben Weg gehen oder auf ihrem Rest stehen bleiben, ist mit diesen Zahlen nicht entschieden. Dass eine Kurve auch die Richtung wechseln kann, zeigt ein Befund aus der Liste: Die Vorliebe von Modellen für Zusammenfassungen wis­sen­schaft­li­cher Arbeiten, die selbst ein Modell geschrieben hat, kehrt sich im angepassten Trend um. Und der Maßstab der Studie gilt für sie selbst: Sie beschreibt 20 Modelle bis zu diesem Stichtag.

Einordnung

Interne Richtlinien und Schulungen, die sich auf solche Befunde stützen, verdienen ein Prüfdatum. Sie warnen womöglich vor Fehlern, die das eingesetzte Modell kaum noch macht, und übersehen die Neigungen, die geblieben sind. Verlässlicher als jede alte Liste ist eine kleine Stichprobe am eigenen Modell, etwa das Nachschlagen der Quellen, die es nennt. Wie man erfundene Angaben erkennt und welche Handgriffe sie belegen, beschreibt Grundkurs, Kapitel 07; warum Ratgeber zum Prompten aus demselben Grund altern, zeigt Grundkurs, Kapitel 06.