Was eine Bench­mark­zahl sagt

Jede Ankündigung eines neuen Modells kommt mit Balken. 94 Prozent hier, Platz eins dort. Diese Zahlen sind wirklich gemessen. Die Frage ist, was sie gemessen haben.

Woraus eine solche Zahl entsteht

Ein Benchmark hat drei Teile. Einen festen Satz Aufgaben. Eine Metrik, die sagt, wann eine Antwort als richtig zählt. Und einen Messaufbau: wie die Aufgabe dem Modell vorgelegt wird, wie oft, und was dem Modell dabei zur Verfügung steht.

Alle drei liegen fest, damit zwei Modelle überhaupt vergleichbar werden. Aus dieser Festlegung folgen vier Gründe, warum die Zahl über Ihre eigene Arbeit wenig aussagt.

Erstens: Die Aufgaben können im Training gestanden haben

Ein Modell lernt aus Text, der im Netz stand. Auf­ga­ben­samm­lungen stehen im Netz. Wenn eine Aufgabe im Training vorkam, misst der Test das Erinnern.

Eine Gruppe um Hugh Zhang beim Datenanbieter Scale AI hat das 2024 sauber getrennt. Scale AI beliefert nach eigener Angabe (externe Seite, scale.com) die meisten großen Modellhersteller, ein frischer Prüfsatz gehört also zum eigenen Geschäft. Sie ließ 1205 neue Rechenaufgaben schreiben, die dem verbreiteten Test GSM8k in Stil und Schwierigkeit gleichen. Die Arbeit (externe Seite, arxiv.org) legt den neuen Satz ausdrücklich als Spiegelbild von GSM8k an, das sie den etablierten Maßstab für elementares Rechnen nennt.

Dieselben Modelle, gleichwertige Aufgaben, und ein Ergebnis, das die Sorge bestätigt: Auf den neuen Aufgaben sank die Trefferquote laut Messung (externe Seite, arxiv.org) um bis zu 8 Prozent, und mehrere Modellfamilien zeigten über fast alle Modellgrößen hinweg Anzeichen einer systematischen Überanpassung an den alten Test.

Der Abstract (externe Seite, arxiv.org) endet allerdings mit einem Satz, der in fast jeder Wiedergabe fehlt: Viele Modelle, besonders die stärksten, zeigen kaum Anzeichen von Überanpassung, und alle lösen in der Breite auch neue Aufgaben, die nachweislich nicht im Training standen.

Wer die Arbeit als Beleg dafür nimmt, dass Bestenlisten erfunden sind, hat sie zu Ende gelesen bekommen und selbst nur bis zur Hälfte.

Zweitens: Ein Test veraltet an seinem eigenen Erfolg

MMLU war jahrelang der Wissenstest, den jede Ankündigung nannte. Genau das hat ihn unbrauchbar gemacht. Die Autoren der Nachfolgefassung begründen ihre Arbeit (externe Seite, arxiv.org) damit, dass die Leistung der Modelle auf solchen Tests nicht mehr weiter steigt und Unterschiede zwischen ihnen immer schwerer zu erkennen sind.

In der ersten Hälfte 2024 lagen die Spitzenmodelle laut der Einleitung derselben Arbeit alle zwischen 86 und 87 Prozent. Wo alle so dicht beieinander liegen, misst der Test Rauschen. Die Nachfolgefassung MMLU-Pro erhöhte die Zahl der Ant­wort­mög­lich­keiten von vier auf zehn und warf triviale Fragen heraus, mit sichtbarer Wirkung: Die Trefferquoten fielen laut Arbeit (externe Seite, arxiv.org) gegenüber MMLU deutlich, um 16 bis 33 Prozent.

Ein hoher Wert kann also zwei Dinge heißen: Das Modell ist gut, oder der Test ist verbraucht. Von außen sehen beide gleich aus.

Drittens: Einmal gelingt sagt wenig über achtmal

Die meisten Zahlen sind Erfolgsquoten über einen Durchgang. Im Betrieb zählt etwas anderes, wie eine Arbeit über Agenten im Kundendialog zeigt. Sie stammt von Sierra, einer Firma, die selbst solche Agenten (externe Seite, sierra.ai) verkauft. Die Arbeit führte eine Kennzahl ein, die fragt, ob derselbe Auftrag mehrfach hintereinander gelingt. Die Arbeit (externe Seite, arxiv.org) nennt sie pass hoch k und schlägt sie als Maß dafür vor, wie verlässlich sich ein Agent über mehrere Versuche verhält.

Das Ergebnis liegt weit auseinander. Selbst die besten Agenten mit Funktionsaufrufen, als Beispiel nennt die Messung (externe Seite, arxiv.org) GPT-4o, lösen weniger als die Hälfte der Aufgaben, und im Bereich Einzelhandel gelingt weniger als ein Viertel der Aufgaben in allen acht Versuchen.

Von den Aufgaben, die ein Agent überhaupt schafft, schafft er einen Teil nur manchmal. Wer eine Erfolgsquote von 50 Prozent liest und daraus einen Arbeitsablauf plant, plant mit einer Zahl, die den zweiten Versuch gar nicht kennt.

Viertens: Gemessen wurde auch die Umgebung

Die vierte Unbekannte steckt im Messaufbau. OpenAI hat den Test ARC-AGI-3 mit demselben Modell zweimal gefahren und kam von 13,3 auf 38,3 Prozent, indem es zwei Einstellungen der Umgebung änderte. Der Fall ist im Beitrag Dasselbe Modell, dreifacher Wert beschrieben, und was diese Umgebung alles umfasst, steht in Agenten und Harness, Kapitel 04.

Wie groß der Abstand zwischen Mensch und Maschine bei der Vorstellung des Tests war, sagt dessen Ankündigung (externe Seite, arcprize.org) vom 25.03.2026: Menschen erreichen 100 Prozent, die Spitzenmodelle 0,51 Prozent.

seitlich verschiebbar

eigene Darstellung, Stand 29.08.2026

Was davon für Sie bleibt

Eine fremde Zahl beantwortet die Frage, welches Modell auf diesem Aufgabensatz in diesem Aufbau vorn lag. Ihre Frage lautet, welches Modell Ihre Arbeit erledigt. Der Weg von der einen zur anderen Antwort führt über einen eigenen Vergleich, und wie der aussieht, steht in Grundkurs, Kapitel 10. Und wo die Zahlen des Herstellers samt ihrer Erhebung stehen, sagt Kapitel 07.

Eine Testzahl entsteht aus drei Festlegungen, und jede davon ist eine Entscheidung, die jemand getroffen hat. Wer die drei kennt, liest eine Rangliste anders.

Der Aufgabensatz

Ein Test besteht aus einer festen Sammlung von Aufgaben mit hinterlegten Lösungen. Diese Sammlung ist eine Stichprobe, gezogen von Menschen, mit einer Absicht.

Die Absicht ist selten neutral. ARC etwa lässt Sprache und Fachwissen absichtlich weg, weil ein auf Text trainiertes Modell damit einen Vorsprung hätte, den der Test gerade prüfen will. Zugelassen ist laut Übersichtsseite (externe Seite, arcprize.org) der Betreiber nur Kernwissen: die geistigen Grundbausteine, die ein Mensch bei der Geburt mitbringt oder sehr früh und fast ohne ausdrückliche Anleitung erwirbt. Die Seite stützt sich dafür auf die Kernwissen-Theorie von Elizabeth Spelke.

Als Grundsatz ihres Testentwurfs (externe Seite, arcprize.org) nennen die Betreiber eine Kurzformel: leicht für Menschen, schwer für KI. Ein solcher Test ist mit Absicht so gebaut, dass er Modelle schlecht aussehen lässt, und das ist seine Aussage.

Umgekehrt gilt dasselbe: Ein Aufgabensatz, dessen Fragen im Trainingsmaterial standen, lässt Modelle gut aussehen. Die GSM1k-Arbeit (externe Seite, arxiv.org) des Datenanbieters Scale AI beschreibt die Sorge, um die es geht: Daten, die den Testfragen sehr ähneln, gelangen ins Trainingsmaterial, und die Punktzahl spiegelt dann diese Nähe statt echter Denkfähigkeit.

Der Fachausdruck dafür ist Kontamination. Sie lässt sich von außen nicht sehen, weil niemand die Trainingsdaten der großen Modelle kennt. Messen kann man sie nur so, wie die Arbeit es getan hat: mit einem zweiten, gleichwertigen Aufgabensatz, den es vorher nicht gab.

Die Metrik

Die Metrik sagt, was gezählt wird. Eine Prozentzahl liest sich wie eine Schulnote, und oft ist sie etwas völlig anderes.

Bei ARC-AGI-3 werden Aktionen gezählt und mit einem menschlichen Maßstab verglichen. Ein Wert von 38,3 Prozent bedeutet dort also keine Lösungsquote von 38 von 100 Aufgaben. Wie weit die Skala reicht, sagt die Ankündigung (externe Seite, arcprize.org) vom 25.03.2026: Menschen erreichen 100 Prozent, die Spitzenmodelle bei der Vorstellung 0,51 Prozent.

Die Ankündigung (externe Seite, arcprize.org) nennt den Test ausdrücklich den ersten vollständig interaktiven seiner Reihe. Er misst damit etwas anderes als seine Vorgänger: Der Agent bekommt eine Spielumgebung ohne Anleitung, ohne Regeln und ohne genanntes Ziel und muss selbst herausfinden, was Gewinnen bedeutet.

Die zweite Frage an jede Metrik lautet, wie oft gemessen wurde. Der Test tau-bench von Sierra, einem Anbieter von Agenten für den Kundendienst, hat dafür die Kennzahl pass hoch k eingeführt, die nach mehreren Versuchen fragt. Die Arbeit (externe Seite, arxiv.org) schlägt sie als Maß dafür vor, wie verlässlich sich ein Agent über mehrere Versuche verhält.

Bewertet wird dort am Endzustand der Datenbank: Das Verfahren (externe Seite, arxiv.org) vergleicht den Zustand am Ende eines Gesprächs mit einem vorab hinterlegten Zielzustand. Das ist eine eigene Entscheidung: Der Weg dorthin zählt nicht, das Ergebnis schon.

Der Messaufbau

Die dritte Festlegung ist die unauffälligste, weil sie in keiner Rangliste steht. Wie wird die Aufgabe formuliert? Darf das Modell vorher nachdenken? Was passiert, wenn der Verlauf zu lang wird?

Wie stark das wiegt, hat die MMLU-Pro-Arbeit beziffert. Sie fuhr denselben Test mit 24 verschiedenen Formulierungen. Laut Arbeit (externe Seite, arxiv.org) schwankten die Punktzahlen je nach Formulierung bei MMLU um 4 bis 5 Prozent, bei MMLU-Pro nur noch um 2 Prozent.

Vier bis fünf Prozent allein aus der Formulierung. Die Spitzenmodelle aus der ersten Hälfte 2024 lagen bei MMLU laut der Einleitung derselben Arbeit alle zwischen 86 und 87 Prozent. In einer solchen Rangliste ist die Schwankung größer als der Abstand zwischen Platz eins und Platz fünf.

Die Leute hinter der verbreitetsten Messvorrichtung haben aufgeschrieben, was drei Jahre Betrieb sie gelehrt haben. Der erste Satz ihrer Arbeit (externe Seite, arxiv.org) ist eine Bilanz: Eine verlässliche Bewertung von Sprachmodellen ist weiterhin eine offene Aufgabe.

Als methodische Schwierigkeiten (externe Seite, arxiv.org) nennen sie unter anderem, wie empfindlich Modelle auf den Messaufbau reagieren, wie schwer sich Verfahren sauber vergleichen lassen und dass Ergebnisse oft weder wiederholbar noch nachvollziehbar sind.

Wer gemessen hat

Fast alle Zahlen in Modell­an­kün­di­gungen sind Eigenmessungen. Das entwertet sie noch nicht, denn viele sind nachvollziehbar beschrieben. Es ordnet sie ein: Wer sein eigenes Modell misst und dabei den Messaufbau wählt, hat ein Interesse am Ergebnis.

Der Gegenentwurf sind Ranglisten, in denen Menschen abstimmen. Chatbot Arena lässt zwei anonyme Modelle dieselbe Frage beantworten und zählt, welche Antwort gewinnt. Die Rangzahl geht auf das Elo-Verfahren aus dem Schachsport zurück. Mit ihm ging die Plattform Ende April 2023 an den Start, so steht es in der Ankündigung (externe Seite, lmsys.org) der Betreiber vom 03.05.2023.

Auch dieses Verfahren hat seine Eigenheiten, und die Arbeit (externe Seite, arxiv.org) sagt es selbst: Frühere Fassungen der Plattform zeigten andere Rangzahlen an, etwa den Elo-Wert, und seit Dezember 2023 rechnet sie mit Bradley-Terry-Koeffizienten, weil die sich für die statistische Schätzung besser eignen. Die Umstellung kündigten die Betreiber am 07.12.2023 in einem Blogbeitrag (externe Seite, lmsys.org) an.

Die Rangzahl hängt also an der Rechenweise der Plattform, und die hat sich schon geändert. Für Agenten rechnet dieselbe Plattform noch einmal anders. Die Agenten-Rangliste (externe Seite, arena.ai) wertet einzelne Sitzungen aus, denen das Modell per Zufall zugeteilt wurde, und schätzt daraus, wie viel das Modell zum Ergebnis beiträgt. Der Betreiber nennt das Verfahren Causal Tracing. Zusammengefasst werden zunächst fünf Signale, darunter, ob der Agent ein Werkzeug aufruft, das es gar nicht gibt. Weitere sollen folgen.

Wo Menschen im Paarvergleich abstimmen, bewerten sie den Eindruck einer Antwort. Fachliche Richtigkeit prüfen sie nur, soweit sie sie beurteilen können.

Wie man eine Ankündigung liest

Aus den drei Teilen ergeben sich drei Fragen, die sich an jeder Ankündigung beantworten lassen, meistens in wenigen Minuten.

• Welcher Aufgabensatz, und wie alt ist er? Ein Test, den die Spitze ausgereizt hat, unterscheidet nichts mehr.
• Was zählt die Metrik, und über wie viele Durchgänge? Aktionen, gelöste Aufgaben und Stimmen von Menschen sind drei verschiedene Größen.
• Wer hat gemessen, und ist der Aufbau beschrieben? Ohne diese Angabe vergleichen Sie zwei Paare aus Modell und Umgebung, von denen Sie je eine Hälfte kennen.

Zwei Kennzahlen sehen fast gleich aus und beantworten entgegengesetzte Fragen. Der Unterschied zwischen ihnen ist die ganze Differenz zwischen einer Ankündigung und einem Betriebsplan.

pass@k und pass hoch k

pass@k fragt: Gelingt die Aufgabe in k Versuchen mindestens einmal? Die Kennzahl stammt aus der Pro­gram­mier­be­wer­tung, wo man mehrere Vorschläge erzeugt und den besten nimmt. Sie steigt mit k, denn mehr Versuche können nur helfen.

pass hoch k fragt das Gegenteil: Gelingt die Aufgabe in k Versuchen jedes Mal? Diese Kennzahl fällt mit k. Eingeführt wurde sie in tau-bench, einem Test von Sierra. Die Firma verkauft Agenten für den Kundendienst, und ihre Arbeit (externe Seite, arxiv.org) schlägt die Kennzahl als Maß dafür vor, wie verlässlich sich ein Agent über mehrere Versuche verhält.

Wer eine Zahl liest, in der ein k vorkommt, sollte also zuerst nachsehen, in welche Richtung sie zeigt. Ein hoher pass@8-Wert und ein hoher pass-hoch-8-Wert sind zwei sehr verschiedene Zusagen.

Was die Streuung über die Aufgaben verrät

Die gemessenen Werte lohnen eine Rechnung. Beide stehen im Abstract (externe Seite, arxiv.org) als Schranken: Selbst die besten Agenten mit Funktionsaufrufen, genannt ist GPT-4o, lösen weniger als 50 Prozent der Aufgaben, und im Bereich Einzelhandel gelingen weniger als 25 Prozent der Aufgaben in allen acht Versuchen.

Angenommen, jeder Versuch gelänge unabhängig von den anderen mit der Wahr­schein­lich­keit 0,5. Dann wäre die Wahr­schein­lich­keit für acht Erfolge hintereinander 0,5 hoch 8, also 0,39 Prozent. Gemessen sind bis zu 25 Prozent, also das rund Sechzigfache.

Daraus folgt etwas über die Verteilung. Die Unsicherheit sitzt zu einem großen Teil zwischen den Aufgaben statt in den Wiederholungen: Ein Teil der Aufgaben gelingt zuverlässig, ein anderer scheitert zuverlässig, und dazwischen liegt der Bereich, der wackelt. Grob gerechnet gelingt etwa die Hälfte dessen, was einmal klappt, auch achtmal.

Zwei Vorbehalte zur Rechnung. Erstens sind beide Werte Obergrenzen, der tatsächliche Abstand kann anders ausfallen. Zweitens gilt sie für einen bestimmten Aufgabenbereich dieses einen Tests. Die Größenordnung überträgt sich trotzdem: Eine Erfolgsquote je Einzelversuch beschreibt einen Arbeitsablauf schlecht, in dem derselbe Vorgang hundertmal am Tag laufen soll.

Woher die Streuung überhaupt kommt, steht in Grundkurs, Kapitel 12: Dasselbe Modell zieht bei jeder Anfrage neu aus einer Rangliste möglicher Fortsetzungen.

Was Chollet messen wollte

Die schärfste Kritik am Prinzip Aufgabensammlung ist so alt wie der Test, der sie ausgelöst hat. François Chollet stellte ARC 2019 in einer Arbeit (externe Seite, arxiv.org) vor, die Intelligenz umdefiniert: als die Effizienz, mit der ein System neue Fertigkeiten erwirbt. Die Betreiber des Tests fassen es heute auf ihrer Übersichtsseite (externe Seite, arcprize.org) so zusammen: Intelligenz ist die Effizienz, mit der man sich Fertigkeiten für unbekannte Aufgaben aneignet, einfacher gesagt, wie schnell man Neues lernt.

Der Punkt daran ist eine Falle, in die jede feste Aufgabensammlung läuft. Chollet hält in derselben Arbeit fest, dass sich beliebige Fertigkeiten erkaufen lassen, wenn man dem System genug Vorwissen oder genug Trainingsdaten mitgibt. Eine Punktzahl an einer bekannten Sammlung misst dann den Einkauf.

Der Maßstab, an dem sich das Feld nach dieser Lesart messen lassen müsste, steht auf derselben Übersichtsseite (externe Seite, arcprize.org), als Definition des ARC Prize: AGI ist ein System, das so effizient lernt wie ein Mensch.

Das ist eine Aussage über Lern­ge­schwin­dig­keit bei unbekannten Aufgaben. Kein verbreiteter Test misst sie, und das erklärt, warum die Werte auf ARC-AGI-3 so weit von den Werten auf Wissenstests entfernt liegen.

Die Messvorrichtung als eigene Fehlerquelle

Das Wort Harness hatte im Messwesen schon eine Bedeutung, bevor es die Umgebung eines Agenten bezeichnete. Die erste Ausgabe der verbreitetsten Vorrichtung von 2021 nennt sich im Titel ihrer Beschreibung (externe Seite, github.com) eine Evaluation Harness, also eine Messvorrichtung, für große Sprachmodelle. Als Zweck gibt sie an, einen einheitlichen Rahmen zu bieten, in dem sich autoregressive Sprachmodelle an einer großen Zahl verschiedener Aufgaben testen lassen.

Eine Vorrichtung, in die man ein Modell einspannt, damit alle gleich gemessen werden. Nach drei Jahren Betrieb haben die Beteiligten ihre Erfahrungen aufgeschrieben, und der lehrreichste Satz betrifft die Weitergabe des Wissens. Sie wollten, so ihre Arbeit (externe Seite, arxiv.org), einen großen Teil des stillschweigend oder nur mündlich überlieferten Wissens rund um die Bewertung von Sprachmodellen festschreiben.

Handwerkswissen, das mündlich weitergegeben wird. Wer eine Zahl aus einer Veröffentlichung nachbaut und andere Werte erhält, hat oft an genau dieser Stelle eine Annahme anders getroffen.

Was das für den eigenen Prüfstand heißt

Die Schlüsse aus alldem sind unbequem, weil sie Arbeit bedeuten.

Ein eigener Aufgabensatz veraltet ebenfalls. Wer zwanzig echte Fälle sammelt und ein Jahr lang dagegen misst, hat am Ende ein Modell, das auf diese zwanzig Fälle abgestimmt wurde. Die Sammlung braucht Zulauf.

Ein eigener Aufgabensatz gehört nirgends ins Netz. Sonst steht er im nächsten Trainingslauf. Die GSM1k-Arbeit (externe Seite, arxiv.org) des Datenanbieters Scale AI beschreibt das Muster: Daten, die den Testfragen sehr ähneln, gelangen ins Trainingsmaterial, und die Punktzahl spiegelt dann diese Nähe statt echter Denkfähigkeit. Auf neuen, gleichwertigen Aufgaben maß sie Einbußen von bis zu 8 Prozent, bei mehreren Modellfamilien über fast alle Modellgrößen hinweg.

Mehrere Durchgänge je Fall. Ein einzelner Lauf misst die Zufälligkeit der Erzeugung mit. Wie ein solcher Prüfstand aussieht, steht in Vibe-Coding / Agentic Engineering, Kapitel 07, und für Gesprächssysteme in Conversational AI, Kapitel 10.

Der Messaufbau gehört ins Protokoll. Modellfassung, Systemanweisung, Tools, Zeitpunkt. Ohne diese vier Angaben kann ein halbes Jahr später niemand mehr sagen, ob eine Verschlechterung vom Modell kam oder von der eigenen Einstellung. Wie weit diese Angaben reichen müssen, führt Agenten und Harness, Kapitel 04 aus: Bei Aufgaben über viele Schritte bewegt die Umgebung gemessen mehr als die Modellwahl.