Chancen und Grenzen

„Was kann KI?“ lässt sich als Liste von Fähigkeiten kaum beantworten, weil jede Antwort am nächsten Beispiel scheitert. Zwei andere Größen machen die Frage beantwortbar, und beide sind gemessen: wie lang eine Aufgabe ist, und wie oft sie gelingen muss.

Die Länge einer Aufgabe als Maßstab

Eine Forschungsgruppe hat 2025 eine Kennzahl vorgeschlagen, die eine Modellfähigkeit in menschlicher Arbeitszeit ausdrückt. Die Arbeit (externe Seite, arxiv.org) nennt sie den Zeithorizont bei 50 Prozent Aufgabenerfolg. Gemeint ist die Zeit, die Menschen typischerweise für Aufgaben brauchen, die KI-Modelle in der Hälfte der Fälle erfolgreich erledigen.

Zuerst wurde also gemessen, wie lange Fachleute für 170 Aufgaben aus Soft­ware­ent­wick­lung, maschinellem Lernen und IT-Sicherheit brauchen. Danach, welche davon die Modelle schaffen. Für die Modelle vom Frühjahr 2025 ergab das eine klare Kurve, die METR in seiner Darstellung der Arbeit (externe Seite, metr.org) beziffert: Aufgaben, für die ein Mensch weniger als vier Minuten braucht, gelangen fast zu 100 Prozent, Aufgaben ab etwa vier Stunden in weniger als zehn Prozent der Fälle.

Hier stehen Chance und Grenze in einem Satz. Was ein Mensch in vier Minuten erledigte, gelang den Modellen von damals praktisch immer. Was ihn einen halben Tag kostete, gelang selten. Dazwischen fällt die Kurve ab.

Wo die Kurve heute liegt

Die Kurve ist seither weit nach rechts gewandert. In einer Bewertungsrunde im Februar und März 2026 lag der 50-Prozent-Wert der stärksten öffentlichen Modelle bei etwa zwölf Stunden, mit einer Spanne von fünf bis 61 Stunden (Beleg (externe Seite, metr.org)). Die stärksten Agenten der Runde, darunter Modelle, die die Hersteller nur intern einsetzten, hatten die Aufgabensammlung fast ausgeschöpft. Der Risikobericht (externe Seite, metr.org) nennt für sie einen gemessenen Zeithorizont von mehr als zwei vollen Arbeitstagen und schränkt gleich ein: Weil die Sammlung ausgeschöpft ist, wird der Punktwert zunehmend unsicher.

METR schreibt die Messreihe inzwischen nicht mehr fort. Seit dem 08.09.2026 steht das als Hinweis im Kopf der Seite zur Messreihe (externe Seite, metr.org).

Wo die Grenze für ein heutiges Modell liegt, sagt die Kennzahl damit nur noch ungefähr. Sie gilt außerdem für Softwareaufgaben, und wie weit andere Gebiete davon abweichen, steht in Ebene 3.

Wie oft es gelingen muss

Die zweite Größe wird beim Lesen von Ranglisten leicht übersehen. Eine Erfolgsquote von 50 Prozent klingt nach der Hälfte der Aufgaben. Für den Betrieb zählt etwas anderes: ob derselbe Vorgang morgen wieder gelingt.

Ein Test für Agenten im Kundendialog (externe Seite, arxiv.org) hat 2024 beides neben­ein­an­der­ge­stellt. Er stammt von Sierra, einer Firma, die solche Agenten (externe Seite, sierra.ai) verkauft. Selbst die damals stärksten Agenten mit Funktionsaufrufen, etwa auf Grundlage von GPT-4o, lösten weniger als die Hälfte der Aufgaben und waren dabei wenig beständig: Im Teil zum Einzelhandel gelang derselbe Auftrag in weniger als 25 Prozent der Fälle achtmal hintereinander.

Von dem, was einmal gelingt, gelingt also nur ein Teil achtmal hintereinander. Was diese Kennzahl genau misst, steht in Kapitel 04.

Dieselbe Unterscheidung steckt auch im Zeithorizont. Er wird für verschiedene Zuver­läs­sig­keits­stufen berechnet, und die Seite zur Messreihe (externe Seite, metr.org) erklärt die bekannteste: Der Zeithorizont bei 50 Prozent ist die Aufgabendauer, bei der ein Agent nach der Vorhersage in der Hälfte der Fälle Erfolg hat.

Die Stufe von 80 Prozent liegt weit darunter. Im Frühjahr 2026 waren es für die stärksten öffentlichen Modelle etwa anderthalb Stunden gegen zwölf bei 50 Prozent (Beleg (externe Seite, metr.org)).

seitlich verschiebbar

eigene Darstellung nach METR 2025 (Abschnitt 4) und METR, Risikobericht 2026 (Ergebnistabelle), Stand 10.10.2026

Wer eine Aufgabe an ein System übergibt, das sie in der Hälfte der Fälle schafft, hat die Arbeit verschoben. Er prüft jetzt Ergebnisse, statt sie zu erzeugen.

Warum lange Aufgaben so schnell abfallen

Ein Grund dafür ist Arithmetik, und die Rechnung steht in Grundkurs, Kapitel 09: Eine Kette aus zehn Schritten mit je 99 Prozent Zuverlässigkeit landet bei 90 Prozent, mit je 95 Prozent bei 60. Eine lange Aufgabe ist eine lange Kette, und jedes Glied multipliziert sich hinein.

Die Chancenseite, in derselben Zahl

Das andere Ende derselben Kurve ist deutlich. Schon 2025 gelangen Aufgaben unter vier Minuten menschlicher Arbeitszeit nahezu immer, und im Frühjahr 2026 lag die Stufe von 80 Prozent bei etwa anderthalb Stunden.

Gemessen ist das an Softwareaufgaben. Viele Vorgänge der Büroarbeit sind deutlich kürzer: einen Absatz einordnen, drei Angaben aus einem Dokument ziehen, eine Mail zusammenfassen, einen Entwurf gegen eine Regel prüfen, eine Tabelle umformatieren. Ob sie im eigenen Fall so zuverlässig gelingen, zeigt eine Probe am eigenen Material.

Damit verschiebt sich die eigentliche Arbeit. Sie besteht darin, einen Vorgang so zuzuschneiden, dass er in diese Klasse fällt.

Was daraus für die Auswahl folgt

Eine Aufgabe eignet sich, wenn drei Bedingungen zusammenkommen: Sie ist kurz genug, sie ist klar abgegrenzt, und ihr Ergebnis lässt sich prüfen. Fehlt die dritte, verschiebt sich die Arbeit nur: Aus dem Erzeugen wird ein Nachrechnen, und das kann länger dauern als die Sache selbst.

Der umgekehrte Fall ist ebenso brauchbar. Eine Aufgabe, die einen Menschen mehrere Stunden kostet, liegt auch bei den stärksten Modellen oberhalb der Stufe von 80 Prozent. Sie lässt sich zerlegen, und dann gilt für jedes Stück wieder die kurze Kette. Was das Zerlegen kostet, steht in Ebene 3: Es heißt Übergabestellen bauen, und an jeder davon muss jemand festlegen, was als fertig gilt.

Die Kennzahl aus Ebene 1 ist genauer, als sie klingt, und sie sagt etwas anderes, als die meisten daraus lesen. Beides lohnt einen zweiten Blick.

Was eine Zeitangabe wirklich behauptet

Als die Arbeit erschien, lag der Wert für das damals stärkste Modell, Claude 3.7 Sonnet, nach dem Kurztext der Arbeit (externe Seite, arxiv.org) bei etwa 50 Minuten.

Zwei Lesarten liegen nahe: Das Modell schafft die Hälfte aller Aufgaben dieser Länge, oder es schafft jede einzelne davon in der Hälfte der Versuche. Die Betreiber der Messreihe beantworten genau diese Frage in ihren Erläuterungen (externe Seite, metr.org): Die Wahrheit liegt dazwischen. Ihr Beispiel ist GPT-5 mit einem Horizont von gut zwei Stunden. Bei Aufgaben von anderthalb bis drei Stunden gelang ihm etwa ein Drittel immer, ein Drittel nie, und beim letzten Drittel wechselte es. Der Wert stammt aus einer angepassten Kurve über Aufgaben verschiedener Länge, und für eine einzelne Aufgabe sagt er wenig voraus.

Praktisch heißt das: Die Zahl ordnet Größenordnungen ein. Vier Minuten, fünfzig Minuten, vier Stunden sind drei verschiedene Welten. Wie grob die Einordnung ist, beziffert der Hauptautor der Arbeit in einer Forschungsnotiz (externe Seite, metr.org), die METR als weniger geprüfte Einzelmeinung kennzeichnet: Die Fehlerbalken lagen bisher bei etwa einem Faktor 2 in jede Richtung, und bei aktuellen Modellen wie Opus 4.5 sind sie größer, weil die Aufgabensammlung an ihre Grenze kommt.

Zwischen 45 und 55 Minuten zu unterscheiden, gibt die Zahl also nicht her. Abschnitt 4 derselben Arbeit nennt für das Modell 59 Minuten, und diesen Wert zeigt die Grafik in Ebene 1 (Beleg (externe Seite, arxiv.org)).

Die Zahl, die es nicht gibt

Für den Betrieb wäre eine andere Stufe interessant. Wer einen Vorgang automatisieren will, denkt an 99 Prozent, nicht an 50. Genau diese Zahl ist nicht zu haben, und die Begründung dafür ist lehrreich: Eine Messung bei 99 Prozent bräuchte sehr viel mehr Aufgaben, und zwar sehr kurze, für die sich verlässliche menschliche Vergleichszeiten kaum gewinnen lassen. Der Hauptautor schätzt den Bedarf auf etwa 300 sehr verschiedene Aufgaben je Zeitstufe (Beleg (externe Seite, metr.org)).

Was die Betreiber stattdessen anbieten, ist eine zweite Stufe und eine Vermutung. Weil die Verläufe für 50 und 80 Prozent sehr ähnlich sind, erwarten sie laut ihren Erläuterungen (externe Seite, metr.org) für den wahren Zeithorizont bei höheren Zuver­läs­sig­keits­stufen einen ähnlichen Verlauf.

Der 80-Prozent-Horizont liegt dabei weit unter dem 50-Prozent-Horizont. Die Arbeit von 2025 nennt ihn vier- bis sechsmal kürzer (Beleg (externe Seite, arxiv.org)), im Frühjahr 2026 standen für die stärksten öffentlichen Modelle etwa anderthalb gegen zwölf Stunden (Beleg (externe Seite, metr.org)). Eine eigene Messung ist er dabei nur zum Teil, denn beide Werte stammen aus derselben Kurve. Die Forschungsnotiz (externe Seite, metr.org) des Hauptautors nennt die Horizonte bei 20 und 80 Prozent deshalb keine ganz unabhängigen Schätzungen neben dem bei 50 Prozent: Die Kurve hat zu wenige Parameter, um sie getrennt anzupassen, und bessere Ergebnisse bei den langen Aufgaben, an denen die Stufe von 20 Prozent liegt, können den Wert für 80 Prozent sogar senken.

Wer also eine Aufgabe sucht, die zuverlässig gelingt, muss sie erheblich kürzer schneiden, als die bekanntere Zahl nahelegt.

Zwei Achsen, die oft verwechselt werden

Länge und Zuverlässigkeit sind zwei Größen, und sie beantworten verschiedene Fragen.

Die Länge sagt, wie viel Arbeit in einem Zug erledigt wird. Sie hängt an der Kette: Jeder Schritt multipliziert sich hinein, und die Rechnung dazu steht in Grundkurs, Kapitel 09.

Die Zuverlässigkeit sagt, wie oft dasselbe gelingt. Sie hängt am Einzelvorgang, und die Kennzahl dafür misst Wiederholungen desselben Auftrags (Kapitel 04).

Ein System kann bei der einen gut und bei der anderen schlecht sein. Ein Agent, der eine Zwei-Stunden-Aufgabe in der Hälfte der Fälle schafft, ist für eine einmalige Recherche brauchbar und für einen Nachtlauf ungeeignet, der ohne Aufsicht durchlaufen soll.

Woher die Verbesserung kommt

Die Arbeit (externe Seite, arxiv.org) benennt, was den Zeithorizont bis 2025 gehoben hat: Getrieben scheint der Zuwachs vor allem von größerer Verlässlichkeit und der Fähigkeit, sich auf eigene Fehler einzustellen.

Im selben Satz nennt sie dazu besseres logisches Schließen und den besseren Umgang mit Tools. Vorn stehen aber Verlässlichkeit und der Umgang mit eigenen Fehlern. Beides beeinflusst auch die Umgebung um das Modell herum, und genau darauf zielt Agenten und Harness, Kapitel 04. Ein Positionspapier (externe Seite, arxiv.org) vom Mai 2026 stellt dazu eine These auf, und zwar für lange Aufgaben und Modelle von vergleichbarer Spitzenklasse: Dort hängen die Leis­tungs­un­ter­schiede stärker an der Konfiguration des Harness als an der Wahl des Modells.

Wer also an der Grenze steht, hat zwei Wege. Er wartet auf ein Modell mit längerem Horizont, oder er baut die Umgebung so, dass Fehler auffangbar werden.

Wie Sie den eigenen Fall einordnen

Drei Fragen genügen für eine erste Einschätzung, und alle drei lassen sich ohne Tool beantworten.

• Wie lange bräuchte eine Fachkraft dafür, die neu an die Sache kommt? Das ist die Größe, auf die sich die Messungen beziehen: METR vergleicht mit einer neuen Kraft oder einem Freiberufler ohne Vorwissen zum Projekt (Beleg (externe Seite, metr.org)). Bei Softwareaufgaben lag die Stufe von 80 Prozent im Frühjahr 2026 bei etwa anderthalb Stunden. Was deutlich darunter liegt, ist im günstigen Bereich. Andere Gebiete können um Größenordnungen niedriger liegen (Ebene 3).
• Wie oft läuft das? Einmal im Quartal verträgt eine Quote von 70 Prozent. Hundertmal am Tag verträgt sie nicht.
• Wer merkt einen Fehler, und wie schnell? Ein Ergebnis, das jemand ohnehin liest, darf unsicherer sein als eines, das direkt weiterverarbeitet wird.

Wer die Zahlen aus den vorigen Ebenen für eine Entscheidung benutzt, sollte wissen, worauf sie stehen. Die Verfasser sagen es selbst, und zwar deutlicher als die meisten, die sie zitieren.

Was die Messung einschränkt

Die Arbeit diskutiert ihre Grenzen ausdrücklich, unter anderem die externe Gültigkeit. Gemessen wurde an einer Zusammenstellung aus zwei For­schungs­samm­lungen und 66 eigens gebauten kürzeren Aufgaben, 170 insgesamt. Die Fassung 1.1 der Messreihe hat 228 Aufgaben, und laut der Seite zur Messreihe (externe Seite, metr.org) stammen sie vor allem aus Soft­ware­ent­wick­lung, maschinellem Lernen und IT-Sicherheit.

Für andere Gebiete gibt es eine Ver­gleichs­rech­nung (externe Seite, metr.org) über neun vorhandene Benchmarks, ohne eigene neue Versuche. Wissenschaftliche Fragen, Mathe­ma­tik­wett­be­werbe und Pro­gram­mier­auf­gaben lagen 2025 in derselben Größenordnung wie die Softwareaufgaben. Die Bedienung grafischer Oberflächen fiel deutlich ab: Die Horizonte für OSWorld und WebArena liegen um den Faktor 40 bis 100 unter denen der Gruppe aus Software und logischem Schließen, sie wachsen allerdings ähnlich schnell.

Die Verfasser nennen die Daten vieler dieser Benchmarks selbst weniger belastbar als die der Ausgangsarbeit.

Die Aufgaben sind außerdem ordentlicher als die meiste echte Arbeit (Beleg (externe Seite, metr.org)). METR bewertet jede nach 16 Merkmalen, die eine Aufgabe unübersichtlich machen, etwa eine schwer prüfbare Lösung oder eine Umgebung, die sich verändert. Bei Claude Opus 4.6 lag der Horizont für die ordentlichere Hälfte bei 17,8 Stunden, für die unordentlichere bei 6,4 (Beleg (externe Seite, metr.org), Anhang E).

Dazu kommt eine methodische Eigenheit, die man beim Zitieren leicht übergeht: Der Wert ist die Stelle, an der eine angepasste Kurve eine Schwelle schneidet, und damit selbst gemessen hat ihn niemand. Wie die Betreiber es beschreiben, wird für jedes Modell eine logistische Kurve über die menschliche Bearbeitungsdauer gelegt, und der Zeithorizont ist deren Schnittpunkt mit 50 oder 80 Prozent. Eine Kurve über 170 oder 228 Aufgaben glättet, und eine einzelne Aufgabe kann weit daneben liegen.

METR benennt außerdem eine Obergrenze: Über 16 Stunden misst die Aufgabensammlung nicht mehr verlässlich (Beleg (externe Seite, metr.org)). Die stärksten Agenten der Bewertungsrunde vom Frühjahr 2026 lagen bereits darüber. Bei den langen Aufgaben kam zudem ein Teil der Erfolge auf unerlaubtem Weg zustande. Der Risikobericht (externe Seite, metr.org) beziffert es: Bei Aufgaben über acht Stunden in der Fassung 1.1 erwiesen sich bei der Durchsicht mindestens 16 Prozent der erfolgreichen Läufe als unzulässig.

Solche Läufe zählt METR als gescheitert. Seit September 2026 schreibt METR die Reihe nicht mehr fort.

Warum die Kettenformel zu freundlich rechnet

Grundkurs, Kapitel 09 rechnet die Kette aus und nennt die Annahmen dazu: dass jeder Schritt für das Ergebnis nötig ist, dass keiner wiederholt wird, und dass die Schritte einander unbeeinflusst lassen. Die dritte Annahme ist die schwächste. Harness-Bench, ein Messaufbau mit 106 abgeschotteten Aufgaben nach Mustern aus dem praktischen Einsatz, benennt dazu eine wiederkehrende Fehlerart. Die Arbeit (externe Seite, arxiv.org) beschreibt sie so: Eine plausible Überlegung löst sich von der Rückmeldung der Tools, vom Zustand der Arbeitsumgebung, von den Belegen oder von überprüfbaren Vorgaben für das Ergebnis.

Wenn die Überlegung des Modells sich einmal von der Wirklichkeit gelöst hat, hängen die folgenden Schritte daran. Die Formel unterschätzt den Abfall dann.

In die andere Richtung wirkt die zweite Annahme. Ein Aufbau, der einen gescheiterten Schritt wiederholen darf, kommt besser weg, als die Formel sagt. Das ist ein Grund, warum die Fehlerbehandlung im Harness so viel bewegt: Sie greift genau dort ein, wo die Multiplikation stattfindet.

Die Rechnung für den eigenen Betrieb

Aus der erlaubten Fehlerzahl lässt sich die nötige Zuverlässigkeit ableiten, statt sie zu schätzen. Ein Vorgang läuft 200 mal im Monat, und Sie können zwei Fehlschläge im Monat auffangen. Dann brauchen Sie 99 Prozent je Lauf.

Besteht dieser Vorgang aus fünf Schritten, muss jeder einzelne davon 99,8 Prozent erreichen, denn 0,998 hoch 5 ergibt 0,990. Bei zehn Schritten sind es 99,9 Prozent je Schritt.

Diese Zahlen zeigen, wie weit ein Zeithorizont von 50 Prozent von einem Dauerbetrieb entfernt liegt. Von 50 auf 99 Prozent je Lauf sind es 49 Prozentpunkte, in der Fehlerquote aber der Faktor 50. Der Hauptautor der Messung zieht denselben Schluss, in einer Forschungsnotiz (externe Seite, metr.org), die METR als weniger geprüfte Einzelmeinung kennzeichnet: Ein Zeithorizont von X Stunden bei 50 Prozent heißt noch lange nicht, dass sich Aufgaben unter X Stunden an eine KI abgeben lassen.

Manche Aufgaben brauchen nach seiner Einschätzung 98 Prozent und mehr, bevor sich ihre Automatisierung lohnt, vor allem solche, bei denen es auf Verlässlichkeit ankommt und deren Ergebnis schwer zu prüfen ist.

Zwei Auswege gibt es, und beide verkürzen die Kette. Der eine zerlegt den Vorgang in Teile mit je eigener Abnahme. Der andere baut eine Prüfung ein, die den Fehler auffängt, bevor er sich fortpflanzt. Was dabei als Prüfung taugt, steht in Vibe-Coding / Agentic Engineering, Kapitel 07.

Das Zerlegen kostet allerdings etwas, das die Rechnung nicht zeigt. Jede Trennstelle ist eine Übergabe, und an jeder muss jemand festlegen, was als fertig gilt. Fünf Teilschritte mit je eigener Abnahme brauchen fünf solcher Festlegungen, und wo sie fehlen, wandert die Unsicherheit nur an eine andere Stelle: Der Schritt gilt als gelungen, weil sein Ergebnis plausibel aussieht.

Das passt zu der Fehlerart aus Harness-Bench. Dort löst sich die Überlegung unter anderem von überprüfbaren Vorgaben für das Ergebnis, und genau eine solche Vorgabe ist die Festlegung an der Trennstelle.

Die Chancenseite, beziffert

Die Diskussion über Grenzen verdeckt leicht, wie deutlich die andere Seite ausfällt. Aufgaben unter vier Minuten menschlicher Arbeitszeit gelangen schon 2025 nahezu immer. Im Frühjahr 2026 lag die Stufe von 80 Prozent für Softwareaufgaben bei etwa anderthalb Stunden (Beleg (externe Seite, metr.org)). Text einordnen, Angaben aus einem Dokument ziehen, eine Zusammenfassung anfertigen, einen Entwurf gegen eine Regel prüfen: Solche Vorgänge sind meist kürzer. Gemessen sind sie in dieser Reihe nicht, und wie weit ein Gebiet abweichen kann, zeigt die Bedienung grafischer Oberflächen.

Für diese Klasse lautet die interessante Frage, ob sich der Vorgang so zuschneiden lässt, dass er hineinfällt. Genau das ist Gestaltungsarbeit, und sie liegt beim Bauenden.

Was daraus folgt

Eine Fähigkeitsangabe ohne Zuver­läs­sig­keits­stufe ist unvollständig. 50 Prozent und 80 Prozent beschreiben verschiedene Systeme, auch wenn dasselbe Modell darin steckt.

Die eigene Kette gehört gezählt. Wie viele Schritte muss ein Vorgang wirklich nehmen, und welche davon lassen sich zusammenfassen oder wegnehmen.

Die Zerlegung ist der Hebel in der Hand des Bauenden. Sie verkürzt die Kette und bringt die Teile in den Bereich, in dem die Messungen nahezu vollständige Erfolge zeigen.

Und die Messung bleibt eine über Software. Bei Mathematik und Wis­sen­schafts­fragen lagen die Werte 2025 in derselben Größenordnung, bei der Bedienung grafischer Oberflächen um das 40- bis 100-fache darunter. Wer auf ein anderes Gebiet überträgt, misst deshalb selbst. Wie eine eigene Erhebung aussieht, steht in Kapitel 04.