GrundlagenBeurteilen und EinordnenKapitel 05 von 8

Geschwin­dig­keit der Ent­wick­lung

Gleiches Kapitel, drei Tiefen. Die Wahl gilt überall und bleibt gespeichert.

Tiefe 1: Überblick · Lesezeit 9 Min. · Stand

„Wie schnell geht das eigentlich?“ hat keine einzelne Antwort, weil mehrere Größen gleichzeitig wachsen. Sie wachsen alle, und sie wachsen unterschiedlich schnell. Genau diese Unterschiede sind die eigentliche Auskunft.

Warum eine Verdopplung schwer vorzustellen ist

Zwei Rechnungen dazu sind älter als jede Kennzahl auf dieser Seite, und beide kommen ohne KI aus.

Die erste ist die Legende vom Reiskorn auf dem Schachbrett: Auf das erste Feld kommt ein Korn, auf jedes weitere doppelt so viel wie auf das vorige. Über 64 Felder summiert sich das auf 18.446.744.073.709.551.615 Körner. Der Sprung liegt dabei ganz hinten. Auf dem 64. Feld allein liegen mehr Körner als auf allen 63 Feldern davor zusammen, genau eines mehr. Bei Feld 32 ist die Hälfte der Felder abgearbeitet, auf dem Tisch liegt dann rund ein Vier-Milliardstel der Endmenge.

Die zweite Rechnung faltet ein Blatt Papier, und jede Faltung verdoppelt die Dicke. Bei einem Zehntelmillimeter, also einem gewöhnlichen Blatt, reicht der Stapel nach 42 Faltungen bis zum Mond: 439.805 Kilometer gegen einen mittleren Abstand von 384.400 Kilometern (externe Seite, science.nasa.gov). Nach 41 Faltungen sind es 219.902, also gut die Hälfte des Weges, und eine einzige weitere Faltung schafft den Rest. Ein doppelt so dünnes Blatt kostet eine Faltung mehr; an der Größenordnung ändert das nichts.

Und hier hört das Bild auf. 42 Faltungen gibt es in der Wirklichkeit nicht. Der eingetragene Rekord steht bei zwölf Faltungen (externe Seite, guinnessworldrecords.com), aufgestellt 2002 von Britney Gallivan, und dafür brauchte sie ein Seidenpapier von 1.219 Metern Länge. Was sich verdoppelt, stößt irgendwann an eine physische Grenze. Welche das in diesem Feld sind, steht am Ende dieser Seite.

Die Takte im nächsten Abschnitt sind genau solche Verdopplungen, gerechnet in der Zeit statt auf einem Brett.

Dieselben 42 Faltungen zweimal gezeichnet: links als Kurve, die am Ende hochschießt, rechts auf logarithmischer Achse als Gerade. Zwei Felder nebeneinander, keine gemeinsame Achse. Links gleichmäßig in Kilometern, rechts logarithmisch, jede Stufe das Zehnfache. Dieselbe Rechnung sieht einmal nach plötzlichem Sprung und einmal nach gleichmäßigem Gang aus. 0 21 42 0 200.000 km 400.000 km Mond Gleichmäßige Achse 0 21 42 1 mm 1 m 1 km 1.000 km 1 Mio. km Mond Logarithmische Achse, je Stufe ×10 Faltungen, ein Blatt von 0,1 mm Dicke
Dieselben 42 Faltungen eines Blatts von 0,1 Millimetern, links auf gleichmäßiger Achse, rechts auf logarithmischer. Links sieht die Verdopplung wie ein später Sprung aus, rechts wie ein gleichmäßiger Gang. Beide Kurven sind gerechnet, der Mondabstand stammt von der NASA.

eigene Rechnung, Stand 09/2026

Sechs Takte nebeneinander

Gemessene Ver­dopp­lungs­zeiten, Stand August 2026:

WasVerdopplungSeit
Rechenaufwand für ein Spitzenmodell5,2 Monate2020
Weltweiter Bestand an Rechenchips6,8 Monate2022
Aufgabenlänge, die ein Modell schafft7 Monate2019
Rechenaufwand für dieselbe Leistung (halbiert)8 Monate2012
Chipleistung je ausgegebenem Dollar1,7 Jahre2023
Speicherbandbreite einer Grafikkarte2,8 Jahre2008

Zeile 1, 2 und 6 stammen aus dem Kennzahlenblatt von Epoch AI (externe Seite, epoch.ai). Zeile 3 kommt aus der Zeithorizont-Messung, die Kapitel 03 genauer behandelt. Nach der Arbeit von METR (externe Seite, arxiv.org) verdoppelt sich die Aufgabenlänge, die Spitzenmodelle schaffen, seit 2019 etwa alle sieben Monate. Der Satz geht in der Arbeit weiter: Der Trend habe sich seit 2024 womöglich beschleunigt. Die Fassung 1.1 (externe Seite, metr.org) der Messung vom Januar 2026 kommt für den ganzen Zeitraum auf genau dieselbe Verdopplungszeit von 196 Tagen, also sieben Monaten. Für GPT-2, GPT-3 und GPT-3.5 setzt sie dabei die Werte der ersten Fassung ein, weil diese Modelle nicht neu gemessen wurden.

Ab 2023 gerechnet sind es dort 131 Tage, ab 2024 gerechnet rund 89, also gut vier und knapp drei Monate. Die Messreihe dazu führt METR seit dem 08.09.2026 nach eigener Angabe nicht mehr fort. Schon seit Mai vermerkt ihre Seite (externe Seite, metr.org), dass Werte über 16 Stunden mit der vorhandenen Aufgabensammlung unzuverlässig sind.

Zeile 5 stammt aus einer eigenen Erhebung über gekaufte Chips (externe Seite, epoch.ai): Seit 2023 bringt ein Dollar, der in einem Quartal für KI-Chips ausgegeben wird, im Schnitt jedes Jahr rund 49 Prozent mehr Rechenleistung, und damit verdoppelt sich die Leistung je Dollar alle 1,7 Jahre.

Zwischen der schnellsten und der langsamsten Zeile liegt der Faktor 6,5, also 5,2 Monate gegen 33,6. Wer von „exponentiellem Fortschritt“ liest, sollte deshalb fragen, welche dieser Zeilen gemeint ist.

Welcher Takt bei Ihnen ankommt

Für die Frage, was in einem Betrieb ankommt, zählen die unteren Zeilen mehr als die oberen. Der Rechenaufwand an der Spitze sagt, was ein Labor investiert. Zeile 5 sagt, was ein Rechenzentrum für sein Geld an Rechenleistung bekommt: Die Erhebung rechnet mit den Kaufpreisen der Chips, in Dollar von 2025. Diese Kurve verläuft sprunghaft: Bis Mitte 2024 blieb die Leistung je Dollar nach der Erhebung (externe Seite, epoch.ai) fast gleich, dann verdoppelte sie sich ungefähr, als Chips der Blackwell-Generation den größten Teil der neuen Ausgaben ausmachten.

Anderthalb Jahre nahezu Stillstand, dann eine Verdopplung. Ein glatter Jahreswert verdeckt das.

Wer ein Modell über eine Schnittstelle nutzt, zahlt einen anderen Preis, und der fällt viel schneller. Epoch AI hat im September 2026 gemessen, was eine feste Leistung auf fünf Benchmarks aus Mathematik, Naturwissenschaft und Spielen kostet. Nach dem Bericht (externe Seite, epoch.ai) fällt dieser Preis seit 2023 um etwa 47 Prozent im Quartal, auf ein Dreizehntel im Jahr.

Gerechnet ist das für jemanden, der für jede Aufgabe stets das billigste Modell wählt, das sie schafft. Die Autoren schreiben selbst, dass echte Nutzer so oft nicht wechseln und deshalb weniger sparen. Am schnellsten fällt der Preis einer Leistung, solange sie neu ist. Gemittelt über alle fünf Benchmarks sinken die Kosten für eine Leistung, die gerade zum ersten Mal erreicht wurde, um 66 Prozent im Quartal, auf ein Fünf­und­sieb­zigstel im Jahr (Bericht (externe Seite, epoch.ai)). Dieses Muster zeigen drei der fünf Benchmarks.

Zwei Jahre später sind es noch 32 Prozent im Quartal. Epoch AI vermutet dahinter einen Aufschlag, den ein Anbieter kurz verlangen kann, solange er eine Leistung als Erster bietet.

Die Verfahren werden auch besser

Zeile 4 ist die am wenigsten bekannte und zugleich die bemerkenswerteste. Sie misst die Verfahren selbst: Wie viel Rechenleistung braucht man heute für eine Leistung, die früher mehr gekostet hat. Hardware und Geld stehen dabei fest. Eine Arbeit von Epoch AI (externe Seite, arxiv.org) hat das an über 200 Auswertungen von Sprachmodellen aus den Jahren 2012 bis 2023 gemessen: Der Rechenaufwand für eine feste Leistungsschwelle hat sich etwa alle acht Monate halbiert, mit einem 95-Prozent-Vertrauensintervall von rund 5 bis 14 Monaten. Das ist deutlich schneller als der Zuwachs der Hardware nach dem Mooreschen Gesetz.

Dieselbe Arbeit ordnet den Befund allerdings selbst ein, und dieser Satz fehlt in fast jeder Wiedergabe: Der Zuwachs an Rechenleistung hat im selben Zeitraum noch mehr zur Verbesserung beigetragen als die besseren Verfahren.

Die besseren Verfahren wirken also schnell, und im gemessenen Zeitraum hat die schiere Rechenleistung noch mehr bewegt. Wer nur die erste Hälfte zitiert, erzählt eine Geschichte über Erfin­dungs­reichtum, wo die Daten eine über Investitionen erzählen.

Der Antrieb hat 2024 gewechselt

Bis dahin kam der Fortschritt vor allem aus größeren Trainingsläufen. Der Rechenaufwand dafür wuchs jahrelang stetig, nach einer Auswertung von Epoch AI (externe Seite, epoch.ai) von 2010 bis Mai 2024 um das Vier- bis Fünffache im Jahr.

Seit 2024 kommt etwas dazu. Epoch AI hat vier Messreihen zu Fähigkeiten darauf untersucht, ob sie schneller geworden sind, und findet es in drei davon. Am besten erklärt die Daten ein Bruch mit den nachdenkenden Modellen: Nach dem Bericht (externe Seite, epoch.ai) machten sie einmal einen Sprung in der Leistung und legen seither etwa zwei- bis dreimal so schnell zu wie Modelle ohne Nachdenken. Einen genauen Takt nennt der Bericht nicht, weil für jede einzelne Reihe auch andere beschleunigte Kurven gut passen.

Die drei Reihen messen vor allem Programmierung und Mathematik, also Felder, in denen sich ein Ergebnis maschinell prüfen lässt. Die Autoren halten es für möglich, dass Aufgaben ohne eine solche Prüfung weniger zugelegt haben.

Nachdenkende Modelle rechnen länger, während sie antworten. Das verschiebt Aufwand vom Training in den Betrieb, und was das kostet, steht in Grundkurs, Kapitel 10.

Was diese Zahlen nicht sagen

Eine Verdopplungszeit beschreibt, was bisher geschehen ist. Sie sagt nichts darüber, wie lange das so weitergeht. Jede der sechs Zeilen kann an eine Grenze stoßen, und drei Grenzen sind absehbar: Strom, die Zeit, die der Bau eines großen Rechenzentrums braucht, und der Vorrat an öffentlich verfügbarem Text. Ebene 3 beziffert alle drei.

Quellen

18 Einträge, davon 8 Schlüsselarbeitenalle erreichbar

Erreichbarkeit automatisch geprüft

  • SchlüsselarbeitDatenerreichbar

    Trends in Artificial Intelligence (externe Seite, epoch.ai)

    epoch.aigeprüft 25.10.2026

    Das laufend fortgeschriebene Kennzahlenblatt von Epoch AI. Es nennt als Stand den 05.02.2026 und führt trotzdem schon Werte aus Erhebungen vom August und September 2026, zu jeder Zeile mit einem 90-Prozent-Intervall. Es stellt die Wachstumsraten nebeneinander, die zusammen das Tempo ergeben, und der Befund liegt in ihren Unterschieden: Die Trainingsrechenleistung an der Spitze verdoppelt sich seit 2020 alle 5,2 Monate, der weltweite Bestand an Rechenchips alle 6,8 Monate, die Speicherbandbreite einer Grafikkarte dagegen seit 2008 nur alle 2,8 Jahre.

  • SchlüsselarbeitDatenerreichbar

    Training compute of frontier AI models grows by 4-5x per year (externe Seite, epoch.ai)

    epoch.aigeprüft 25.10.2026

    Sevilla und Roldán werten am 28.05.2024 eine erweiterte Modelldatenbank aus und beziffern, wie schnell der Rechenaufwand für ein Spitzenmodell wächst. Der Zeitraum endet im Mai 2024; für den Verlauf danach führt Epoch AI das Kennzahlenblatt fort.

  • SchlüsselarbeitDatenerreichbar

    Have AI capabilities accelerated? (externe Seite, epoch.ai)

    epoch.aigeprüft 25.10.2026

    Denain und Barry prüfen am 16.04.2026 an vier Messreihen, ob sich der Fortschritt beschleunigt hat: am Fähigkeitsindex von Epoch AI, am Zeithorizont von METR, an einem Mathematik-Index und an einem Index aus WeirdML V2. Drei der vier zeigen eine Beschleunigung, am besten beschrieben durch einen Bruch mit den nachdenkenden Modellen. Die vierte zeigt keine. Die drei Reihen messen vor allem Programmierung und Mathematik, und die Autoren schränken die Verallgemeinerung selbst ein. Löst epoch-beschleunigung-2025 ab.

  • SchlüsselarbeitOriginalarbeiterreichbar

    Measuring AI Ability to Complete Long Software Tasks (externe Seite, arxiv.org)

    arxiv.orggeprüft 25.10.2026

    Kwa, West, Becker und 23 weitere Mitautoren von METR schlagen im März 2025 eine Kennzahl vor, die eine Modellfähigkeit in menschlicher Arbeitszeit ausdrückt: die Aufgabenlänge, die ein Modell mit einer bestimmten Wahrscheinlichkeit schafft. Gemessen wurde an 170 Aufgaben, für die zuerst Fachleute die Bearbeitungszeit lieferten. Die Arbeit nennt ihre eigenen Grenzen ausdrücklich, darunter die Übertragbarkeit auf Arbeit außerhalb der Testreihe. Die Abstractseite auf arXiv zeigt am 09.10.2026 weiter den Kurztext der ersten Fassung, aus dem die Zitate stammen. Fassung v4 vom 10.07.2026 nennt im Abstract o3 mit rund 110 Minuten statt Claude 3.7 Sonnet mit 50 Minuten und führt vier gleichrangige Gründe für den Zuwachs an (Volltext unter arxiv.org/html/2503.14499v4).

  • SchlüsselarbeitOriginalarbeiterreichbar

    Algorithmic progress in language models (externe Seite, arxiv.org)

    arxiv.orggeprüft 25.10.2026

    Ho und Mitautoren von Epoch AI messen am 09.03.2024 an über 200 Auswertungen aus den Jahren 2012 bis 2023, wie schnell die Verfahren selbst besser werden: Für dieselbe Leistung genügt in immer kürzeren Abständen die halbe Rechenleistung. Die Arbeit ordnet den Befund selbst ein, und der Nebensatz dazu fehlt in fast jeder Wiedergabe: Der Zuwachs an Rechenleistung hat im selben Zeitraum noch mehr beigetragen als die besseren Verfahren.

  • SchlüsselarbeitOriginalarbeiterreichbar

    Scaling Laws for Neural Language Models (externe Seite, arxiv.org)

    arxiv.orggeprüft 25.10.2026

    Kaplan und Mitautoren bei OpenAI messen am 23.01.2020, wie der Fehler eines Sprachmodells mit Modellgröße, Datenmenge und Rechenaufwand fällt. Das Ergebnis ist ein Potenzgesetz, einzelne der Verläufe über mehr als sieben Größenordnungen, und damit lässt sich der Ertrag eines größeren Trainingslaufs vorher abschätzen. Vier Monate vor GPT-3. Die eigene Empfehlung der Arbeit, sehr große Modelle auf vergleichsweise wenig Daten zu trainieren, hat DeepMind 2022 mit Chinchilla korrigiert, siehe chinchilla-2022.

  • SchlüsselarbeitOriginalarbeiterreichbar

    Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (externe Seite, arxiv.org)

    arxiv.orggeprüft 25.10.2026

    Snell, Lee, Xu und Kumar messen am 06.08.2024 den zweiten Weg, auf dem Modelle besser werden: mehr Rechenzeit beim Antworten statt beim Trainieren. Der Beleg dafür, dass die Wirkung dieses Wegs von der Schwierigkeit der Aufgabe abhängt, und für die Größenordnung, in der er ein größeres Modell schlagen kann.

  • SchlüsselarbeitDatenerreichbar

    AI capabilities progress has sped up (externe Seite, epoch.ai)

    epoch.aigeprüft 25.10.2026

    Edelman und Lee messen am 23.12.2025 an zwei voneinander unabhängigen Reihen einen Knick im Jahr 2024: Der eigene Fähigkeitsindex und der Zeithorizont von METR beschleunigen beide. Die Quelle nennt zugleich die Vermutung über den Grund, nämlich das Aufkommen der nachdenkenden Modelle. Epoch AI hat den Eintrag selbst als überholt markiert und verweist auf den Bericht vom April 2026, siehe epoch-beschleunigung-2026.

  • Datenerreichbar

    The performance per dollar of AI chips purchased each quarter has grown by an average of 49% per year (externe Seite, epoch.ai)

    epoch.aigeprüft 25.10.2026

    Somala misst am 13.08.2026, wie viel Rechenleistung ein Dollar beim Kauf von KI-Chips bringt, und in welchem Takt sich das verdoppelt. Gerechnet ist mit den Kaufpreisen der Beschleunigerkarten von 2023 bis Ende 2025, also mit dem, was ein Rechenzentrum bezahlt. Wichtig ist der Hinweis auf den sprunghaften Verlauf, denn ein glatter Jahreswert verdeckt hier anderthalb Jahre Stillstand.

  • Datenerreichbar

    The plunging price of thought (externe Seite, epoch.ai)

    epoch.aigeprüft 25.10.2026

    Emberson und Roodman messen am 22.09.2026 an fünf Benchmarks aus Mathematik, Naturwissenschaft und Spielen, wie schnell der Preis für eine feste Leistung fällt: seit 2023 um etwa 47 Prozent pro Quartal, am schnellsten direkt nachdem eine Leistung zum ersten Mal erreicht ist. Dazu das Beispiel des Modells o3. Gerechnet ist für einen Nutzer, der stets das billigste ausreichende Modell wählt, und die Autoren nennen das selbst als Einschränkung.

  • Originalarbeiterreichbar

    Time Horizon 1.1 (externe Seite, metr.org)

    metr.orggeprüft 25.10.2026

    METR stellt am 29.01.2026 die Fassung 1.1 der Zeithorizont-Messung vor, mit 228 statt 170 Aufgaben, und vergleicht die Verdopplungszeiten beider Fassungen. Über den ganzen Zeitraum seit 2019 bleibt es bei rund sieben Monaten. Ab 2023 gerechnet sind es 131 Tage, ab 2024 gerechnet laut Tabelle im Anhang 88,6 Tage.

  • Datenerreichbar

    Task-Completion Time Horizons of Frontier AI Models (externe Seite, metr.org)

    metr.orggeprüft 25.10.2026

    Die Messreihe zu derselben Kennzahl, seit Januar 2026 in der Fassung 1.1 mit 228 Aufgaben aus Softwareentwicklung, maschinellem Lernen und IT-Sicherheit. METR schreibt sie nicht mehr fort: Der letzte Messwert kam am 08.05.2026 dazu, seit dem 08.09.2026 steht der Hinweis darauf im Kopf der Seite. Die Werte selbst zeichnet ein Skript, im Text stehen die Erläuterungen: was eine solche Angabe bedeutet und warum Zuverlässigkeitsstufen oberhalb von 80 Prozent mit dieser Aufgabensammlung nicht messbar wären.

  • Dokumentationerreichbar

    Moon Facts (externe Seite, science.nasa.gov)

    science.nasa.govgeprüft 25.10.2026

    Das Faktenblatt der NASA zum Mond. Hier gebraucht für eine einzige Größe: den mittleren Abstand von Erde und Mond mit 384.400 Kilometern. Die Seite nennt ihn ausdrücklich als Durchschnitt, denn die Bahn ist eine Ellipse und der Abstand schwankt über einen Monat um mehrere zehntausend Kilometer. Für eine Überschlagsrechnung, die eine Verdopplung anschaulich machen soll, reicht der Mittelwert; dass es einer ist, gehört in den Satz daneben.

  • Originalarbeiterreichbar

    Most times to fold a piece of paper (externe Seite, guinnessworldrecords.com)

    guinnessworldrecords.comgeprüft 25.10.2026

    Der Rekordeintrag zum Falten eines einzelnen Blattes: Britney Gallivan faltete am 27.01.2002 als erster Mensch ein Blatt neun-, zehn-, elf- und zwölfmal. Das Register ist die Stelle, die diesen Rekord führt, und belegt damit den Vorgang. Die Herleitung dazu, warum bei wenigen Faltungen Schluss ist, steht in Gallivans Schrift »How to Fold Paper in Half Twelve Times« (Historical Society of Pomona Valley, 2002) und ist online nicht abrufbar. Der Eintrag nennt die Bedingung mit: Das Papier war ein Seidenpapier von 1.219 Metern Länge, also nichts, was auf einem Schreibtisch liegt.

  • Originalarbeiterreichbar

    Training Compute-Optimal Large Language Models (externe Seite, arxiv.org)

    arxiv.orggeprüft 25.10.2026

    Hoffmann und Mitautoren messen am 29.03.2022 an über 400 Modellen, wie Parameterzahl und Datenmenge bei festem Rechenbudget zusammengehören, und korrigieren damit die Empfehlung von scaling-laws-2020: Bei doppelter Modellgröße gehört die doppelte Datenmenge dazu. Chinchilla mit 70 Milliarden Parametern schlägt Gopher mit 280 Milliarden. Der Beleg dafür, dass die Parameterzahl allein wenig über ein Modell sagt.

  • Datenerreichbar

    The power required to train frontier AI models is doubling annually (externe Seite, epoch.ai)

    epoch.aigeprüft 25.10.2026

    Emberson und Rahman schätzen am 19.09.2024 aus 45 Beobachtungen, wie schnell die Leistungsaufnahme eines Trainingslaufs an der Spitze wächst. Der Eintrag nennt sein Vertrauensintervall selbst und ist damit eine der wenigen Angaben in diesem Feld, die ihre Unsicherheit ausweist.

  • Datenerreichbar

    Build times for gigawatt-scale data centers can be 2 years or less (externe Seite, epoch.ai)

    epoch.aigeprüft 25.10.2026

    Somala und Cottier werten am 10.11.2025 Satellitenbilder, Genehmigungen und Firmenangaben zu großen KI-Rechenzentren in den USA aus. Vom Baubeginn bis zu einem Gigawatt Leistung vergehen dort ein bis 3,6 Jahre. Ein Teil der Daten sind Pläne der Betreiber, etwa die zwölf Monate, die xAI für Colossus 2 ansetzt.

  • Originalarbeiterreichbar

    Will we run out of data? Limits of LLM scaling based on human-generated data (externe Seite, arxiv.org)

    arxiv.orggeprüft 25.10.2026

    Villalobos und fünf Mitautoren von Epoch AI schätzen den Vorrat an öffentlichem, von Menschen geschriebenem Text und den Datenbedarf der Sprachmodelle. Erstfassung vom 26.10.2022, hier die zweite Fassung vom 04.06.2024: Halten die Trends an, erreichen Trainingsdatensätze zwischen 2026 und 2032 die Größe des ganzen Vorrats. Als Auswege nennt die Arbeit erzeugte Daten, das Lernen aus Feldern mit mehr Daten und einen sparsameren Umgang mit Daten.

↑↓ auswählenEnter öffnenDie Suche läuft im Browser. Nichts wird übertragen.