Originalarbeiterreichbar

GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks

Benchmark von OpenAI, eingereicht am 05.10.2025: Aufgaben aus 44 Berufen, entworfen von Fachleuten mit im Mittel 14 Jahren Berufserfahrung, deren Ergebnisse Fachleute blind gegen ein menschliches Ergebnis bewerten. Anhang A.2.1 rechnet aus, was vom Zeitvorsprung eines Modells bleibt, wenn eine Fachkraft jedes Ergebnis prüft und im Fehlerfall selbst nacharbeitet (Tabelle 2, nur OpenAI-Modelle, zuletzt GPT-5). Ein Hersteller misst hier mit einem eigenen Benchmark, und die Prüfzeit ist die Bewertungszeit im Versuch. Fußnote 9 zur Rechnung mit mehreren Versuchen hält fest, dass sie das Modell zu hart bestraft: Die Gewinnrate steige vermutlich mit jedem Versuch, weil die Fachkraft die Anweisung nachbessert, und die Prüfzeit sinke mit der Übung.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 11.10.2026:

GDPval covers the majority of U.S. Bureau of Labor Statistics Work Activities for 44 occupationsbestätigt 10.11.2026
Tasks are constructed from the representative work of industry professionals with an average of 14 years of experiencebestätigt 10.11.2026
is an estimate of the time taken to assess a model deliverable by a human expert graderbestätigt 10.11.2026
is how often the model deliverable is rated better than the human deliverable by the human expert graderbestätigt 10.11.2026
then does the task themselves if the deliverable quality is below their quality barbestätigt 10.11.2026
When incorporating time to review and redo work, the payoff from using a model shrinksbestätigt 10.11.2026
We do not include consideration of the time taken to review a human professional deliverablebestätigt 10.11.2026
it does not capture the cost of catastrophic mistakesbestätigt 10.11.2026

01 Welche Arbeit sich übergeben lässt

Alle Quellen