Originalarbeiterreichbar

AutomationBench

Arbeit von Shepard und Salimans, eingereicht am 21.04.2026, zu einem Test, der auf Abläufen der Plattform Zapier aufbaut. Gemessen werden Agenten, die die Schnittstellen mehrerer Geschäftsanwendungen selbst finden und Geschäftsregeln einhalten müssen; bewertet wird nur der Endzustand, durch ein Programm. Abschnitt 4 vergibt keine Teilpunkte, die besten Modelle lagen zum Zeitpunkt der Arbeit unter 10 Prozent.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 11.10.2026:

Agents must discover relevant endpoints themselvesbestätigt 10.11.2026
Grading is programmatic and end-state onlybestätigt 10.11.2026
We give no partial creditbestätigt 10.11.2026
Even the best frontier models currently score below 10%.bestätigt 10.11.2026

01 Was Automatisierung mit KI ist

Alle Quellen