Dokumentationerreichbar

Artificial Analysis, Intelligence Benchmarking

Die Messweise von Artificial Analysis, Abschnitt AutomationBench-AA: eine eigene Ausführung des Tests von Zapier auf einem nicht öffentlichen Teil mit 657 Aufgaben aus Datensatzfassung 1.0.6, ein Lauf je Aufgabe mit höchstens 50 Runden. Bewertet wird der Anteil erreichter Ziele, null bei einer verletzten Leitplanke oder einem Fehler.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 11.10.2026:

We evaluate a private 657-task held-out splitbestätigt 10.11.2026
with a 50-turn capbestätigt 10.11.2026
If no guardrails are violated, the task receives the percentage of objectives the model completed.bestätigt 10.11.2026

01 Was Automatisierung mit KI ist

Alle Quellen