Originalarbeiterreichbar
Agent Arena: Causal Evaluation of Agents in the Real World
Der Methodenbeitrag von Arena vom 04.06.2026 zur Agenten-Rangliste. Er beschreibt Causal Tracing: Ausgewertet werden einzelne Sitzungen, denen Modell und weitere Bestandteile per Zufall zugeteilt sind, und daraus wird geschätzt, wie viel jeder Bestandteil zum Ergebnis beiträgt. Zum Start nennt er fünf Signale und kündigt weitere an. Seit dem 01.10.2026 verweist er für die geltenden Signale und ihre Definitionen auf eine eigene Seite (arena-agent-signals-2026), seine eigenen Definitionen sind die Fassung vom Juni.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 14.10.2026:
Rather than pairwise votes, rankings are calculated using a methodology we call causal tracing
bestätigt 10.11.2026We present our first 5 signals today, and we plan to measure more in the near future.
bestätigt 10.11.2026by randomizing the component selections, we create a multi-intervention randomized controlled trial
bestätigt 10.11.2026the agent references a tool that does not exist
bestätigt 10.11.2026