Agen­ten­teams kosten das 1,8- bis 5,1-Fache eines Ein­zel­agenten, in drei von vier Ver­glei­chen ohne messbaren Gewinn

Vals AI hat nachgemessen, was die neuen Teamfunktionen von OpenAI und Anthropic beim Bau ganzer Anwendungen bringen und was sie kosten. Beide Hersteller lassen inzwischen einen führenden Agenten Subagenten starten, ihnen Teile einer Aufgabe übergeben und das Zurückgelieferte zusammensetzen. Gemessen wurde auf dem Vibe Code Bench, dem Benchmark von Vals für vollständige Web-Anwendungen aus einer Pro­dukt­spe­zi­fi­ka­tion: Jede App wird mit Docker Compose bereitgestellt, und Browser-Agenten klicken ihre Abläufe durch. Der Score ist der Anteil bestandener Oberflächentests, gemittelt über 50 Apps je Aufbau. GPT 6 Sol und Claude Opus 5.5 liefen jeweils als Einzelagent und als Team, bei mittlerem und bei maximalem Reasoning-Aufwand. Im Team durfte der führende Agent bis zu fünf Subagenten gleichzeitig einsetzen, die selbst keine weiteren starten konnten, und beide Leitagenten bekamen dieselbe kurze Anweisung: die Arbeit in unabhängige Teile zerlegen, jeden Teil abgeben, danach zusammenführen und prüfen.

Teams kosten mehr, der Score bewegt sich kaum

Die Teams kosteten das 1,8- bis 5,1-Fache eines Einzelagenten. Von den vier Vergleichen zwischen Team und Einzelagent ergab nur einer einen statistisch signifikanten Unterschied: Das Sol-Team bei mittlerem Aufwand lag 7,3 Punkte vor seinem Einzelagenten (p = 0,005). Die übrigen drei Differenzen reichten von minus 0,3 bis plus 3,4 Punkten und waren statistisch nicht signifikant. Am deutlichsten zeigt sich das Verhältnis bei Opus: Das Team bei maximalem Aufwand erreichte mit 93,20 Prozent den höchsten Score der Tabelle, kostete dafür 121,95 Dollar je App und lief im Median 2 Stunden 54 Minuten. Der Einzelagent bei mittlerem Aufwand kam auf 91,50 Prozent, für 4,08 Dollar und in 20 Minuten 18 Sekunden.

Höherer Aufwand gegen größeres Team

Bisher galt die Arbeitsteilung als der bessere Weg zu einem ganzen Softwareprojekt: Ein führender Agent zerlegt die Aufgabe, parallele Subagenten bauen die Teile, und das Ergebnis entsteht besser und schneller als bei einem einzelnen Agenten. Der Benchmark kommt dieser Annahme entgegen, denn eine Web-Anwendung zerfällt von selbst in Datenbank, API, Oberfläche und Auslieferung. Zugleich bestraft er, was beim Aufteilen entsteht: Fehler an den Nahtstellen zwischen diesen Teilen schlagen direkt auf den Score durch. Unter diesen Bedingungen hielt die Annahme in einem von vier Fällen.

Bei Sol hob ein höherer Reasoning-Aufwand den Score stärker als ein Team. Bei Opus machte weder das eine noch das andere einen signifikanten Unterschied. Der höhere Aufwand hat dabei seinen eigenen Preis: Sols Einzelagent bei maximalem Aufwand kostete das 1,6-Fache seines Teams bei mittlerem Aufwand, 4,82 gegen 3,07 Dollar je App, und brauchte dreimal so lange. Bei Sol ist das Team also der billigere und schnellere Weg zu mehr Punkten, der höhere Aufwand der mit dem größeren Zuwachs. Für Opus gibt die Messung keinen der beiden Hebel her.

Zwei Leitagenten verteilen die Arbeit verschieden

Bei Sol waren die Teams schneller fertig, bei Opus langsamer, und die beiden Leitagenten gingen unterschiedlich vor. Sols Leitagent teilte die App in den ersten Minuten auf parallele Subagenten auf und testete das Ergebnis selbst; bei maximalem Aufwand sank die Laufzeit damit von 38 auf 28 Minuten. Der Leitagent von Opus schrieb meist zuerst einen gemeinsamen Vertrag darüber, wie die Teile der App zusammenpassen sollen, und vergab die Arbeit danach in auf­ein­an­der­fol­genden Wellen aus Agenten, die bauen, und Agenten, die testen. Seine Teams brauchten bis zu 2,3-mal so lange wie seine Einzelagenten. Der Vertrag setzt genau an den Nahtstellen an, an denen der Benchmark Fehler sichtbar macht. Einen signifikanten Vorsprung im Score brachte dieses Vorgehen Opus trotzdem nicht.

Die Messung stammt aus einem einzigen Benchmark für vollständige Web-Anwendungen, und Vals schränkt selbst ein, dass die Befunde auf andere Arten von Arbeit nicht übertragbar sein müssen. Jedes der acht Setups lief genau einmal. Wie stabil der Vorsprung von 7,3 Punkten über Wiederholungen bleibt, lässt sich daraus nicht ablesen. Offen ist auch, welchen Anteil die Anweisung am Ergebnis hat: Beide Leitagenten bekamen dieselbe kurze Vorgabe, und ob Opus mit einer anderen Vorgabe paralleler und damit schneller arbeiten würde, gehört nicht zur Messung.