Agenten mit ver­zweigten Läufen und geleertem Chat­ver­lauf erreichen bei gleichem Rechen­budget 66 Prozent mehr Punkte als ein Ein­zel­lauf

Ein Team um Ziyang Cai hat Forschungsagenten untersucht, die offene Probleme in einer Schleife bearbeiten: Sie schlagen eine Lösung vor, bewerten sie und richten das nächste Experiment nach der Rückmeldung aus. Die Studie, am 5. Oktober bei arXiv eingereicht, beginnt mit einem Befund, der jeden angeht, der solche Agenten vergleicht. Startet man denselben Agenten mehrmals auf derselben Aufgabe, bleiben die Läufe oft auf deutlich verschiedenen Punktzahlen stehen. Die Abstände halten auch dann, wenn die Läufe noch erheblich mehr Rechenzeit bekommen.

Läufe bleiben in Ideen-Becken stehen

Die Autoren haben die Lösungskandidaten der einzelnen Läufe nach ihrer funktionalen Ähnlichkeit eingebettet und so neben­ein­an­der­ge­legt. Dabei zeigt sich, dass ein Lauf in einem begrenzten Bereich des Lösungsraums bleibt. Diese Bereiche nennen sie Ideen-Becken. Ein Agent, der einmal in einem solchen Becken arbeitet, kommt dort weiter voran, findet aber schwer heraus. Der naheliegende Schluss aus einem einzelnen Lauf, so weit komme dieser Agent mit dieser Aufgabe, greift damit zu kurz. Der Lauf zeigt, wo dieses eine Becken endet.

Arbeitsstand behalten, Chatverlauf leeren

Bisher galt für solche Agenten eine einfache Rechnung. Mehr Rechenzeit und ein wachsender Verlauf, in dem jedes Experiment und jede Rückmeldung stehen bleibt, bringen ihn stetig weiter, und ein einzelner Lauf reicht, um zu sehen, was er kann. Die Methode, die die Autoren dagegensetzen, heißt Fork-and-Flush und ist bewusst schlicht gehalten. In regelmäßigen Abständen verzweigt sich der Agent in parallele Läufe. Jeder davon erbt den angesammelten Arbeitsbereich, beginnt aber mit einem leeren Chatverlauf. Nach einer festen Strecke setzt der Agent mit dem Lauf fort, der die höchste Punktzahl erreicht hat. Was die Arbeit bisher hervorgebracht hat, bleibt also erhalten; was sich im Gespräch darüber angesammelt hat, fällt weg.

Geprüft wurde das an 13 langlaufenden Forschungs- und Ent­wick­lungs­auf­gaben, bei denen einzelne Läufe bis zu mehreren Tagen dauerten. Bei gleichem Rechenbudget lag Fork-and-Flush um 66,0 Prozent über dem Einzellauf und um 44,4 Prozent über der Vergleichsmethode Best-of-N. Gemessen ist die relative Verbesserung beim min-max-normierten Durchschnittswert, also einem Mittel über Aufgaben, deren Punktzahlen zuvor auf eine gemeinsame Skala gebracht wurden. Weil beide Vergleiche dasselbe Budget ansetzen, entsteht der Vorsprung aus der Art, wie die Rechenzeit verteilt wird. Mehr davon hat Fork-and-Flush in diesem Aufbau nicht bekommen.

Die Kurzfassung schweigt zu Modell und Taktung

Die Kurzfassung nennt weder das Modell hinter dem Agenten noch die Zahl der Verzweigungen, die Länge der festen Strecke oder wie oft sich der Vorgang wiederholt. Sie sagt auch nicht, wie sich der Vorsprung auf die einzelnen Aufgaben verteilt, ob er also aus wenigen Aufgaben stammt oder breit anfällt. Offen bleibt ebenso, welcher Teil der Methode wie viel ausmacht: das Verzweigen in parallele Läufe oder das Leeren des Verlaufs. Die Einbettung nach funktionaler Ähnlichkeit bezeichnen die Autoren selbst als weiteren Hinweis auf die Ideen-Becken. Für jeden, der Agenten anhand eines einzigen langen Laufs bewertet, folgt daraus schon jetzt eine Vorsicht: Die Punktzahl beschreibt das Becken, in dem dieser Lauf gelandet ist.