Hugging Face trainiert für Qwen3.8-27B je Agenten-Harness einen LoRA-Adapter: Terminal-Bench 2.1 steigt von 39 auf 55 Prozent, der Tokenverbrauch sinkt etwa auf die Hälfte
Ein Lo
Hugging Face hat für das offene Modell Qwen3.8-27B je Agenten-Harness einen eigenen LoRA-Adapter trainiert, und zwar für pi, Hermes Agent und OpenCode. Ein Harness ist hier das Agentenprogramm, in dem das Modell arbeitet und seine Werkzeuge aufruft. Ein LoRA-Adapter ist ein kleiner Zusatz, der zu den eingefrorenen Gewichten des Modells hinzukommt. Die Autoren haben ihn per Reinforcement Learning im jeweiligen Harness selbst trainiert. Im Harness pi erreicht das Grundmodell im Test Terminal-Bench 2.1 ohne Adapter 39 Prozent bei durchschnittlich 2.9K Token je Aufgabe, mit Adapter sind es 55 Prozent im ersten Versuch bei 1.5K Token. Die drei Adapter lassen sich zu einem einzigen zusammenführen, der unverändert unter allen drei Harnesses läuft. Adapter, GGUF-Dateien und Trainingsaufgaben liegen in einer Sammlung auf Hugging Face.
Weniger Nachdenken, weniger Werkzeugaufrufe
Naheliegend wäre, den Sprung von 39 auf 55 Prozent als Wissenszuwachs zu lesen, als hätte das Modell besser programmieren gelernt. Die Autoren führen den Großteil auf das Verhalten im Harness zurück: Mit Adapter denkt das Modell weniger nach, ruft weniger Werkzeuge auf und trifft öfter beim ersten Versuch. Deshalb steigt hier die Genauigkeit, während der Tokenverbrauch sinkt. Ein Teil davon ist so gewollt. Die Belohnung im Training setzt sich aus dem Urteil des Verifiers zusammen, eines Prüfprogramms, das jeden Versuch als bestanden oder gescheitert wertet, und aus einem kleinen Bonus für sparsamen Werkzeuggebrauch. Die Höhe dieses Bonus stammt aus früheren Versuchen, in denen sie am besten abschnitt. Der sparsamere Umgang mit Werkzeugen ist also zum Teil ein Ziel, auf das das Training ausdrücklich hinarbeitete.
Mehr Genauigkeit ohne größeres Modell
Bisher galt für offene Modelle eine einfache Rechnung. Ein Modell bringt in jedem Harness seine allgemeine Leistung mit. Wer mehr Genauigkeit will, zahlt mit mehr Rechenaufwand oder greift zu einem größeren Modell. Die Autoren setzen dem entgegen, dass Modelle auf allgemeine Leistung ausgelegt sind und deshalb in einer bestimmten Kombination aus Harness und Aufgaben Leistung und Effizienz liegen lassen. Frühere Arbeiten derselben Gruppe hatten das für Datenanalyse und das Bauen von Code gezeigt. Diesmal ging es um die Frage, ob das Ergebnis auch bei 27 Milliarden Parametern hält, bei schwereren Aufgaben aus der echten Softwareentwicklung und über drei Harnesses hinweg. Damit verschiebt sich die Rechnung: Ein Zusatz von der Größe eines Adapters, trainiert in dem Harness, in dem das Modell später läuft, hebt die Trefferquote und senkt zugleich die Kosten. Das Grundmodell bleibt dabei so groß, wie es war.
Dazu gehört eine Entscheidung im Aufbau. Die meisten Frameworks für Reinforcement Learning trainieren eine Nachbildung der Agentenschleife, die gegen ihre eigene Schnittstelle geschrieben ist. Hier läuft das Harness so, wie es ausgeliefert wird, in den Fassungen Pi 1.5.2, OpenCode 2.2.7 und Hermes Agent v0.22.6. Ein Proxy zwischen Harness und vLLM zeichnet die Token auf, aus denen der Trainer lernt. Trainiert wurde mit dem AsyncGRPOTrainer aus TRL, der mit dem nächsten Trainingsschritt beginnt, bevor alle Versuche abgeschlossen sind. Beim Sammeln der Versuche war der Denkmodus abgeschaltet. Ein kurzer Vergleich der Lernraten zeigte, wie schmal der brauchbare Bereich ist: Bei 1e-5 bewegte sich kaum etwas, bei 1e-4 brachen die Versuche ein, und die Zahl der Züge je Versuch fiel von 18 auf 6. Nur bei 5e-5 wurden die Ergebnisse klar besser.
171 Aufgaben mit Lernsignal
Den größten Teil des Beitrags nimmt die Auswahl der Aufgaben ein, und dafür gibt es einen Grund. Das Verfahren GRPO (group relative policy optimization) bewertet jeden Versuch im Vergleich mit den anderen Versuchen an derselben Aufgabe. Löst das Modell eine Aufgabe immer oder nie, liefert sie deshalb kein Lernsignal. Die Aufgaben stammen aus drei Quellen. SWE-smith baut Fehler in echte Python- und Go-Repositories ein. SWE-Gym macht aus echten GitHub-Issues und ihren Korrekturen Aufgaben. Tasksmith, ein Werkzeug aus Repo2RLEnv, erzeugt Aufgaben aus zusammengeführten Pull Requests. Jede Aufgabe durchlief die Prüfungen von openenv validate: Die Referenzlösung muss die volle Belohnung erhalten, Nichtstun muss deutlich schlechter abschneiden, und eine Wiederholung muss dasselbe Ergebnis liefern. 858 Kandidaten vom Hub bestanden. Dabei fiel auch ein Verifier in Terminal-Bench 2.1 selbst auf, der nachweislich falsche Antworten annahm.
Danach versuchte sich das Grundmodell mehrfach an jeder Aufgabe. Von 442 bewerteten Aufgaben löste Qwen3.8-27B 151 jedes Mal und 120 nie. Die übrigen 171 bilden die Menge, auf der trainiert wird. Vorher wurden die 253 Aufgaben der Zieltests aussortiert, ebenso jedes Repository, aus dem diese Tests stammen. Ob die Filter etwas bewirken, prüften die Autoren mit vier kurzen Läufen über bis zu 50 Schritte auf je 32 Aufgaben: ungeprüft, geprüft, immer oder nie gelöst, und passend schwer. Wie sich die Läufe unterscheiden, zeigt der Beitrag in einer Grafik. Der fertige Datensatz umfasst 871 Aufgaben aus 35 Repositories, höchstens 40 je Projekt.
Die offene Frage der Autoren
Alle Ergebnisse stammen von den Autoren des Verfahrens, eine unabhängige Nachmessung liegt im Material nicht vor. Der Gewinn gilt für das Harness und die Aufgabenverteilung, auf denen trainiert wurde. Ob ein Adapter, der an Fehlern in Python- und Go-Code gelernt hat, bei ganz anderen Aufgaben hilft oder schadet, beantworten die Zahlen nicht. Die Autoren selbst führen in ihrem Inhaltsverzeichnis einen eigenen Abschnitt zu der Frage, was das Modell eigentlich gelernt hat. Wer ein offenes Modell in einem festen Harness betreibt, bekommt mit dem veröffentlichten Rezept einen Weg, das an den eigenen Aufgaben zu messen.
Quellen
1 Eintrag1 noch nicht geprüft
Erreichbarkeit automatisch geprüft
Originalarbeitnoch nicht geprüft
huggingface.co
Blogbeitrag von Hugging Face vom 20. November 2026: nennt die Werte für Qwen3.8-27B in Terminal-Bench 2.1 mit und ohne Adapter sowie das Vorgehen beim Training je Harness.