Ai2 misst, dass Sprach­mo­delle als Richter für die Neuheit von For­schungs­ideen stark vom Wortlaut des Prompts abhängen

Ai2, das Systeme zur Unterstützung wis­sen­schaft­li­cher Entdeckung entwickelt, hat am 27. Oktober die Studie Old Ideas, Novel Problems veröffentlicht, dazu einen Benchmark, die Daten, den Code und eine Pipeline, mit der Forscher eigene Prüfsätze bauen können. Untersucht wird ein Baustein, den automatisierte Forschung inzwischen voraussetzt: der Novelty Judge, ein Sprachmodell, das beurteilt, ob eine Forschungsidee gegenüber früherer Arbeit neu ist. Ai2 baut selbst Systeme, die Hypothesen erzeugen und prüfen oder Literatur zu Theorien verdichten, und solche Systeme brauchen eine Instanz, die eine neue Richtung von neu verpackter Arbeit unterscheidet. Eine Standardbauweise für diese Richter gibt es nicht. Jedes Team wählt Modell, Prompt, Bewertungsformat, Denkbudget und manchmal eine Literatursuche, und geprüft werden die Richter oft nur an Papern, die Menschen geschrieben haben.

Ein Maßstab aus den Gutachten der ICLR 2026

Ob ein Paper angenommen wurde, sagt über seine Neuheit wenig: Angenommen wird auch, was in anderen Punkten stark ist, und eine abgelehnte Arbeit kann einen originellen Beitrag mit anderen Schwächen verbinden. Ai2 hat deshalb die Gutachten der ICLR 2026 durchsucht und Stellen herausgezogen, an denen Gutachter die Originalität ausdrücklich besprachen. Daraus entstanden 154 Ideen aus angenommenen Papern, die in ihrem Fachgebiet zu den besten 10 Prozent zählten und deren Neuheit gelobt und von keinem Gutachter bestritten wurde. Dazu kamen 145 Ideen aus abgelehnten Papern der untersten 10 Prozent, mit Zweifeln an der Originalität und ohne jedes Lob dafür. Eine Gegenprüfung von Hand bestätigte die Einordnung der Gutachten in 47 von 50 Fällen.

Für den zweiten Prüfsatz stellte Ai2 dieselben 154 menschlichen Ideen neben 154, die ein einfacher Generator erzeugt hatte. Er bekam nur ein Fachgebiet und den Auftrag, eine neue Idee vorzuschlagen, ohne Literatursuche, Werkzeuge oder Rückmeldung. Dass diese Ideen weniger neu sind, ist eine Annahme mit schwachen Labels, die nicht für jede einzelne Idee geprüft wurde. Eine Fachperson sah sich 30 Paare an, überwiegend solche, bei denen der stärkste Richter falsch lag, und zog in allen 30 die menschliche Idee vor. Für viele Befunde spielen die Labels ohnehin keine Rolle: Geben zwei vernünftige Aufbauten für dasselbe Paar gegensätzliche Urteile, ist schon das ein Maß für Instabilität.

Ein Satz im Prompt kippt das Urteil

Den größten Ausschlag gab der Prompt. GPT-5.4 bekam dieselben Paare aus menschlicher und erzeugter Idee zweimal vorgelegt. Einmal hieß es, Gutachter hätten in jedem Paar genau eine Idee für neu befunden, das Modell solle sie benennen. Beim anderen Mal wurde nur gefragt, welche Idee neu sei. Mit der schlichteren Frage fiel die Trefferquote von 93,5 auf 40,9 Prozent, also unter das Niveau des Ratens, und bei mehr als der Hälfte der Paare änderte das Modell sein Urteil. Bei den rein menschlichen Paaren bewegte dieselbe Änderung die Trefferquote nur um etwa sieben Prozentpunkte, bei Claude Opus 4.6 allerdings um 21 Punkte. Einen Prompt, der für alle Modelle besser wäre, fand die Studie nicht: Strich man bei Einzelbewertungen die Warnung, kleine oder schrittweise Beiträge seien keine Neuheit, half das manchen Richtern und schadete anderen. Auch der übliche Vergleich zweier Generatoren wackelt. Ai2 stellte Ideen von Claude Opus 4.5 neben solche von Claude Sonnet 4.5 und Ideen von GPT-5.4 neben solche von GPT-5.1; über die getesteten Prompts hinweg kippte bei den sechs Richtern im Mittel ein Viertel bis ein Drittel der Urteile.

Der schlichte Prompt war genauer und billiger

Mehr Suche und mehr Denkschritte machten die Urteile nicht verlässlich besser. Ai2 gab GPT-5.6 Sol ein sehr hohes Denkbudget und eine laufende, wiederholte Suche, beschränkt auf arXiv, während die Vergleichsrichter je Idee fünf vorab gesuchte Abstracts sahen. Der Richter mit eigener Suche erreichte einen Macro-F1 von 0,78, ein Maß dafür, wie gut ein Richter neue von nicht neuen Ideen trennt, bei dem höher besser ist. Claude Opus 4.6 kam auf 0,89, also 11 Punkte mehr, und die Entscheidung mit Suche kostete zu heutigen API-Preisen rund zehnmal so viel. Ähnlich fiel der Vergleich mit zwei eigens gebauten Prüfsystemen aus. Claude Opus 4.6 mit niedrigem Denkbudget und einer Mehr­heits­ent­schei­dung aus drei Aufrufen erreichte 0,854 für zusammen 2,59 Dollar. Idea Novelty Checker, eine Pipeline, die Literatur sucht und die Treffer neu ordnet, kam auf 0,642 für 30,66 Dollar, der AI Scientist von Sakana AI, dessen Neuheitsprüfung wiederholt Semantic Scholar durchsucht, auf 0,772 für 82,05 Dollar. Beide Systeme rechneten selbst mit Claude Opus 4.6, mit einem Aufruf je Entscheidung.

Der Richter gehört an erzeugten Ideen gemessen

Bisher galt, dass ein Sprachmodell als Richter verlässlich erkennt, ob eine Forschungsidee neu ist, und dass Literatursuche und mehr Rechenaufwand dieses Urteil verbessern. Wer ein System zur Ideenfindung baute, setzte einen solchen Richter ans Ende und las seine Urteile als Messung. Die Studie stellt beide Teile in Frage. Das Urteil hängt am Aufbau, und zwar dort am stärksten, wo die Richter eingesetzt werden: bei Ideen, die eine KI erzeugt hat. Ein Richter, der an menschlichen Papern stabil wirkt, kann bei erzeugten Ideen ganz anders urteilen, und ein Prompt, der einem Modell hilft, kann einem anderen schaden. Ai2 folgert daraus, dass Richter an der Art von Ideen geprüft werden sollten, die sie später bewerten, und dass ihre Empfindlichkeit gegenüber Prompt und Modell zur Messung gehört.

Offen bleibt, wie weit das reicht. Die Labels der erzeugten Ideen sind nach eigener Angabe der Autoren schwach, und die Prüfung durch die Fachperson umfasste 30 Paare, ausgewählt mit Blick auf Fehler des stärksten Richters. Der Prüfsatz stammt aus einer einzigen Konferenz. Der genauere der beiden Prompts teilte dem Modell mit, dass in jedem Paar genau eine Idee als neu galt; ob ein Richter im Einsatz dieses Wissen hat, sagt die Studie nicht. Wie man einen Richter baut, der verlässlich urteilt, beantwortet sie ebenfalls nicht. Sie liefert den Benchmark und die Pipeline, mit denen sich das an neuen Gutachten, anderen Fach­ge­mein­schaften und künftigen Richtern nachmessen lässt.

Einordnung

Wer ein Sprachmodell im eigenen Betrieb als Bewerter einsetzt, etwa für Angebote, Texte oder Tickets, kann das leicht nachprüfen. Er legt denselben Fall mit zwei oder drei Fassungen des Prompts vor und sieht, ob das Urteil stabil bleibt. Kippt es, misst der Aufbau den Wortlaut mit, und eine einzelne Bewertung ist dann keine Messung. Warum Regeln zum Prompten schnell altern und was trotzdem stehen bleibt, zeigt Grundkurs, Kapitel 06; was eine Messzahl für die eigene Entscheidung bedeutet, erklärt Beurteilen und Einordnen, Kapitel 04.