Originalarbeiterreichbar
Can we trust LLMs to judge whether a research idea is novel? (Ai2, 27.10.2026)
huggingface.co (externe Seite)
Beitrag von Ai2 zur Studie Old Ideas, Novel Problems mit den Ergebnissen zu sechs Sprachmodellen als Neuheitsrichter.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 28.10.2026:
In one experiment, changing just a few words in a prompt shifts a model’s accuracy in identifying which of two ideas is more novel by more than 50 percentage points.
bestätigt 10.11.2026two purpose-built novelty evaluation systems perform worse than a simple prompted Claude Opus 4.6 baseline.
bestätigt 10.11.2026