Originalarbeiterreichbar
TDD-Bench Verified: Can LLMs Generate Tests for Issues Before They Get Resolved?
Der Datensatz zu der Frage, wie schwer der erste Schritt wirklich ist. 449 echte Vorgänge aus öffentlichen Verzeichnissen, und der Maßstab für einen brauchbaren Test ist genau der rote Lauf: Er muss vor der Behebung fallen und danach durchgehen. Damit liegt die Anforderung, an der sich jede Automatik in diesem Bereich messen lässt, als Datensatz vor.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 28.08.2026:
a high-quality benchmark suite of 449 issues mined from real-world GitHub code repositories
bestätigt 24.09.2026fail before the issue is resolved and pass after
bestätigt 24.09.2026