Originalarbeiterreichbar

Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

Preprint auf arXiv vom 26. Oktober 2026 mit dem Benchmark, der Bewertungsmethode und den Ergebnissen für zehn Modelle; Beleg für alle genannten Zahlen.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 09.11.2026:

We introduce Co-Design Bench, a reference-free benchmark of 273 tasks curated from 37,463 deduplicated queries across 26,314 real user coding sessions.bestätigt 10.11.2026
Under a shared agentic harness, the strongest of ten model endpoints passes an average of 69.9% of criteria per task but fully satisfies only 26.4% of tasks.bestätigt 10.11.2026

Ein Benchmark aus echten Änderungswünschen: Das stärkste von zehn Modellen erfüllt nur 26,4 Prozent der Aufgaben vollständig

Alle Quellen