Originalarbeiterreichbar

Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?

Preprint auf arXiv (Oktober 2026), der den Benchmark Realtime-Bench einführt und die Erfolgsraten unter Wall Clock und Paused Clock berichtet.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 03.11.2026:

Under Wall Clock, where environments advance according to actual inference latency, the best success rate reaches only 44% and the best Pass^3 is only 36%, demonstrating that real-time interaction remains challenging.bestätigt 10.11.2026
higher reasoning effort has mixed effects under time pressure, reflecting a trade-off between decision quality and timely executionbestätigt 10.11.2026