Originalarbeiterreichbar
METR, We are Changing our Developer Productivity Experiment Design
Der Nachtrag zur vielzitierten Verlangsamungsstudie. METR hat ab August 2025 erneut gemessen, bekam ein umgekehrtes Vorzeichen und erklärt die eigenen Daten für unzuverlässig. Der Grund ist selbst ein Befund über die Verbreitung: Zu viele Beteiligte wollten die Vergleichsaufgaben ohne KI gar nicht mehr bearbeiten, auch für Bezahlung. Wer die Zahl von 19 Prozent aus der ersten Arbeit zitiert, sollte diesen Stand mitzitieren.
geprüft 10.11.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 04.08.2026:
we believe that the data from our new experiment gives us an unreliable signal of the current productivity effect of AI tools
bestätigt 10.11.2026we have observed a significant increase in developers choosing not to participate in the study because they do not wish to work without AI
bestätigt 10.11.202630% to 50% of developers told us that they were choosing not to submit some tasks because they did not want to do them without AI
bestätigt 10.11.2026Due to the severity of these selection effects, we are working on changes to the design of our study.
bestätigt 10.11.2026we now estimate a speedup of -18% with a confidence interval between -38% and +9%
bestätigt 10.11.2026This implies we are systematically missing tasks which have high expected uplift from AI
bestätigt 10.11.2026
Eine Rangliste ohne Wert01 Welche Arbeit sich übergeben lässt01 Was Vibe-Coding ist