Erfahrene Softwareentwickler arbeiteten 19 % langsamer, als sie KI nutzten, Studie findet

Eine kürzlich von der gemeinnützigen AI-Forschungsorganisation METR durchgeführte Studie hat viel Gesprächsstoff ausgelöst, nachdem sie einen kontraintuitiven Detail offenbart hatte – als erfahrene Softwareentwickler mit KI-Tools in vertrauten Codebasen arbeiten mussten, erledigten sie ihre Aufgaben 19 % langsamer. 

Die Studie wurde Anfang dieses Jahres an einer Gruppe von Entwicklern mit jahrelanger Erfahrung durchgeführt. Die Gruppe verwendete hauptsächlich Cursor als KI-Tool, um ihnen bei der Fertigstellung von Aufgaben in Open-Source-Projekten zu helfen, die sie gut kannten.

Vor der Studie glaubten die Open-Source-Entwickler, dass die Arbeit mit einer KI ihnen helfen würde, Dinge schneller zu erledigen, wobei viele schätzten, dass sie die Zeit zur Aufgabenerledigung um 24 % verkürzen würde.

Selbst nachdem die Aufgaben mit KI abgeschlossen waren, waren die Entwickler überzeugt, dass sie die Zeit zur Fertigstellung um 20 % verkürzt hatten.

Die Studie berichtete jedoch von gegenteiligen Ergebnissen; die Zusammenarbeit mit einer KI erhöhte die Zeit zur Aufgabenerledigung um 19 %.

Wir wissen noch viel über KI nicht

Die Ergebnisse haben unter Entwicklern auf X Überraschung ausgelöst, aber die Hauptautoren der Studie, Joel Becker und Nate Rush, waren von ihnen schockiert. Rush hatte „ein 2x-Speedup, ziemlich offensichtlich“ erwartet und dies vor Beginn des Experiments notiert.

Bisher gab es den weit verbreiteten Glauben, dass KI menschliche Ingenieure viel produktiver macht, und mehrere Unternehmen haben erheblich in Unternehmen investiert, die KI-Produkte zum Support der Softwareentwicklung verkaufen, basierend auf diesen Projektionen.

Während die Studie jedoch eine falsche Annahme hervorgehoben hat, hat sie die allgemeine Angst vor KI, die menschliche Jobs stiehlt, nicht verändert. Tatsächlich hat der Shift bereits begonnen, sogar in Programmierkarrieren, wobei erwartet wird, dass KI Einstiegs-Coding-Positionen ersetzen wird.

Dario Amodei, CEO von Anthropic, ist einer derjenigen, die diese Meinung teilen, und glaubt, dass dies in den nächsten ein bis fünf Jahren geschehen könnte.

Im Gegensatz zu früheren Studien, die den Glauben förderten, dass KI Codern und Softwareentwicklern wegen der berichteten signifikanten Gewinne beschleunigen würde, hat die METR-Studie gezeigt, dass sie nicht auf alle Softwareentwicklungsszenarien zutrifft.

Insbesondere konnte die Studie beweisen, dass erfahrene Entwickler, die mit den Eigenheiten und Anforderungen großer, etablierter Open-Source-Codebasen vertraut waren, am stärksten betroffen waren.

Die Autoren der Studie wiesen auch darauf hin, dass andere Studien bekanntermaßen auf Softwareentwicklungsbenchmarks für KI zurückgreifen und diese manchmal reale Aufgaben falsch darstellen.

Was die Verlangsamung der Coder verursacht hat, wurden Dinge wie der Zeitaufwand für das Überprüfen und Korrigieren der von den KI-Modellen vorgeschlagenen Inhalte angemerkt.

Die Autoren erwarten nicht, dass diese Verlangsamung auf andere Szenarien zutrifft, und trotz der Ergebnisse nutzen die Mehrheit der Studienteilnehmer sowie die Autoren der Studie Cursor weiterhin heute.

Warum? Die Autoren sagen, es liegt daran, dass KI die Erfahrung erleichtert, was wiederum dazu führt, dass es sich weniger wie eine lästige Pflicht anfühlt.

Softwareentwickler machen sich keine Sorgen über KI, selbst angesichts der jüngsten Technologie-Kündigungen

Angesichts der Begeisterung der Autoren der METR-Studie und der Studienteilnehmer, Claude für die Verlangsamung zu verzeihen, und ihrer fortgesetzten Nutzung des Tools, wird deutlich, dass mehr Tech-Profis KI eher als Mitstreiter denn als Bedrohung sehen.

Leider könnte sich die Lage zuspitzen, da die Tech-Branche weiterhin Entlassungen verzeichnet, die explizit mit der Einführung von KI in großen Unternehmen zusammenhängen.

In diesem Jahr hat Microsoft bereits bis zu 9.000 Mitarbeiter entlassen, wobei behauptet wird, dass 40 % der jüngsten Kündigungen Softwareingenieure betrafen, da Aufgaben im Bereich Code-Generierung an KI-Tools ausgelagert wurden.

Das Unternehmen rechtfertigt die Entlassungen mit rekordverdächtigen Gewinnen, die seine Marktkapitalisierung knapp hinter der von Nvidia und vor der von Apple halten.

Google ist ein weiteres großes Technologieunternehmen, das nach seiner Investition in den KI-Startup Anthropic Hunderte von Mitarbeitern entlassen hat, wobei nicht alle entlassenen Mitarbeiter durch KI ersetzt wurden.

Andere Unternehmen wie Salesforce und Intel haben ebenfalls einen Shift hin zu KI in Entlassungsankündigungen genannt. Salesforce hat in diesem Jahr 1.000 Stellen abgebaut, um sich auf KI-Rollen zu konzentrieren, Intel hat seine Belegschaft um 15.000 reduziert, und IBM plant, bis 2030 30 % seiner Back-Office-Rollen durch KI zu ersetzen.