Eine Studie ergab, dass erfahrene Softwareentwickler ihre Arbeit um 19 % langsamer ablieferten, wenn sie KI einsetzten

Eine kürzlich von der gemeinnützigen KI-Forschungsorganisation METR durchgeführte Studie hat für viel Gesprächsstoff gesorgt, nachdem sie ein kontraintuitives Detail enthüllte: Wenn erfahrene Softwareentwickler mit KI-Tools in vertrauten Codebasen arbeiten mussten, erledigten sie ihre Aufgaben 19 % langsamer. 

Die Studie wurde Anfang des Jahres mit einer Gruppe erfahrener Entwickler durchgeführt. Die Gruppe nutzte überwiegend Cursor als KI-Tool, um Aufgaben in ihnen gut bekannten Open-Source-Projekten zu erledigen.

Vor der Studie glaubten die Open-Source-Entwickler, dass die Zusammenarbeit mit einer KI ihnen helfen würde, Aufgaben schneller zu erledigen; viele schätzten, dass sich die Bearbeitungszeit um 24 % verkürzen würde.

Selbst nachdem die Aufgaben mithilfe von KI erledigt worden waren, waren die Entwickler überzeugt, dass sie die Bearbeitungszeit um 20 % verkürzt hatten.

Die Studie berichtete jedoch von gegenteiligen Ergebnissen; die Zusammenarbeit mit einer KI erhöhte die Bearbeitungszeit für Aufgaben um 19 %.

Es gibt noch vieles, was wir über KI nicht wissen

Die Ergebnisse haben unter den Entwicklern von Windows X für Überraschung gesorgt, doch die Hauptautoren der Studie, Joel Becker und Nate Rush, waren verblüfft. Rush hatte „eine Verdopplung der Geschwindigkeit erwartet, das war ja naheliegend“ und dies vor Beginn des Experiments notiert.

Bisher herrschte die weitverbreitete Annahme, dass KI menschliche Ingenieure wesentlich produktiver mache, und mehrere Unternehmen haben auf der Grundlage dieser Prognosen beträchtlich in Unternehmen investiert, die KI-Produkte zur Unterstützung der Softwareentwicklung verkaufen.

Die Studie hat zwar eine falsche Annahme aufgezeigt, die weit verbreitete Angst vor der Vernichtung menschlicher Arbeitsplätze durch KI bleibt jedoch bestehen. Tatsächlich hat dieser Wandel bereits begonnen, sogar in Programmierberufen, wo KI voraussichtlich Einstiegspositionen im Bereich Programmierung ersetzen wird.

Dario Amodei, CEO von Anthropic, teilt diese Ansicht und glaubt, dass dies in den nächsten ein bis fünf Jahren geschehen könnte.

Im Gegensatz zu früheren Studien, die die Annahme bestärkten, dass KI die Arbeit von Programmierern und Softwareentwicklern beschleunigen würde, weil sie signifikante Verbesserungen berichteten, hat die METR-Studie gezeigt, dass dies nicht auf alle Softwareentwicklungsszenarien zutrifft.

Die Studie konnte insbesondere nachweisen, dass erfahrene Entwickler, die über detaillierte Kenntnisse der Eigenheiten und Anforderungen großer, etablierter Open-Source-Codebasen verfügen, am stärksten betroffen sind.

Die Autoren der Studie wiesen außerdem darauf hin, dass andere Studien bekanntermaßen auf Softwareentwicklungs-Benchmarks für KI zurückgreifen und diese manchmal realweltliche Aufgaben falsch darstellen.

Als Gründe für die langsamere Arbeitsweise der Programmierer wurden unter anderem der Zeitaufwand für die Überprüfung und Korrektur der Vorschläge der KI-Modelle genannt.

Die Autoren gehen nicht davon aus, dass diese Verlangsamung auch in anderen Szenarien auftritt, und trotz der Ergebnisse nutzen die meisten Studienteilnehmer sowie die Autoren der Studie Cursor auch heute noch.

Warum? Die Autoren sagen, dass es daran liegt, dass KI die Erfahrung erleichtert, wodurch sie sich wiederum weniger wie eine lästige Pflicht anfühlt.

Softwareentwickler machen sich trotz der jüngsten Entlassungen im Technologiesektor keine Sorgen um KI

Angesichts der Begeisterung, mit der die Autoren der METR-Studie und die Studienteilnehmer Claude verzeihen, dass er sie verlangsamt hat, und ihrer fortgesetzten Nutzung des Tools, ist klar, dass immer mehr Technologieexperten KI eher als Kollaborateur denn als Bedrohung sehen.

Leider könnten sich Schwierigkeiten am Horizont abzeichnen, da die Technologiebranche weiterhin Entlassungen verzeichnet, die explizit mit der Einführung von KI bei großen Unternehmen in Verbindung stehen.

In diesem Jahr hat Microsoft bereits bis zu 9.000 Mitarbeiter entlassen. Es wird behauptet, dass 40 % der jüngsten Entlassungen Software-Ingenieure betrafen, weil Aufgaben der Code-Erstellung an KI-Tools ausgelagert wurden.

Das Unternehmen rechtfertigt die Entlassungen mit Rekordgewinnen, die seine Marktkapitalisierung knapp hinter der von Nvidia und vor der von Apple gehalten haben.

Google ist ein weiteres großes Technologieunternehmen, das nach seiner Investition in das KI-Startup Anthropic Hunderte von Mitarbeitern entlassen hat, allerdings wurden nicht alle entlassenen Mitarbeiter durch KI ersetzt.

Auch andere Unternehmen wie Salesforce und Intel haben in ihren Entlassungsankündigungen den Trend hin zu KI als Grund genannt. Salesforce hat in diesem Jahr 1.000 Stellen abgebaut, um sich auf KI-Positionen zu konzentrieren, Intel hat seine Belegschaft um 15.000 Mitarbeiter reduziert, und IBM plant, bis 2030 30 % seiner Backoffice-Funktionen durch KI zu ersetzen.