Des développeurs logiciels expérimentés ont travaillé 19 % plus lentement lorsqu'ils utilisent l'IA, selon une étude

Une récente étude réalisée par l'organisation à but non lucratif de recherche sur l'IA METR a suscité beaucoup de discussions après avoir révélé un détail contre-intuitif : lorsque des développeurs de logiciels expérimentés ont dû travailler avec des outils d'IA tout en travaillant dans des bases de code familières, ils ont terminé leurs tâches 19 % plus lentement. 

L'étude a été réalisée plus tôt cette année sur un groupe de développeurs avec des années d'expérience. Le groupe utilisait principalement Cursor comme outil d'IA pour les aider à terminer des tâches dans des projets open-source qu'ils connaissaient bien.

Avant l'étude, les développeurs open-source croyaient que travailler avec une IA les aiderait à accomplir les tâches plus rapidement, beaucoup estimant que cela réduirait le temps de complétion des tâches de 24 %.

Même après que les tâches aient été terminées avec l'IA, les développeurs étaient convaincus d'avoir réduit le temps nécessaire à leur achèvement de 20 %.

Cependant, l'étude a rapporté des résultats opposés ; collaborer avec une IA a augmenté le temps de complétion des tâches de 19 %.

Il nous reste beaucoup à apprendre sur l'IA

Les résultats ont suscité la surprise parmi les développeurs sur X, mais les principaux auteurs de l'étude, Joel Becker et Nate Rush, ont été choqués par ceux-ci. Rush s'attendait à « un gain de vitesse de 2x, assez évidemment » et l'avait noté avant le début de l'expérience.

Jusqu'à présent, il existait une croyance répandue selon laquelle l'IA rendait les ingénieurs humains beaucoup plus productifs, et plusieurs entreprises ont investi substantiellement dans des sociétés vendant des produits d'IA pour aider au développement logiciel sur la base de ces projections.

Cependant, bien que l'étude ait mis en évidence une fausse hypothèse, elle n'a pas changé la peur commune que l'IA ne vole les emplois humains. En fait, le changement a déjà commencé, même dans les carrières de programmation, l'IA étant censée remplacer les postes de codage d'entrée de gamme.

Dario Amodei, PDG de Anthropic, est l'un de ceux qui partagent ce sentiment et croit que cela pourrait se produire dans les un à cinq prochaines années.

Contrairement aux études précédentes qui encourageaient la croyance que l'IA accélérerait les coders et les développeurs de logiciels car elles rapportaient des gains significatifs, l'étude METR a montré qu'ils ne s'appliquent pas à tous les scénarios de développement logiciel.

En particulier, l'étude a pu prouver que les développeurs expérimentés qui avaient une connaissance intime des particularités et des exigences des grandes bases de code open-source établies étaient les plus touchés.

Les auteurs de l'étude ont également souligné que d'autres études sont connues pour s'appuyer sur des benchmarks de développement logiciel pour l'IA, et qu'elles représentent parfois mal les tâches réelles.

Quant aux causes de la lenteur des coders, des éléments tels que le besoin de passer du temps à examiner et corriger ce que les modèles d'IA suggéraient ont été notés.

Les auteurs ne s'attendent pas à ce que ce ralentissement s'applique à d'autres scénarios, et malgré les résultats, la majorité des participants à l'étude, ainsi que les auteurs, continuent d'utiliser Cursor aujourd'hui.

Pourquoi ? Les auteurs disent que c'est parce que l'IA rend l'expérience plus facile, ce qui à son tour donne l'impression que ce n'est plus une corvée.

Les développeurs de logiciels ne s'inquiètent pas de l'IA, même avec les récents licenciements dans la tech

Étant donné à quel point les auteurs de l'étude METR et les participants à l'étude sont enthousiastes à l'idée de pardonner à Claude de les avoir ralentis, et leur utilisation continue de l'outil, il est clair que davantage de professionnels de la technologie voient l'IA comme un collaborateur plutôt que comme une menace.

Malheureusement, des problèmes pourraient surgir à l'horizon alors que l'industrie technologique continue d'assister à des licenciements explicitement liés à l'adoption de l'IA dans les grandes entreprises.

Cette année, Microsoft a déjà licencié jusqu'à 9 000 employés, avec des allégations selon lesquelles 40 % des licenciements récents ciblaient les ingénieurs logiciels car les tâches d'écriture de code étaient externalisées vers des outils d'IA.

L'entreprise a justifié les licenciements par des bénéfices records qui ont maintenu sa capitalisation boursière juste derrière celle de Nvidia et devant celle d'Apple.

Google est une autre grande entreprise technologique qui a licencié des centaines de travailleurs suite à son investissement dans le démarrage d'IA Anthropic, bien que tous les travailleurs licenciés n'aient pas été remplacés par l'IA.

D'autres entreprises, comme Salesforce et Intel, ont également cité un changement vers l'IA dans leurs annonces de licenciements. Salesforce a supprimé 1 000 emplois cette année pour se concentrer sur les rôles liés à l'IA, Intel a réduit sa main-d'œuvre de 15 000 personnes, et IBM prévoit de remplacer 30 % de ses rôles de back-office par l'IA d'ici 2030.