Les packages logiciels générés par l'IA posent des menaces pour la sécurité

L'expert en sécurité Bar Lanyado a récemment mené des recherches sur la manière dont les modèles d'IA générative contribuent involontairement à d'énormes menaces potentielles pour la sécurité dans le monde du développement logiciel. Ces recherches de Lanyado ont révélé une tendance alarmante : l'IA suggère des packages de logiciels imaginaires, et les développeurs, sans même s'en rendre compte, les incluent dans leurs bases de code.

Le problème révélé

Le problème est que la solution générée était un nom fictif — quelque chose de typique de l'IA. Cependant, ces noms de packages fictifs sont ensuite suggérés avec confiance aux développeurs qui ont du mal à programmer avec des modèles d'IA. En effet, certains noms de packages inventés ont été partiellement basés sur des personnes — comme Lanyado — et certains sont allés jusqu'à les transformer en vrais packages. Cela a conduit à l'inclusion accidentelle de code potentiellement malveillant dans des projets logiciels réels et légitimes.

L'une des entreprises touchées par cet impact était Alibaba, l'un des acteurs majeurs de l'industrie technologique. Dans leurs instructions d'installation pour GraphTranslator, Lanyado a trouvé qu'Alibaba avait inclus un package appelé « huggingface-cli » qui avait été falsifié. En fait, il existait un vrai package portant le même nom hébergé sur le Python Package Index (PyPI), mais le guide d'Alibaba faisait référence à celui que Lanyado avait créé.

Tester la persistance

La recherche de Lanyado visait à évaluer la longévité et l'exploitation potentielle de ces noms de packages générés par l'IA. À cet égard, LQuery a soumis différents modèles d'IA à des défis de programmation et entre les langues afin de comprendre si, effectivement, de manière systématique, ces noms fictifs étaient recommandés. Il est clair dans cette expérience qu'il existe un risque que des entités malveillantes abusent des noms de packages générés par l'IA pour la distribution de logiciels malveillants.

Ces résultats ont des implications profondes. Les acteurs malveillants peuvent exploiter la confiance aveugle placée par les développeurs dans les recommandations reçues, de sorte qu'ils pourraient commencer à publier des packages nuisibles sous de fausses identités. Avec les modèles d'IA, le risque augmente avec des recommandations d'IA cohérentes pour des noms de packages inventés, qui seraient incluses en tant que logiciels malveillants par des développeurs inconscients. **La voie à suivre**

Par conséquent, à mesure que l'IA s'intègre davantage dans le développement logiciel, la nécessité de corriger les vulnérabilités peut surgir si elle est liée aux recommandations générées par l'IA. Dans de tels cas, une diligence raisonnable doit être pratiquée afin que les packages logiciels suggérés pour l'intégration soient légitimes. De plus, il devrait être mis en place pour la plateforme hébergeant le dépôt de logiciels de vérifier et d'être suffisamment solide pour qu'aucun code de qualité malveillante ne soit distribué.

L'intersection de l'intelligence artificielle et du développement logiciel a révélé une menace de sécurité préoccupante. De plus, le modèle d'IA peut conduire à la recommandation accidentelle de faux packages logiciels, ce qui pose un grand risque à l'intégrité des projets logiciels. Le fait qu'Alibaba ait inclus, dans ses instructions, un package qui n'aurait jamais dû être là est une preuve flagrante de la manière dont les possibilités pourraient effectivement se produire lorsque les gens suivent robotiquement les recommandations 

fournies par l'IA. À l'avenir, une vigilance proactive devra être prise pour se protéger contre l'utilisation abusive de l'IA pour le développement logiciel.