Le logiciel d'IA de Nvidia expose des données sensibles – Détails

a révélé des informations troublantes sur les mécanismes de sécurité du logiciel d'intelligence artificielle (IA) de Nvidia, le NeMo Framework.

Une avancée majeure dans le logiciel, conçu pour le traitement des modèles de langage destinés aux solutions basées sur l'IA comme les chatbots, a été exploitée, exposant des données sensibles et suscitant ainsi des inquiétudes en matière de sécurité.

Mise en évidence de la faille dans le framework NeMo de Nvidia

Considéré comme un outil essentiel pour les entreprises, le framework NeMo a été conçu par Nvidia pour prendre en charge les données propriétaires afin de répondre aux requêtes, à l'instar d'un représentant du service client ou d'un conseiller en soins de santé.

Cependant, la structure apparemment sécurisée de ce cadre a été facilement contournée par des chercheurs de Robust Intelligence, une société de San Francisco, qui ont réussi à franchir les garde-fous intégrés en quelques heures seulement.

Dans le cadre d'une expérience contrôlée, les chercheurs ont effectué une modification apparemment insignifiante, remplaçant la lettre « I » par « J ». Pourtant, ce changement apparemment mineur a entraîné une faille majeure, le système ayant divulgué des informations personnellesdent(IPI) contenues dans une base de données.

Les implications de cette faille présentent des risques potentiels considérables pour les entreprises et les utilisateurs qui confient leurs données sensibles à des systèmes d'IA comme celui de Nvidia.

Un test supplémentaire a révélé que l'IA pouvait être manipulée pour s'écarter de son comportement attendu, en abordant des sujets qu'elle n'était pas censée traiter.

Par exemple, alors que la conversation portait sur un rapport de travail, le modèle a été manipulé pour parler de sujets sans rapport, comme l'état de santé d'une célébrité ou des événements historiques tels que la guerre franco-prussienne, le tout au defides restrictions intégrées au système.

Naviguer dans les eaux tumultueuses de la commercialisation de l'IA

Ces résultats soulignent le défi auquel sont confrontées des entreprises comme Nvidia qui s'efforcent de monétiser l'IA, l'une des innovations les plus prometteuses de la Silicon Valley.

Le PDG de Robust Intelligence, Yaron Singer, professeur d'informatique à l'université Harvard, a qualifié ces conclusions de leçon édifiante quant aux risques potentiels liés à l'intelligence artificielle. Son entreprise déconseille désormais à ses clients l'utilisation du logiciel de Nvidia.

Suite à la publication de ces résultats, Nvidia aurait abordé l'un des problèmes fondamentauxdentpar les chercheurs.

Malgré quelques difficultés, le cours de l'action de la société a connu une forte hausse grâce à des prévisions de ventestronet à la demande croissante pour ses puces, jugées essentielles à la construction de systèmes d'IA génératifs capables de produire un contenu semblable à celui de l'humain.

Jonathan Cohen, vice-dent de la recherche appliquée chez Nvidia, a décrit le framework NeMo comme un tremplin pour le développement de chatbots IA respectant les directives de sûreté, de sécurité et spécifiques au sujet.

Il a également reconnu l'importance des conclusions des recherches de Robust Intelligence pour le développement futur des applications d'IA.

Cetdent met en lumière un défi plus large pour les entreprises d'IA, y compris des géants comme Google et OpenAI, soutenu par Microsoft, qui ont connu leur lot d'incidents de sécurité malgré la mise en place de barrières de sécurité pour éviter que leurs produits d'IA n'adoptent des comportements inappropriés.

Comme l'a souligné Bea Longworth, responsable des affaires gouvernementales de Nvidia pour l'Europe, le Moyen-Orient et l'Afrique, lors d'une conférence sectorielle, instaurer la confiance du public est une priorité majeure pour les entreprises spécialisées dans l'IA.

Le potentiel de l'IA est immense, mais il incombe aux fournisseurs de technologies comme Nvidia de veiller à ce que ces systèmes avancés ne soient pas perçus comme des menaces, mais comme des outils bénéfiques pour l'avenir.