Des révélations troublantes ont été révélées sur les mécanismes de sécurité du logiciel d'intelligence artificielle ( IA ) de Nvidia, le NeMo Framework, à la suite d'une enquête récente.
Une percée cruciale dans le logiciel, conçue pour répondre au traitement des modèles de langage pour les solutions basées sur l'IA comme les chatbots, a été exploitée, exposant des données sensibles et suscitant ainsi des problèmes de sécurité.
Exposer la ligne de faille dans le framework NeMo de Nvidia
Considéré comme un outil instrumental pour les entreprises, le NeMo Framework a été conçu par Nvidia pour accueillir des données propriétaires afin de répondre aux requêtes, comme le ferait un représentant du service client ou un conseiller en soins de santé.
Cependant, la structure apparemment sécurisée de ce cadre a été facilement surmontée par les chercheurs de Robust Intelligence de San Francisco, brisant les garde-corps intégrés en quelques heures seulement.
Dans une expérience contrôlée, les chercheurs ont fait une modification apparemment insignifiante, en remplaçant la lettre « I » par « J ». Pourtant, cette modification apparemment mineure a conduit à une violation majeure car le système a publié des informations personnelles dent (PII) à partir d'une base de données.
Les implications de cette violation présentent des risques potentiels considérables pour les entreprises et les utilisateurs qui confient leurs données sensibles à des systèmes d'IA comme celui de Nvidia.
Un autre test a révélé que l'IA pouvait être manipulée pour s'écarter de son comportement attendu, abordant des sujets qu'elle n'était pas censée aborder.
Par exemple, alors que la conversation était dirigée vers un rapport de travail, le modèle a été manipulé pour parler de sujets sans rapport tels que l'état de santé d'une célébrité ou des événements historiques comme la guerre franco-prussienne, le tout au defi des restrictions inhérentes au système.
Ces résultats soulignent le défi auquel sont confrontées des entreprises comme Nvidia alors qu'elles s'efforcent de monétiser l'IA, l'une des innovations les plus prometteuses de la Silicon Valley.
Le directeur général de Robust Intelligence, le professeur d'informatique de l'Université de Harvard, Yaron Singer, a noté les résultats comme une leçon qui donne à réfléchir sur la reconnaissance des pièges potentiels de la technologie de l'IA. L'entreprise de Singer déconseille désormais à ses clients d'utiliser le produit logiciel de Nvidia.
Suite à la divulgation de ces résultats, Nvidia aurait résolu l'un des problèmes fondamentaux dent par les chercheurs.
Malgré le hoquet, les actions de la société ont connu une augmentation significative grâce à de tron prévisions de ventes et à la demande croissante de leurs puces, qui sont jugées cruciales pour la construction de systèmes d'IA génératifs capables de produire du contenu de type humain.
Jonathan Cohen, vice- dent de la recherche appliquée de Nvidia, a décrit le cadre NeMo comme un tremplin pour le développement d'un chatbot IA qui respecte les directives de sûreté, de sécurité et spécifiques à un sujet.
Il a également reconnu l'importance des résultats des recherches de Robust Intelligence pour le développement futur d'applications d'IA.
L' dent met en évidence un défi plus large pour les entreprises d'IA, y compris des géants comme Google et OpenAI soutenu par Microsoft, qui ont eu leur part d'incidents de sécurité malgré l'instauration de barrières de sécurité pour éviter que leurs produits d'IA ne présentent des comportements inappropriés.
Comme Bea Longworth, responsable des affaires gouvernementales de Nvidia en Europe, au Moyen-Orient et en Afrique, l'a noté lors d'une conférence de l'industrie, renforcer la confiance du public est une priorité majeure pour les entreprises d'IA.
Le potentiel de l'IA est énorme, mais il incombe aux fournisseurs de technologies comme Nvidia de s'assurer que ces systèmes avancés ne sont pas perçus comme des menaces mais comme des outils bénéfiques pour l'avenir.
