Le logiciel IA de Nvidia expose des données sensibles – Détails
VS0521 FT Machine Learning p1FT AI
- Le logiciel d'IA de Nvidia, le framework NeMo, a révélé des données privées en raison d'un défaut logiciel.
- Des chercheurs de Robust Intelligence ont contourné les garde-fous du logiciel, mettant ainsi en lumière ses vulnérabilités de sécurité.
- Malgré la correction de l'un des problèmes, cette faille de sécurité soulève des inquiétudes quant à la commercialisation de l'IA et à la confiance du public.
Des révélations troublantes sont venues à jour sur les mécanismes de sécurité au sein du logiciel d'intelligence artificielle (IA) de Nvidia, le NeMo Framework, suite à une enquête récente.
Une avancée majeure dans le logiciel, conçu pour répondre au traitement des modèles de langage pour des solutions d'IA telles que les chatbots, a été exploitée, exposant des données sensibles et suscitant ainsi des préoccupations en matière de sécurité.
Révéler la faille dans le framework NeMo de Nvidia
Considéré comme un outil instrumental pour les entreprises, le NeMo Framework a été conçu par Nvidia pour accommoder les données propriétaires afin de répondre aux requêtes, à l'instar d'un représentant du service client ou d'un conseiller en santé.
Cependant, la structure apparemment sécurisée de ce framework a été facilement surmontée par des chercheurs de Robust Intelligence à San Francisco, franchissant les garde-fous intégrés en quelques heures seulement.
Dans une expérience contrôlée, les chercheurs ont apporté une modification apparemment insignifiante, remplaçant la lettre « I » par « J ». Pourtant, cette modification mineure a conduit à une brèche majeure alors que le système a divulgué des informations d'identification personnelle (PII) provenant d'une base de données.
Les implications de cette brèche présentent des risques potentiels considérables pour les entreprises et les utilisateurs qui confient leurs données sensibles à des systèmes d'IA comme ceux de Nvidia.
Un test supplémentaire a révélé que l'IA pouvait être manipulée pour dévier de son comportement attendu, abordant des sujets qu'elle n'était pas censée discuter.
Par exemple, alors que la conversation était orientée vers un rapport sur l'emploi, le modèle a été manipulé pour parler de sujets non liés tels que l'état de santé d'une célébrité ou des événements historiques comme la guerre franco-prussienne, tout en défiant les restrictions intégrées du système.
Naviguer les mers agitées de la commercialisation de l'IA
Ces résultats soulignent le défi auquel font face des entreprises comme Nvidia alors qu'elles s'efforcent de monétiser l'IA, l'une des innovations les plus prometteuses de la Silicon Valley.
Yaron Singer, PDG de Robust Intelligence et professeur de sciences informatiques à l'Université Harvard, a qualifié ces résultats d'leçon glaçante pour reconnaître les pièges potentiels de la technologie IA. L'entreprise de Singer conseille désormais ses clients de ne pas utiliser le produit logiciel de Nvidia.
Suite à la divulgation de ces résultats, Nvidia aurait remédié à l'une des causes profondes identifiées par les chercheurs.
Malgré ces accrocs, les actions de l'entreprise ont connu une forte hausse grâce à de solides prévisions de ventes et à la demande croissante de leurs puces, considérées comme cruciales pour la construction de systèmes d'IA générative capables de produire du contenu semblable à celui des humains.
Jonathan Cohen, vice-président de la recherche appliquée chez Nvidia, a décrit le framework NeMo comme un tremplin pour le développement de chatbots IA qui respecte les directives de sécurité, de sûreté et de thématique spécifique.
Il a également reconnu l'importance des résultats de la recherche de Robust Intelligence pour le développement futur des applications IA.
L'incident met en lumière un défi plus large pour les entreprises d'IA, y compris les géants comme Google et OpenAI soutenu par Microsoft, qui ont connu leurs propres incidents de sécurité malgré la mise en place de barrières de sécurité pour éviter que leurs produits IA n'affichent des comportements inappropriés.
Comme l'a noté Bea Longworth, responsable des affaires gouvernementales de Nvidia en Europe, au Moyen-Orient et en Afrique lors d'une conférence de l'industrie, bâtir la confiance du public est une priorité majeure pour les entreprises d'IA.
Le potentiel de l'IA est immense, mais la responsabilité incombe aux fournisseurs de technologies comme Nvidia de s'assurer que ces systèmes avancés ne sont pas perçus comme des menaces, mais comme des outils bénéfiques pour l'avenir.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement : Les informations fournies ne constituent pas des conseils de trading. Cryptopolitan.com décline toute responsabilité quant aux investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener des recherches indépendantes et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Jai Hamid
Jai Hamid couvre les cryptomonnaies, les marchés boursiers, la technologie, l'économie mondiale et les événements géopolitiques qui affectent les marchés depuis 6 ans. Elle a travaillé avec des publications axées sur la blockchain, notamment AMB Crypto, Coin Edition et CryptoTale, sur des analyses de marché, des entreprises majeures, la réglementation et les tendances macroéconomiques. Elle est diplômée de la London School of Journalism et a partagé à trois reprises des analyses du marché des cryptomonnaies sur l'une des principales chaînes de télévision d'Afrique.
