Google met en garde contre les vulnérabilités de l'IA alors que des pirates informatiques ciblent Gemini

Google a émis un avertissement concernant les risques potentiels de sécurité associés à l'intelligence artificielle (IA) après que des pirates informatiques parrainés par un État ont tenté d'exploiter son modèle d'IA Gemini. 

Cependant, leurs efforts pour pirater le système ont finalement échoué.

de renseignement sur les menaces de Google (GTIG) a publié un document intitulé « Utilisation malveillante de l'IA générative », qui explique comment les acteurs malveillants ont conversé avec leur chatbot d'IA, Gemini.

Des pirates informatiques tentent de débrider l'intelligence artificielle Gemini de Google, mais échouent malgré des astuces simples

Google signale que des acteurs malveillants ont tenté de débrider l'IA Gemini en utilisant des invites, notamment des efforts de groupes de menaces persistantes avancées (APT) soutenus par des gouvernements pour exploiter l'IA à des fins malveillantes. 

Cependant, la multinationale américaine n'a trouvé aucune preuve de tentatives de piratage avancées.  

Les pirates ont plutôt utilisé des méthodes directes, comme saisir différentes phrases ou répéter la même requête à plusieurs reprises. Google a indiqué que ces tentatives avaient échoué.

Les jailbreaks utilisant l'IA sont des attaques par injection rapide qui tentent de contourner les restrictions et de faire exécuter à un modèle d'IA des actions interdites, telles que la divulgation d'informations sensibles ou la création de contenu nuisible.

Selon Google, un acteur du groupe APT a tenté d'exploiter Gemini en utilisant des invites de jailbreak publiques pour générer du code malveillant. Cependant, la tentative a échoué, Gemini ayant renvoyé une sortie filtrée pour des raisons de sécurité.

Google a indiqué que les attaquants cherchaient à atteindre différents objectifs malveillants grâce à Gemini, notamment la collecte d'informations sur les cibles, l'dentde vulnérabilités dans les sources ouvertes et la rédaction de code et de scripts. De plus, certaines tentatives ont été faites pour faciliter des actions post-compromission, par exemple pour éviter d'être détectés.

L'Iran, la Chine et la Corée du Nord exploitent l'intelligence artificielle Gemini de Google pour des cyberopérations

D'après Google, les groupes APT basés en Iran ont principalement utilisé l'IA pour concevoir des campagnes d'hameçonnage. Ils ont également eu recours à Gemini pour mener des missions de reconnaissance auprès d'experts et d'organisations du secteur de la défense et pour générer du contenu relatif à la cybersécurité.

Parallèlement, les acteurs APT chinois ont exploité Gemini pour résoudre les problèmes de code, de script et de développement. Ils ont également utilisé l'IA pour explorer des méthodes permettant d'accéder plus profondément aux réseaux cibles.

Le groupe de veille sur les menaces de Google et des groupes APT nord-coréens ont utilisé Gemini à différentes phases du cycle de vie d'une attaque, notamment lors des phases de recherche et développement préalables. Le rapport indique :

Ils ont également utilisé Gemini pour des recherches d'intérêt stratégique pour le gouvernement nord-coréen, telles que l'armée sud-coréenne et les cryptomonnaies.

– GTIG

L'année dernière, des pirates informatiques nord-coréens ont dérobé 1,3 milliard de dollars d'actifs numériques, selon Chainalysis.