Google advierte sobre vulnerabilidades de inteligencia artificial mientras hackers atacan Gemini

Google ha emitido una advertencia sobre los posibles riesgos de seguridad asociados con la inteligencia artificial (IA) después de que piratas informáticos patrocinados por el estado intentaran explotar su modelo de IA Gemini. 

Sin embargo, sus esfuerzos por desbloquear el sistema finalmente no tuvieron éxito.

de inteligencia sobre amenazas de Google (GTIG) ha publicado un documento sobre el "Uso indebido por parte de adversarios de la IA generativa", que explica cómo los ciberdelincuentes han conversado con su chatbot de IA, Gemini.

Los hackers intentan desbloquear la inteligencia artificial Gemini de Google, pero fracasan con trucos sencillos

Google informa que actores de amenazas intentaron desbloquear la IA de Gemini usando indicaciones, incluidos esfuerzos por parte de grupos de amenazas persistentes avanzadas (APT) respaldados por el gobierno para aprovechar la IA para actividades maliciosas. 

Sin embargo, la multinacional estadounidense no encontró evidencia de intentos avanzados de jailbreak.  

En cambio, los hackers emplearon métodos sencillos, como escribir frases diferentes o repetir la misma solicitud varias veces. Google comentó que estos intentos no tuvieron éxito.

Los jailbreaks con ayuda de IA son ataques de inyección rápida que intentan evadir restricciones y hacer que un modelo de IA realice acciones prohibidas, como revelar información confidencial o crear contenido dañino.

Según Google, un actor de APT intentó explotar Gemini utilizando mensajes de jailbreak públicos para generar código malicioso. Sin embargo, el intento fracasó, ya que Gemini respondió con una salida filtrada por seguridad.

Google mencionó que los atacantes buscaban lograr diversos objetivos maliciosos con la ayuda de Gemini, como recopilar información sobre los objetivos,dentvulnerabilidades en fuentes abiertas y escribir código y scripts. Además, se intentó implementar acciones posteriores al ataque, por ejemplo, para evitar la detección.

Irán, China y Corea del Norte explotan la inteligencia artificial Gemini de Google para operaciones cibernéticas

Según Google, los grupos APT con sede en Irán utilizaron principalmente IA para diseñar campañas de phishing. También emplearon Gemini para realizar reconocimiento de expertos y organizaciones de defensa y generar contenido relacionado con la ciberseguridad.

Mientras tanto, los actores de APT de China han aprovechado Gemini para solucionar problemas de código, scripting y desarrollo. También han utilizado IA para explorar métodos para obtener un acceso más profundo a las redes objetivo.

El grupo de inteligencia sobre amenazas de Google y los grupos APT norcoreanos han utilizado Gemini en diferentes fases del ciclo de vida del ataque, como la investigación y el desarrollo previos al ataque. El informe decía:

También utilizaron Gemini para realizar investigaciones de interés estratégico para el gobierno de Corea del Norte, como el ejército de Corea del Sur y las criptomonedas.

– GTIG

El año pasado, piratas informáticos norcoreanos robaron 1.300 millones de dólares en activos digitales, según Chainalysis.