Estudio identifica alarmante brecha de seguridad en el despliegue de IA generativa

El 82% de los ejecutivos de la alta dirección cree que una IA segura y confiable es crítica. Sin embargo, solo el 24% integra la seguridad en sus iniciativas relacionadas con la IA generativa. Así lo indican las nuevas investigaciones de IBM y Amazon Web Services, un estudio conjunto anunciado en la RSA Conference 2024 que detalla los resultados de una encuesta centrada en las opiniones de los ejecutivos de la alta dirección sobre cómo impulsar casos de uso seguros para la IA, con un gran enfoque en la IA generativa. IBM informa que solo el 24% de los encuestados consideró una dimensión de seguridad en sus iniciativas de IA generativa, mientras que casi el 70% afirma que la innovación tiene prioridad sobre la seguridad.

Compromiso entre innovación y seguridad

Aunque la mayoría de los ejecutivos se preocupan por que los riesgos impredecibles afecten las iniciativas de IA generativa, no están priorizando la seguridad. Aunque aún no se ha materializado un panorama completo de amenazas de IA, algunos casos de uso han implicado el uso de ChatGPT o herramientas similares para generar guiones de correos electrónicos de phishing y audio deepfake. Los investigadores de seguridad de IBM X-Force han advertido que, al igual que con tecnologías más maduras, cada vez es más probable que los sistemas de IA sean objetivo de ataques a mayor escala.

Según el informe, aunque una superficie consolidada de amenazas de IA apenas está comenzando a formarse, los investigadores de IBM X-Force anticipan que, una vez que el panorama de la industria madure en torno a tecnologías y modelos de habilitación comunes, los actores de amenazas comenzarán a dirigirse a estos sistemas de IA de manera más amplia. De hecho, esa convergencia ya está en marcha mientras el mercado madura rápidamente, y los principales proveedores ya están emergiendo en hardware, software y servicios.

Más preocupante aún, según el informe de IBM report, son aquellas empresas que no aseguran adecuadamente los modelos de IA que construyen y utilizan como parte de sus negocios. Una aplicación deficiente de herramientas de GenAI puede provocar el mal manejo o la filtración de datos sensibles. Según el informe, el «shadow AI» está aumentando su uso dentro de las organizaciones, ya que los empleados emplean herramientas de GenAI que no han sido aprobadas ni aseguradas por los equipos de seguridad empresarial.

Con este fin, IBM anunció en enero un marco para garantizar la seguridad de la IA generativa. Sus principios básicos son: centralizar los datos utilizados para entrenar los modelos de IA; proteger los modelos mediante una combinación de escaneo de pipelines de desarrollo en busca de vulnerabilidades, aplicación de políticas y control de acceso para el uso de IA; y proteger su uso contra ataques basados en modelos de IA en tiempo real.

Protección del pipeline de IA

El lunes, el equipo de seguridad ofensiva X-Force Red de IBM lanzó un servicio de pruebas con inteligencia artificial que busca evaluar aplicaciones de IA, modelos de IA y pipelines de MLSecOps mediante red teaming. El miércoles en la RSA Conference 2024, IBM presentará 'Innovate Now, Secure Later? Decisions, Decision…' sobre la seguridad y el establecimiento de gobernanza para el pipeline de IA.

El segundo ponente fue Ryan Dougherty, director de programas de tecnología de seguridad en IBM Security. Al hablar con TechTarget Editorial, señaló que asegurar la IA desde su lanzamiento es una de las principales preocupaciones de IBM Security en el ámbito tecnológico. Dijo: 'Eso es lo que hace que esta área sea tan crítica, especialmente en el caso de la IA generativa: se está integrando profundamente en las aplicaciones y procesos empresariales. La integración en el tejido empresarial la eleva por encima de los riesgos y amenazas potenciales'.

Según él, desde una perspectiva empresarial, la IA debe tener una base en su naturaleza real.

'La IA generativa se entrena y opera sobre vastas cantidades de datos empresariales sensibles, y debemos proteger esas nuevas joyas corporativas, ya que ahí reside la ventaja competitiva. Se trata de los datos que poseen estas organizaciones y de las ideas que obtienen al utilizar la IA generativa, exponiéndolas dentro de sus aplicaciones para mejorar sus negocios'.

Dougherty añadió que están invirtiendo grandes sumas de dinero en los modelos, que son muy costosos. Una gran cantidad de propiedad intelectual e inversión se destina a operacionalizar estas aplicaciones de IA generativa, y las empresas simplemente no pueden permitirse no asegurarlas.