Estudio Identuna brecha de seguridad alarmante en la implementación de IA generativa

El 82% de los ejecutivos de alto nivel creen que la IA es fundamental. Sin embargo, solo el 24% de ellos integra la seguridad en sus iniciativas relacionadas con la IA generativa. Esto se desprende de una nueva investigación conjunta de IBM y Amazon Web Services, anunciada en la RSA Conference 2024, que detalla los resultados de una encuesta centrada en las opiniones de los ejecutivos de alto nivel sobre cómo impulsar casos de uso seguros para la IA, con especial énfasis en la IA generativa. IBM informa que solo el 24% de los encuestadosdentla dimensión de seguridad en sus iniciativas de IA generativa, mientras que casi el 70% afirma que la innovación tiene prioridad sobre la seguridad.

El equilibrio entre innovación y seguridad

Si bien la mayoría de los ejecutivos se preocupan por el impacto de riesgos impredecibles en las iniciativas de IA de vanguardia, no priorizan la seguridad. Si bien aún no se ha concretado completamente el panorama de amenazas de IA, algunos casos de uso han implicado el uso de ChatGPT o similares para generar scripts de correo electrónico de phishing y audio deepfake. Los investigadores de seguridad de IBM X-Force han advertido que, al igual que con las tecnologías más maduras, es cada vez más probable que los sistemas de IA sean atacados a mayor escala.

Si bien la superficie consolidada de amenazas de IA apenas está comenzando a formarse, los investigadores de IBM X-Force anticipan que, una vez que el panorama de la industria madure en torno a tecnologías y modelos de habilitación comunes, los actores de amenazas comenzarán a atacar estos sistemas de IA de forma más amplia, según el informe. De hecho, esta convergencia está en marcha a medida que el mercado madura rápidamente, y ya están surgiendo proveedores líderes en hardware, software y servicios.

de IBM, lo más preocupante informeson las empresas que no protegen adecuadamente los modelos de IA que desarrollan y utilizan en sus negocios. Una aplicación deficiente de las herramientas de IA general puede provocar el manejo indebido o la filtración de datos confidenciales. De acuerdo con el informe, el uso de la "IA en la sombra" está aumentando dentro de las organizaciones, ya que los empleados utilizan herramientas de IA general que no han sido aprobadas ni protegidas por los equipos de seguridad de la empresa.

Con este fin, IBM anunció en enero un marco para proteger GenAI. Sus principios básicos son la centralización de datos, que se utilizan para entrenar modelos de IA, la protección de los modelos mediante una combinación de análisis de vulnerabilidades en los canales de desarrollo, la aplicación de políticas y control de acceso para el uso de la IA, y la protección de su uso contra ataques basados ​​en modelos de IA en vivo.

Asegurando el flujo de trabajo de la IA

El lunes, el equipo de seguridad ofensiva X-Force Red de IBM lanzó un servicio de pruebas de inteligencia artificial que busca evaluar aplicaciones y modelos de IA, así como pipelines de MLSecOps mediante la formación de equipos rojos. El miércoles, en la Conferencia RSA 2024, IBM presentará "¿Innovar ahora, asegurar después? Decisiones, decisiones..." sobre la seguridad y el establecimiento de la gobernanza para el pipeline de IA.

El segundo ponente fue Ryan Dougherty, director del programa de tecnología de seguridad de IBM Security. En declaraciones a TechTarget Editorial, afirmó que asegurar la IA desde el primer momento es una de las principales preocupaciones de IBM Security en el ámbito tecnológico. Añadió: «Eso es lo que hace que esta área sea tan crucial, en particular en el caso de la IA generativa: se está integrando profundamente en las aplicaciones y procesos empresariales. La integración en el tejido empresarial la eleva por encima de los posibles riesgos y amenazas».

Según él, desde una perspectiva empresarial, la IA debe tener una base en su naturaleza real.

La IA generativa se entrena y se implementa con grandes cantidades de datos empresariales confidenciales, y necesitamos proteger estas nuevas joyas de la corona porque ahí es donde reside la ventaja competitiva. Se basa en los datos que estas organizaciones poseen y en la información que obtienen al usar la IA generativa y aplicarla en sus aplicaciones para mejorar sus negocios

Dougherty añadió que están pagando mucho dinero por los modelos, que son muy caros. Se está invirtiendo mucha propiedad intelectual e inversión en la puesta en funcionamiento de estas aplicaciones de IA generativa, y las empresas simplemente no pueden permitirse protegerlas.