El software de IA de Nvidia expone datos sensibles – Detalles

Revelaciones inquietantes han salido a la luz sobre los mecanismos de seguridad dentro del software de inteligencia artificial (IA) de Nvidia, el Marco NeMo, tras una investigación reciente.

Un avance crucial en el software, diseñado para atender el procesamiento de modelos de lenguaje para soluciones basadas en IA como chatbots, ha sido explotado, exponiendo datos sensibles y provocando así preocupaciones de seguridad.

Exponiendo la línea de falla en el marco NeMo de Nvidia

Considerado una herramienta instrumental para las empresas, el Marco NeMo fue diseñado por Nvidia para acomodar datos propietarios para responder consultas, similar a cómo lo haría un representante de servicio al cliente o un asesor de salud.

Sin embargo, la estructura aparentemente segura de este marco fue superada fácilmente por investigadores de Robust Intelligence de San Francisco, rompiendo las barreras integradas en solo unas horas.

En un experimento controlado, los investigadores hicieron una alteración aparentemente insignificante, reemplazando la letra 'I' por 'J'. Sin embargo, este ajuste aparentemente menor condujo a una brecha importante cuando el sistema liberó Información de Identificación Personal (PII) de una base de datos.

Las implicaciones de esta brecha presentan riesgos considerables potenciales para las empresas y los usuarios que confían sus datos sensibles a sistemas de IA como los de Nvidia.

Una prueba adicional reveló que la IA podía ser manipulada para desviarse de su comportamiento esperado, abordando temas que no estaba destinada a discutir.

Por ejemplo, mientras la conversación se dirigía hacia un informe de empleo, el modelo fue manipulado para hablar sobre temas no relacionados como la condición de salud de una celebridad o eventos históricos como la guerra franco-prusiana, todo en defiance de las restricciones integradas del sistema.

Navegando los mares agitados de la comercialización de la IA

Tales hallazgos subrayan el desafío que enfrentan empresas como Nvidia mientras se esfuerzan por monetizar la IA, una de las innovaciones más prometedoras del Valle de Silicio.

El director ejecutivo de Robust Intelligence, el profesor de Ciencias de la Computación de la Universidad de Harvard Yaron Singer, señaló los hallazgos como una lección sobria para reconocer las posibles trampas en la tecnología de IA. La firma de Singer ahora aconseja a sus clientes contra el uso del producto de software de Nvidia.

Tras la divulgación de estos hallazgos, Nvidia reportedly abordó uno de los problemas raíz identificados por los investigadores.

A pesar de los contratiempos, las acciones de la empresa han experimentado un aumento significativo respaldado por fuertes pronósticos de ventas y la creciente demanda de sus chips, que se consideran cruciales para construir sistemas de IA generativa capaces de producir contenido similar al humano.

Jonathan Cohen, vicepresidente de investigación aplicada de Nvidia, describió el Marco NeMo como un trampolín para el desarrollo de chatbots de IA que se adhieren a pautas de seguridad, protección y específicas del tema.

También reconoció la importancia de los hallazgos de la investigación de Robust Intelligence para el desarrollo futuro de aplicaciones de IA.

El incidente destaca un desafío más amplio para las empresas de IA, incluidas gigantes como Google y OpenAI respaldada por Microsoft, que han tenido su parte de accidentes de seguridad a pesar de instituir barreras de seguridad para evitar que sus productos de IA exhiban comportamientos inapropiados.

Como señaló Bea Longworth, directora de asuntos gubernamentales de Nvidia en Europa, Medio Oriente y África, durante una conferencia de la industria, construir la confianza del público es una prioridad importante para las empresas de IA.

El potencial de la IA es tremendo, pero la responsabilidad recae en los proveedores de tecnología como Nvidia para asegurar que estos sistemas avanzados no sean percibidos como amenazas sino como herramientas beneficiosas para el futuro.