El software de inteligencia artificial de Nvidia expone datos confidenciales – Detalles

han salido a la luz revelaciones inquietantes sobre los mecanismos de seguridad del software de inteligencia artificial (IA) de Nvidia, el marco NeMo.

Se ha explotado un avance fundamental en el software, desarrollado para procesar modelos de lenguaje para soluciones basadas en IA como los chatbots, exponiendo datos confidenciales y generando así preocupaciones de seguridad.

Exponiendo la falla en el framework NeMo de Nvidia

Considerado como una herramienta instrumental para las empresas, NeMo Framework fue diseñado por Nvidia para acomodar datos propietarios para responder consultas, de manera similar a como lo haría un representante de servicio al cliente o un asesor de atención médica.

Sin embargo, la estructura aparentemente segura de este marco fue fácilmente superada por investigadores de Robust Intelligence de San Francisco, rompiendo las barreras incorporadas en cuestión de horas.

En un experimento controlado, los investigadores realizaron una alteración aparentemente insignificante: reemplazaron la letra «I» por «J». Sin embargo, esta modificación, aparentemente menor, provocó una grave vulneración, ya que el sistema liberó información personaldent(PII) de una base de datos.

Las implicaciones de esta violación presentan riesgos potenciales considerables para las empresas y los usuarios que confían sus datos confidenciales a sistemas de IA como el de Nvidia.

Una prueba adicional reveló que la IA podía ser manipulada para desviarse de su comportamiento esperado y abordar temas que no estaba destinada a discutir.

Por ejemplo, mientras la conversación estaba dirigida a un informe de trabajo, el modelo fue manipulado para hablar de temas no relacionados, como el estado de salud de una celebridad o eventos históricos como la guerra franco-prusiana, todo ello defilas restricciones incorporadas del sistema.

Navegando por los mares agitados de la comercialización de la IA

Estos hallazgos subrayan el desafío que enfrentan empresas como Nvidia en su esfuerzo por monetizar la IA, una de las innovaciones más prometedoras de Silicon Valley.

El director ejecutivo de Robust Intelligence, Yaron Singer, profesor de Ciencias de la Computación de la Universidad de Harvard, señaló que los hallazgos constituyen una lección aleccionadora para reconocer las posibles dificultades de la tecnología de IA. La firma de Singer ahora desaconseja a sus clientes el uso del software de Nvidia.

Tras la divulgación de estos hallazgos, Nvidia habría abordado uno de los problemas de raízdentpor los investigadores.

A pesar de los contratiempos, las acciones de la compañía han experimentado un aumento significativo gracias a lostronpronósticos de ventas y la creciente demanda de sus chips, que se consideran cruciales para construir sistemas de inteligencia artificial generativa capaces de producir contenido similar al humano.

Jonathan Cohen,dent de investigación aplicada de Nvidia, describió el NeMo Framework como un trampolín para el desarrollo de chatbots de IA que se adhieren a las pautas de seguridad, protección y temas específicos.

También reconoció la importancia de los hallazgos de la investigación de Robust Intelligence para el desarrollo futuro de aplicaciones de IA.

Eldent resalta un desafío más amplio para las empresas de IA, incluidos gigantes como Google y OpenAI, respaldado por Microsoft, que han tenido su cuota de problemas de seguridad a pesar de instituir barreras de seguridad para evitar que sus productos de IA exhiban comportamientos inapropiados.

Como señaló Bea Longworth, directora de asuntos gubernamentales de Nvidia en Europa, Medio Oriente y África, durante una conferencia del sector, generar confianza pública es una prioridad importante para las empresas de IA.

El potencial de la IA es enorme, pero la responsabilidad de garantizar que estos sistemas avanzados no sean percibidos como amenazas, sino como herramientas beneficiosas para el futuro, recae en proveedores de tecnología como Nvidia.