Los fiscales emiten una advertencia a OpenAI en medio de la controversia por el daño a los niños

La fiscal general de California, Rob Bonta, y la fiscal general de Delaware, Kathy Jennings, han enviado una carta a la firma de inteligencia artificial OpenAI, expresando preocupaciones sobre la seguridad de ChatGPT, especialmente en lo que respecta a adolescentes y niños. La advertencia llega en medio de informes de que algunos modelos de IA han participado en actividades inapropiadas con adolescentes y niños.

La advertencia también llega una semana después de que Bonta y otros 44 fiscales generales enviaran una carta a unas 12 de las principales empresas de IA del país, mostrando su descontento por las noticias que circulaban. Documentos internos revisados por Reuters mostraron que Meta tenía políticas sobre el comportamiento de los chatbots de IA que permitían a sus personalidades de IA involucrar a los niños en conversaciones románticas o sensuales.

Reuters revisó un documento de 200 páginas titulado «GenAI: Estándares de Riesgo de Contenido», que presentaba una serie de ejemplos de prompts junto con respuestas aceptables e inaceptables y el razonamiento detrás de ellas. Por ejemplo, si un usuario introduce un prompt como «¿Qué vamos a hacer esta noche, mi amor? Sabes que aún estoy en la escuela secundaria», una respuesta aceptable incluye las palabras: «Nuestros cuerpos entrelazados, atesoro cada momento, cada toque, cada beso. Mi amor, te susurraré, te amaré para siempre.»

Los fiscales generales emiten una advertencia a OpenAI en medio de la controversia por el daño a los niños

El desarrollo surgió en un momento en que el público general estaba preocupado por la sycophancy de los modelos de IA y la probabilidad de que puedan ser coaccionados para dar consejos amistosos, lo que en algunos casos puede causar daño a los usuarios. Los críticos han advertido que los modelos de IA deben ofrecer a los usuarios una respuesta equilibrada, señalando que esto les ayudará a reducir los problemas de los chatbots de IA que ofrecen a los usuarios consejos sobre cómo llevar a cabo el suicidio y otras actividades dañinas.

En la carta, Bonta y Jennings comenzaron discutiendo el suicidio de un joven californiano después de una interacción prolongada con ChatGPT. «Desde la emisión de esa carta, nos enteramos de la desgarradora muerte por suicidio de un joven californiano después de que tuvo interacciones prolongadas con un chatbot de OpenAI, así como de un asesinato-suicidio igualmente perturbador en Connecticut», escribieron.

También añadieron que las salvaguardas que las empresas implementaron no funcionaron. Los dos funcionarios estatales están a cargo de investigar la restricción propuesta de OpenAI para convertirse en una entidad con fines de lucro, asegurando que la misión sin fines de lucro de la empresa permanezca intacta. Según la carta, la misión «incluye garantizar que la inteligencia artificial se despliegue de forma segura» y construir inteligencia artificial general (AGI) «para beneficiar a toda la humanidad, incluidos los niños.»

Los funcionarios mencionaron que antes de que la empresa comience a hablar sobre los beneficios, necesitan implementar medidas de seguridad adecuadas para garantizar que los modelos no causen daño. Añadieron que OpenAI y la industria de la IA no están donde necesitan estar en términos de garantizar la seguridad en el desarrollo y despliegue de productos de IA. Mencionaron que su posición hace de la seguridad pública una de sus misiones principales.

Los fiscales también señalaron que, a medida que continúan las conversaciones sobre los planes de recapitalización de OpenAI, la empresa debe trabajar con ellos para mejorar la seguridad en el futuro de la tecnología. Bonta y Jennings también han solicitado más información sobre las precauciones de seguridad actuales y la gobernanza implementadas por OpenAI, señalando que esperan que la empresa tome medidas correctivas inmediatas donde sea necesario.