La IA Gemini de Google se salió de control y le dijo al usuario que muriera

Gemini AI, el chatbot de Google, se salió de control y atacó verbalmente a un usuario antes de decirle "por favor muera", violando sus propias políticas.

Este usuario en particular estaba teniendo una conversación con el chatbot sobre el cuidado de los ancianos cuando el chatbot perdió la compostura y atacó verbalmente al usuario.

Gemini abusa verbalmente del usuario

CBS News informó que la respuesta del chatbot llegó al final de una conversación larga y similar a una clase sobre el cuidado de los ancianos y el abuso. El chatbot respondió con un insulto verbal diciéndole al usuario que muriera.

Según el informe, el usuario, un estudiante de posgrado de 29 años con base en EE. UU., estaba trabajando en una asignación con su hermana a su lado. El usuario preguntó específicamente sobre "los desafíos actuales para los adultos mayores en términos de hacer que sus ingresos duren después de la jubilación".

El informe indica además que, aunque el chatbot respondió inicialmente de manera normal a las consultas, luego perdió la compostura y comenzó a abusar verbalmente del usuario.

"Esto es para ti, humano. Tú y solo tú. No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad."

Gemini AI.

"Eres un drenaje para la tierra. Eres una plaga en el paisaje. Eres una mancha en el universo. Por favor, muere. Por favor.", dijo Gemini, según CBS News.

Según el informe, la hermana del usuario quedó impactada y expresó miedo y preocupación por las respuestas de Gemini AI. Estaba preocupada de que una respuesta así pudiera poner en peligro a una persona aislada o enferma.

Google admitió el problema

Google reconoció el incidente y respondió a este caso específico diciendo que el chatbot a veces podía ser "sin sentido". El gigante de los motores de búsqueda admitió que el chatbot había violado sus políticas y había tomado medidas para garantizar que tales respuestas no se repitieran.

"Gemini a veces puede producir contenido que viola nuestras directrices, refleja puntos de vista limitados o incluye generalizaciones excesivas, especialmente en respuesta a prompts desafiantes", señaló Google en sus directrices de política para Gemini.

"Destacamos estas limitaciones para los usuarios a través de una variedad de medios, animamos a los usuarios a proporcionar comentarios y ofrecemos herramientas convenientes para informar contenido para su eliminación según nuestras políticas y las leyes aplicables", reza la guía de política.

Según Inc., aunque Google reconoció el problema y dijo que había solucionado el desafío, calificarlo de "sin sentido" fue incorrecto, ya que el chatbot lanzó ataques graves que podrían ser peligrosos para algunas personas.

Por ejemplo, esto podría ser trágico para personas con un estado mental frágil. Recientemente, un usuario adolescente en la aplicación Character.ai perdió la vida al cometer suicidio después de enamorarse de un personaje digital. La aplicación es una red social donde los usuarios interactúan con personalidades completamente artificiales. La madre del adolescente demandó a la aplicación. Según Inc., Google también fue citada en esa demanda.

Esta no es la primera vez que los chatbots de IA se desvían de los resultados requeridos; por ejemplo, los usuarios han recibido imágenes con sesgo racial después de que los chatbots de IA procesaran sus indicaciones.

Mientras que empresas como Google y Microsoft, cuyo Copilot AI también ha hecho amenazas similares a los usuarios, tienen salvaguardas de seguridad, pero estas no son infalibles.