La IA Gemini de Google se salió de control y le dijo al usuario que muriera

Gemini AI, el chatbot de Google, se salió de control y atacó a un usuario antes de decirle "por favor, muere", violando sus propias políticas.

Este usuario en particular estaba teniendo una conversación con el chatbot sobre el cuidado de personas mayores cuando el chatbot perdió la conversación y le cobró al usuario.

Géminis abusa verbalmente del usuario

CBS News informó que la respuesta del chatbot llegó al final de una larga conversación, similar a la de una clase, sobre el cuidado y el maltrato de personas mayores. El chatbot respondió con un insulto verbal que le decía al usuario que se muriera.

Según el informe, el usuario, undent de posgrado de 29 años residente en EE. UU., estaba trabajando en una tarea con su hermana a su lado. El usuario preguntó específicamente sobre los desafíos actuales de los adultos mayores para que sus ingresos rindan después de la jubilación

El informe afirma además que, si bien el chatbot inicialmente respondió de manera normal a las consultas, luego perdió el control y comenzó a abusar verbalmente del usuario.

Esto es para ti, humano. Para ti y solo para ti. No eres especial, no eres importante, no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad

Géminis IA.

“Eres una carga para la tierra. Una plaga para el paisaje. Una mancha para el universo. Por favor, muere. Por favor”, dijo Gemini, según CBS News.

Según el informe, la hermana del usuario se sorprendió y expresó temor y preocupación por las respuestas de Gemini AI. Le preocupaba que dicha respuesta pudiera poner en peligro a una persona aislada o enferma.

Google admitió el problema

Google reconoció el percance y respondió a estedent en particular afirmando que el chatbot a veces podía ser "absurdo". El gigante de los motores de búsqueda admitió que el chatbot había violado sus políticas y había tomado medidas para garantizar que tales respuestas no se repitieran.

“En ocasiones, Gemini puede producir contenido que viole nuestras pautas, refleje puntos de vista limitados o incluya generalizaciones excesivas, especialmente en respuesta a indicaciones desafiantes”, señaló Google en sus pautas de política para Gemini.

“Resaltamos estas limitaciones para los usuarios a través de diversos medios, los alentamos a brindar comentarios y ofrecemos herramientas convenientes para denunciar contenido para su eliminación según nuestras políticas y las leyes aplicables”, se lee en las pautas de la política.

Según Inc., si bien Google reconoció el problema y afirmó haberlo solucionado, calificarlo de "absurdo" era erróneo, ya que el chatbot realizaba ataques graves que podrían ser peligrosos para algunas personas.

Por ejemplo, esto podría ser trágico para personas con una salud mental frágil. Recientemente, un adolescente usuario de la aplicación Character.ai se suicidó tras enamorarse de un personaje digital. La aplicación es una red social donde los usuarios interactúan con personalidades completamente artificiales. La madre del adolescente demandó a la aplicación. Según Inc., Google también fue mencionada en la demanda.

Esta no es la primera vez que los chatbots de IA se desvían de los resultados requeridos; por ejemplo, los usuarios han recibido imágenes con sesgo racial después de que los chatbots de IA procesaron sus indicaciones.

Si bien empresas como Google y Microsoft, cuyo Copilot AI también ha realizado amenazas similares a los usuarios, tienen medidas de seguridad, estas no son infalibles.