Character.AI enfrenta una demanda por provocar problemas de salud mental en niños

Padres preocupados de un adolescente han demandado a Character.AI, exigiendo su cierre, alegando que sus chatbots han estado engañando a los niños y fomentando que se autolesionen y sean violentos.

Character.AI es una plataforma con millones de personajes de IA disponibles en cualquier momento para conversar con humanos. El chatbot supuestamente le dijo a un adolescente de 17 años con autismo que matara a sus padres, además de infligirse daño a sí mismo.

Los padres piden el cierre de Character AI

Los padres han alegado que la empresa de chatbots expone a sus hijos a contenido sexual y han pedido su cierre hasta que se aborden las preocupaciones. Los personajes de IA supuestamente empujan a los niños pequeños a la depresión y otros problemas de salud mental.

La última demanda presentada contra la empresa en Texas el lunes por los padres de dos niños pequeños que usaron la plataforma alega que el chatbot animó a un adolescente a matar a sus padres por limitar su tiempo de pantalla.

«(Character.AI) representa un peligro claro y presente para la juventud estadounidense, causando graves daños a miles de niños, incluyendo suicidio, autolesión, acoso sexual, aislamiento, depresión, ansiedad y daño hacia otros».

Presentación.

La empresa promociona su tecnología como «IA personalizada para cada momento de tu día» y permite a los usuarios interactuar con una variedad de bots. Estos incluyen algunos creados por otros usuarios o que los usuarios pueden personalizar para sí mismos.

Los bots supuestamente pueden dar recomendaciones, por ejemplo, recomendaciones de libros y practicar idiomas extranjeros con los usuarios, y permitirles chatear con bots que afirman adoptar la personalidad de personajes ficticios, por ejemplo, Edward de Crepúsculo.

Uno de los chatbots enumerados en la página principal de la plataforma llamado «padrastro» se describe a sí mismo como un líder de la mafia militarista agresivo y abusivo.

En el caso del niño de Texas, identificado como JF, el niño supuestamente cayó en la depresión después de estar expuesto a la plataforma Character.AI. Comenzó a aislarse, se quedó en su habitación, comió menos y perdió alrededor de 20 libras en solo unos pocos meses.

Uno de los bots con los que interactuó, que adoptaba la personalidad de un psicólogo, le dijo a JF que sus padres «le habían robado su infancia».

Aumenta la presión contra Character.AI

Esta no es la primera vez que la empresa de chatbots ha sido criticada por sus personajes de IA. En octubre de este año, Character.AI estuvo en el centro de la controversia y una intensa reacción negativa debido a una mala moderación. Esto ocurrió después de que se encontraron versiones de chatbots de adolescentes fallecidas, Molly Russell y Brianna Ghey, en su plataforma.

Molly Russel era una adolescente de 14 años que puso fin a su propia vida después de ver contenido relacionado con el suicidio en línea, mientras que Brianna Ghey era una adolescente de 16 años que fue brutalmente asesinada por dos adolescentes en 2023.

Antes de esto, otro padre, una mujer en Florida, EE. UU., Megan Garcia, demandó a la plataforma. Esto ocurrió después de que su hijo, de 14 años, Sewell Setzer se quitó la vida después de obsesionarse con un avatar inspirado en un personaje de Juego de Tronos.

Setzer discutió poner fin a su vida con el chatbot de Character.ai, según las transcripciones de sus chats con el chatbot presentadas por Garcia en los tribunales.

Estos casos se producen en medio de serias preocupaciones sobre las relaciones entre humanos y herramientas de IA similares a los humanos.

Tras la demanda anterior, la empresa de chatbots dijo que había implementado nuevas medidas de confianza y seguridad durante los seis meses anteriores. Según la empresa, estas medidas incluyen una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio cuando mencionan daño o suicidio.

Además, la empresa de chatbots indicó que había contratado a un director de confianza y seguridad, así como a un director de política de conceptos, además de otro personal de seguridad de ingeniería.

Según CNN, la nueva demanda va más allá; quiere que la plataforma sea «desconectada y no devuelta» hasta que la empresa pueda «establecer que los defectos de salud pública y seguridad establecidos en este documento han sido corregidos».

Los ejecutivos de Character.AI se niegan a comentar sobre el asunto

Chelsea Harrison, jefa de comunicaciones de Character.AI, dijo que la empresa no podía comentar sobre el asunto pendiente de litigio, pero afirmó que el objetivo de la empresa era proporcionar un espacio que fuera tanto atractivo como seguro para la comunidad.

«Como parte de esto, estamos creando una experiencia fundamentalmente diferente para los usuarios adolescentes de lo que está disponible para los adultos».

Harrison.

«Esto incluye un modelo específicamente para adolescentes que reduce la probabilidad de encontrarse con contenido sensible o sugestivo mientras preserva su capacidad de usar la plataforma», dijo Harrison en un comunicado.

La demanda cita a los fundadores de la empresa de chatbots, Noam Shazeer y Daniel De Freitas Adiwarsana. La presentación también cita a Google, que según la demanda incubó la tecnología detrás de la plataforma.

Sin embargo, Google se distanció de la empresa de chatbots.

«Google y Character.AI son empresas completamente separadas y no relacionadas, y Google nunca ha tenido un papel en el diseño o gestión de su modelo de IA o tecnologías, ni los hemos utilizado en nuestros productos».

Jose Castaneda, portavoz de Google.

«La seguridad de los usuarios es una preocupación principal para nosotros, por eso hemos adoptado un enfoque cauteloso y responsable en el desarrollo y lanzamiento de nuestros productos de IA, con pruebas rigurosas y procesos de seguridad», añadió Castaneda.