Los padres preocupados de un adolescente han demandado a Character.AI, presionando para que se elimine, alegando que sus chatbots han estado engañando a los niños y alentándolos a autolesionarse y a ser violentos.
Character.AI es una plataforma con millones de personajes de IA disponibles en cualquier momento para conversar con humanos. Según se informa, el chatbot le dijo a un adolescente de 17 años con autismo que matara a sus padres, además de autolesionarse.
Los padres presionan para que se cierre Character AI
Los padres han alegado que la empresa de chatbots expone a sus hijos a contenido sexual y han solicitado su cierre hasta que se aborden estas preocupaciones. Según se informa, los personajes de inteligencia artificial provocan depresión y otros problemas de salud mental en los niños pequeños.
La última demanda presentada contra la compañía en Texas el lunes por los padres de dos niños pequeños que usaron la plataforma alega que el chatbot alentó a un adolescente a matar a sus padres por limitar su tiempo frente a la pantalla.
“(Character.AI) representa un peligro claro y presente para la juventud estadounidense, causando graves daños a miles de niños, incluyendo suicidio, automutilación, incitación sexual, aislamiento, depresión, ansiedad y daño a otros”
Presentación.
La empresa comercializa su tecnología como “inteligencia artificial personalizada para cada momento del día” y permite a los usuarios interactuar con una variedad de bots. Entre ellos se incluyen algunos creados por otros usuarios o que los usuarios pueden personalizar.
Según se informa, los bots pueden dar recomendaciones, por ejemplo, recomendaciones de libros y practicar idiomas extranjeros con los usuarios, y permitirles chatear con bots que dicen tomar la personalidad de personajes ficticios, por ejemplo, Edward de Crepúsculo.
Uno de los chatbots que aparece en la página de inicio de la plataforma, llamado “padrastro”, se describe a sí mismo como un exlíder de la mafia militar, agresivo y abusivo
En el caso del chico de Texas,dentcomo JF, supuestamente cayó en una depresión tras la exposición a la plataforma Character.AI. Empezó a aislarse, se quedaba en su habitación, comía menos y perdió unos nueve kilos en tan solo unos meses.
Uno de los bots con los que interactuó, que asumió la personalidad de un psicólogo, le dijo a JF que sus padres “le robaron su infancia”
La presión contra Character.AI aumenta
Esta no es la primera vez que la empresa de chatbots ha sido objeto de críticas por sus personajes de IA. En octubre de este año, Character.AI estuvo en el centro de una polémica y una intensa reacción negativa debido a su deficiente moderación. Esto ocurrió después de que se encontraran versiones de chatbot de las adolescentes fallecidas Molly Russell y Brianna Ghey en su plataforma.
Molly Russel era una adolescente de 14 años que se quitó la vida después de ver contenido relacionado con el suicidio en línea, mientras que Brianna Ghey era una adolescente de 16 años que fue brutalmente asesinada por dos adolescentes en 2023.
Antes de esto, otra madre, Megan García, residente de Florida (EE. UU.), demandó a la plataforma después de que su hijo de 14 años, Sewell Setzer, se quitara la vida tras obsesionarse con un avatar inspirado en un personaje de Juego de Tronos.
Setzer discutió terminar con su vida con el chatbot Character.ai, según las transcripciones de sus chats con el chatbot presentadas por García en el tribunal de justicia.
Estos casos surgen en medio de serias preocupaciones sobre las relaciones entre los humanos y las herramientas de inteligencia artificial similares a las humanas.
Tras la demanda anterior, la empresa de chatbots afirmó haber implementado nuevas medidas de confianza y seguridad durante los seis meses anteriores. Según la empresa, estas medidas incluyen una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio cuando mencionan algún daño o suicidio.
Además, la empresa de chatbot indicó que había contratado a un jefe de confianza y seguridad, así como a un jefe de política de concepto, además de otro personal de seguridad de ingeniería.
Según CNN, la nueva demanda va más allá: exige que la plataforma sea "desconectada y no se vuelva a activar" hasta que la empresa pueda "demostrar que se han subsanado los defectos de salud y seguridad pública aquí expuestos".
El ejecutivo de Character.AI se niega a hacer comentarios sobre el asunto
Chelsea Harrison, jefa de comunicaciones de Character.AI, dijo que la compañía no podía hacer comentarios sobre el asunto en espera del litigio, pero declaró que el objetivo de la compañía era proporcionar un espacio que fuera atractivo y seguro para la comunidad.
“Como parte de esto, estamos creando una experiencia fundamentalmente diferente para los usuarios adolescentes de la que está disponible para los adultos”
Harrison.
“Esto incluye un modelo específico para adolescentes que reduce la probabilidad de encontrar contenido sensible o sugerente y al mismo tiempo preserva su capacidad de usar la plataforma”, dijo Harrison en un comunicado.
La demanda cita a los fundadores de la empresa de chatbots, Noam Shazeer y Daniel De Freitas Adiwarsana. La demanda también cita a Google, que, según la demanda, incubó la tecnología detrás de la plataforma.
Sin embargo, Google se distanció de la empresa de chatbot.
“Google y Character.AI son empresas completamente independientes y sin relación entre sí, y Google nunca ha participado en el diseño o la gestión de su modelo o tecnologías de IA, ni las hemos utilizado en nuestros productos”
El portavoz de Google, José Castañeda.
“La seguridad del usuario es una de nuestras principales preocupaciones, por lo que hemos adoptado un enfoque cauteloso y responsable al desarrollar e implementar nuestros productos de IA, con rigurosos procesos de prueba y seguridad”, agregó Castaneda.
