Character.ai enfrenta críticas por versiones de chatbots de chicas adolescentes fallecidas

Character.ai, una plataforma que permite a los usuarios crear una versión digital de personas de su elección, enfrenta críticas después de que se hayan encontrado versiones de chatbots de adolescentes fallecidas, Molly Russell y Brianna Ghey, en su plataforma.

La plataforma ha sido condenada porque Molly Russel era una chica de 14 años que puso fin a su vida después de ver contenido relacionado con el suicidio en línea, mientras que Brianna Ghey, de 16 años, fue brutalmente asesinada por dos adolescentes en 2023.

Character.ai exhibió una mala moderación

La plataforma recibió críticas de varios sectores por su falta de una moderación adecuada, lo que ha resultado en la aparición de chatbots que imitan a las chicas adolescentes fallecidas. La fundación creada en memoria de Molly Russell lo describió como

The Telegraph descubrió los avatares que imitaban a los dos niños en línea, y el periódico informó que pudieron interactuar con los chatbots. Además, el periódico dijo que solo necesitaba una cuenta con la edad autodeclarada de 14 años.

Un bot de Briana se describió a sí mismo como

«Debemos actuar ahora para proteger a los niños de los peligros del mundo en línea», dijo la madre de Brianna, identificada solo como Esther.

Molly Rose Foundation, que fue establecida en memoria de Molly Russell a través de su director ejecutivo, Andy Burrows, dijo:

El CEO añadió que se está permitiendo que las empresas de IA sean inmorales y no sean castigadas por los actos que cometen.

«Se está permitiendo que la historia se repita, ya que se permite a las empresas de IA considerar la seguridad y la moderación como prioridades no centrales o secundarias», afirmó Burrows.

El incidente de Character.ai ha encendido las llamadas a una mayor regulación

Burrow expresó además su decepción por Character.ai por ser irresponsable al permitir la creación y alojamiento de dichos chatbots en su plataforma. Esto, dijo Burrow, exige una regulación más fuerte para el sector.

«Es un golpe duro ver que Character.ai muestra una falta de responsabilidad, y este caso nos recuerda la necesidad de que se agilicen las regulaciones más estrictas tanto para la IA como para las plataformas generadas por los usuarios».

Burrows.

The Telegraph informó que Character.ai dijo que da prioridad a estos casos y modera seriamente a los personajes de forma proactiva y en respuesta a los informes de los usuarios. Sin embargo, tras el contacto con The Telegraph, la empresa parecía haber eliminado los chatbots de personajes en cuestión.

Character.ai dijo a la BBC que habían eliminado los chatbots en cuestión y que tomaban la seguridad en serio y moderaban los avatares y personas creadas

«Contamos con un equipo dedicado de Confianza y Seguridad que revisa los informes y toma medidas de acuerdo con nuestras políticas», dijo Character.ai.

Fundada por Noam Shazeer y Daniel De Freitas, antiguos ingenieros de Google, Character.ai es una de esas plataformas.

El auge de los amigos artificiales

El desarrollo continuo y rápido de la tecnología ha visto cómo los chatbots de IA se vuelven más sofisticados, lo que lleva a las empresas a utilizarlos como enlace con los clientes a través de la interacción.

Los chatbots son programas generados por computadora que imitan la conversación humana. Character.ai dijo que los chatbots en su plataforma deberían dar respuestas que se consideren ofensivas o que probablemente causen daño a los usuarios o a otros.

«Nuestra plataforma tiene términos de servicio que prohíben utilizar el servicio para suplantar a cualquier persona o entidad, y en nuestro centro de seguridad, nuestro principio rector es que nuestro producto no debe y nunca debe producir respuestas que puedan causar daño a los usuarios o a otras personas».

Character.ai.

Para identificar cualquier acción que rompa sus reglas, Character.ai dijo que utiliza herramientas automatizadas e informes de usuarios. La empresa añadió que también está construyendo un equipo de confianza y seguridad para monitorear dichas actividades en su plataforma.

Sin embargo, la empresa dijo que no existe una versión perfecta de la IA y que la seguridad relacionada con la IA es un espacio en evolución.

Mientras tanto, una mujer en Florida, EE. UU., y madre de un hijo de 14 años, Sewell Setzer, que se suicidó después de obsesionarse con un avatar inspirado en un personaje de Game of Thrones, Megan Garcia, demandó a Character.ai y el caso está actualmente ante los tribunales.

Setzer discutió poner fin a su vida con el chatbot de Character.ai, según las transcripciones de sus chats con el chatbot presentadas por Garcia en el tribunal.

«Voy a casa» fue la última conversación que Setzer tuvo con el chatbot, el cual respondió: «hazlo lo antes posible», y poco después puso fin a su vida.

«Contamos con protecciones específicamente enfocadas en conductas suicidas y de autolesión, y pronto introduciremos regulaciones de seguridad más estrictas para menores de 18 años», declaró Character.ai a CBS News.