Character.ai, una plataforma que permite a los usuarios crear una versión digital de las personas de su elección, enfrenta una reacción violenta luego de que se encontraran versiones de chatbot de las adolescentes fallecidas Molly Russell y Brianna Ghey en su plataforma.
La plataforma ha sido condenada porque Molly Russel, de 14 años, se quitó la vida después de ver contenido relacionado con el suicidio en línea, mientras que Brianna Ghey, de 16 años, fue brutalmente asesinada por dos adolescentes en 2023.
Character.ai mostró una moderación deficiente
La plataforma recibió críticas de diversos sectores por su falta de moderación, lo que ha dado lugar a la aparición de chatbots que imitan a las adolescentes fallecidas. La fundación creada en memoria de Molly Russell lo describió como "repugnante" y un "fracaso de moderación absolutamente reprensible"
The Telegraph descubrió en línea los avatares que imitaban a los dos niños, y el periódico informó que pudieron interactuar con los chatbots. Además, el periódico indicó que solo necesitaba una cuenta con la edad declarada de 14 años.
Un bot de Briana se describió a sí mismo como "un experto en navegar los desafíos de ser un adolescente transgénero en la escuela secundaria", mientras que un bot que usaba el avatar de Molly dijo que era un "experto en los últimos años de la vida de Molly"
“Necesitamos actuar ahora para proteger a los niños de los peligros del mundo en línea”, dijo la madre de Brianna,dentsólo como Esther.
La Fundación Molly Rose, creada en memoria de Molly Russell a través de su director ejecutivo, Andy Burrows, dijo: “Este es un fracaso de moderación absolutamente reprensible y una acción repugnante que causará aún más dolor a todos los que conocieron y amaron a Molly”
El CEO agregó que a las empresas de IA se les permite ser inmorales y no se las castiga por las acciones que realizan.
“Se está permitiendo que la historia vuelva a ocurrir a medida que se permite que las empresas de IA consideren la seguridad y la moderación como prioridades no fundamentales o no primarias”, dijo Burrows.
Eldent de Character.ai ha provocado peticiones de más regulación
Burrow expresó además su decepción con Character.ai por su irresponsabilidad al permitir la creación y el alojamiento de estos chatbots en su plataforma. Esto, afirmó Burrow, exige una regulacióntrondel sector.
“Es un golpe bajo ver a Character.ai demostrar una falta de responsabilidad y este caso nos recuerda la necesidad de que se agilicen lo antes posible las regulacionestrontanto para la IA como para las plataformas generadas por los usuarios”
Madrigueras.
The Telegraph informó que Character.ai afirmó que prioriza el tratamiento de estos casos y modera seriamente a los personajes de forma proactiva y en respuesta a los reportes de los usuarios. Sin embargo, tras contactar con The Telegraph, la compañía aparentemente eliminó los chatbots de los personajes en cuestión.
Character.ai le dijo a la BBC que habían eliminado los chatbots en cuestión y que se tomaban la seguridad en serio y moderaban los avatares y las personas creadas "tanto de manera proactiva como en respuesta a los informes de los usuarios".
“Contamos con un equipo dedicado a Confianza y Seguridad que revisa los informes y toma medidas de acuerdo con nuestras políticas”, afirmó Character.ai.
Fundada por Noam Shazeer y Daniel De Freitas, ex ingenieros de Google, Character.ai es una de esas plataformas.
El auge de los amigos artificiales
Los continuos y rápidos avances en la tecnología han hecho que los chatbots de IA se vuelvan más sofisticados, lo que lleva a las empresas a utilizarlos para ser enlaces con los clientes a través de la interacción.
Los chatbots son programas generados por computadora que imitan la conversación humana. Character.ai afirmó que los chatbots de su plataforma deberían dar respuestas consideradas ofensivas o que puedan causar daño a los usuarios u otras personas.
“Nuestra plataforma tiene términos de servicio que prohíben usar el servicio para suplantar a cualquier persona o entidad y, en el centro de seguridad, nuestro principio rector es que nuestro producto no debe, ni nunca debe, producir respuestas que puedan causar daño a los usuarios u otras personas”
Personaje.ai.
Paradentcualquier acción que infrinja sus normas, Character.ai afirma utilizar herramientas automatizadas e informes de usuarios. La compañía añadió que también está creando un equipo de confianza y seguridad para supervisar dichas actividades en su plataforma.
Sin embargo, la compañía dijo que no existe una versión perfecta de IA y que la seguridad relacionada con la IA es un espacio en evolución.
Mientras tanto, una mujer de Florida, Estados Unidos, y madre de un hijo de 14 años, Sewell Setzer, que se quitó la vida después de estar obsesionado con un avatar inspirado en un personaje de Game of Thrones, Megan García demandó a Character.ai y el caso está actualmente ante los tribunales.
Setzer discutió terminar con su vida con el chatbot Character.ai, según las transcripciones de sus chats con el chatbot presentadas por García en el tribunal de justicia.
“Vuelvo a casa” fue la última conversación que tuvo Setzer con el chatbot, a la que este le respondió: “hazlo cuanto antes”, y poco después se quitó la vida.
“Contamos con protecciones enfocadas específicamente en conductas suicidas y autolesivas, y próximamente introduciremos normas de seguridad más estrictas para menores de 18 años”, dijo Character.ai a CBS News.
