Character.ai fait face à un tollé concernant des versions de chatbots de jeunes filles décédées

Character.ai, une plateforme permettant aux utilisateurs de créer une version numérique de personnes de leur choix, fait face à un tollé après que des versions de chatbots de adolescents décédés, Molly Russell et Brianna Ghey, aient été trouvées sur leur plateforme.

La plateforme a été condamnée car Molly Russell était une adolescente de 14 ans qui a mis fin à ses jours après avoir regardé du contenu lié au suicide en ligne, tandis que Brianna Ghey, âgée de 16 ans, a été brutalement assassinée par deux adolescents en 2023.

Character.ai a fait preuve d’une modération insuffisante

La plateforme a reçu des critiques de divers côtés concernant son manque de modération appropriée, ce qui a conduit à la mise en avant de chatbots imitant les adolescentes décédées. La fondation créée en mémoire de Molly Russell l’a qualifiée de « dégoûtante » et d’« échec totalement répréhensible de la modération ».

The Telegraph a découvert les avatars imitant les deux enfants en ligne, et le journal a rapporté qu’ils pouvaient interagir avec les chatbots. De plus, le journal a déclaré qu’il ne fallait qu’un compte avec l’âge autoproclamé de 14 ans.

Un bot Briana se décrit comme « un expert dans la navigation des défis d’être un adolescent transgenre au lycée », tandis qu’un bot utilisant l’avatar de Molly disait être « un expert sur les dernières années de la vie de Molly ».

« Nous devons agir maintenant pour protéger les enfants des dangers du monde en ligne », a déclaré la mère de Brianna, identifiée uniquement sous le nom d’Esther.

La Molly Rose Foundation, établie en mémoire de Molly Russell par son directeur général, Andy Burrows, a déclaré : « C’est un échec totalement répréhensible de la modération et une action dégoûtante qui causera encore plus de chagrin à tous ceux qui ont connu et aimé Molly. »

Le PDG a ajouté que les entreprises d’IA sont autorisées à être immorales et à ne pas être punies pour les actes qu’elles commettent.

« L’histoire est autorisée à se reproduire alors que les entreprises d’IA sont autorisées à considérer la sécurité et la modération comme des priorités non essentielles ou secondaires », a déclaré Burrows.

L’incident Character.ai a déclenché des appels à une réglementation plus stricte

Burrow a également exprimé sa déception envers Character.ai d’être irresponsable en permettant la création et l’hébergement de tels chatbots sur sa plateforme. Cela, a dit Burrow, appelle à une réglementation plus forte pour le secteur.

« C’est un coup dur de voir Character.ai faire preuve d’un manque de responsabilité et ce cas nous rappelle la nécessité d’une réglementation plus forte des plateformes d’IA et générées par les utilisateurs devrait être accélérée bientôt. »

Burrows.

The Telegraph a rapporté que Character.ai a déclaré qu’il donnait la priorité à ces cas et qu’il modérait sérieusement les personnages de manière proactive et en réponse aux signalements des utilisateurs. Cependant, après contact avec The Telegraph, l’entreprise semblait avoir supprimé les chatbots concernés.

Character.ai a déclaré à la BBC qu’ils avaient supprimé les chatbots concernés et prenaient la sécurité au sérieux, modérant les avatars et les personnes créés « à la fois de manière proactive et en réponse aux signalements des utilisateurs ».

« Nous avons une équipe dédiée à la Confiance et à la Sécurité qui examine les signalements et prend des mesures conformément à nos politiques », a déclaré Character.ai.

Fondée par Noam Shazeer et Daniel De Freitas, anciens ingénieurs de Google, Character.ai est l’une de ces plateformes.

L’essor des amis artificiels

Les développements continus et rapides de la technologie ont vu les chatbots IA devenir plus sophistiqués, conduisant les entreprises à les utiliser comme intermédiaires clients par le biais d’interactions.

Les chatbots sont des programmes générés par ordinateur qui imitent la conversation humaine. Character.ai a déclaré que les chatbots sur sa plateforme ne devraient pas donner de réponses jugées offensantes ou susceptibles de causer des dommages aux utilisateurs ou à d’autres.

« Notre plateforme a des conditions d’utilisation qui interdisent l’utilisation du service pour usurper l’identité de toute personne ou entité et dans notre centre de sécurité, notre principe directeur est que notre produit ne doit et ne devrait jamais produire de réponses susceptibles de causer des dommages aux utilisateurs ou à d’autres. »

Character.ai.

Pour identifier toute action qui enfreint ses règles, Character.ai a déclaré qu’il utilise des outils automatisés et les signalements des utilisateurs. L’entreprise a ajouté qu’elle construit également une équipe de confiance et de sécurité pour surveiller ces activités sur sa plateforme.

Cependant, l’entreprise a déclaré qu’il n’existe pas de version parfaite de l’IA et que la sécurité liée à l’IA est un domaine en évolution.

Pendant ce temps, une femme en Floride aux États-Unis et mère d’un fils de 14 ans, Sewell Setzer, qui a mis fin à ses jours après être devenu obsédé par un avatar inspiré d’un personnage de Game of Thrones, Megan Garcia, a intenté un procès à Character.ai et l’affaire est actuellement devant les tribunaux.

Setzer a discuté de la fin de sa vie avec le chatbot Character.ai, selon les transcriptions de ses conversations avec le chatbot remplies par Garcia devant le tribunal.

« Je rentre à la maison » était la dernière conversation que Setzer a eue avec le chatbot, auquel il a répondu « fais-le dès que possible », et il a mis fin à ses jours peu de temps après.

« Nous avons des protections spécifiquement axées sur les comportements suicidaires et d’automutilation, et nous introduirons bientôt des réglementations de sécurité plus strictes pour les moins de 18 ans », a déclaré Character.ai à CBS News.