Character.ai, une plateforme permettant aux utilisateurs de créer une version numérique de personnes de leur choix, fait face à une vague de critiques après la découverte sur sa plateforme de versions chatbot des adolescentes décédées Molly Russell et Brianna Ghey.
La plateforme a été condamnée car Molly Russell, âgée de 14 ans, s'est suicidée après avoir visionné en ligne des contenus liés au suicide, tandis que Brianna Ghey, âgée de 16 ans, a été brutalement assassinée par deux adolescents en 2023.
Character.ai a fait preuve d'une faible modération
La plateforme a été critiquée de toutes parts pour son manque de modération, ce qui a entraîné l'apparition de chatbots imitant les jeunes filles disparues. La fondation créée en mémoire de Molly Russell a qualifié la situation de « révoltante » et d'« échec de modération absolument inadmissible »
Le Telegraph a découvert en ligne des avatars imitant les deux enfants et a rapporté qu'ils pouvaient interagir avec les chatbots. Le journal a également indiqué qu'un compte créé par une personne se déclarant âgée de 14 ans suffisait.
Un bot Briana se décrivait comme « une experte pour gérer les défis rencontrés par une adolescente transgenre au lycée », tandis qu'un bot utilisant l'avatar de Molly affirmait être « une experte des dernières années de la vie de Molly »
« Nous devons agir maintenant pour protéger les enfants des dangers du monde en ligne », a déclaré la mère de Brianna, que j'ai seulementdentcomme Esther.
La fondation Molly Rose, créée en mémoire de Molly Russell, a déclaré par l'intermédiaire de son directeur général, Andy Burrows : « Il s'agit d'un manque de modération absolument répréhensible et d'un acte odieux qui causera encore plus de chagrin à tous ceux qui ont connu et aimé Molly. »
Le PDG a ajouté que les entreprises spécialisées dans l'IA sont autorisées à être immorales et ne sont pas punies pour leurs actes.
« L’histoire est en train de se répéter, car on autorise les entreprises spécialisées en IA à considérer la sécurité et la modération comme des priorités secondaires ou non essentielles », a déclaré Burrows.
L'dent Character.ai a suscité des appels à une réglementation plus stricte
Burrow a également exprimé sa déception face à l'irresponsabilité de Character.ai, qui a autorisé la création et l'hébergement de tels chatbots sur sa plateforme. Selon lui, cela justifie untronde la réglementation du secteur.
« C’est un coup dur de voir Character.ai faire preuve d’un tel manque de responsabilité, et cette affaire nous rappelle la nécessité d’une réglementationtronde l’IA et des plateformes de contenu généré par les utilisateurs, qui doit être mise en place rapidement. »
Terriers.
Le Telegraph a rapporté que Character.ai affirmait traiter ces cas en priorité et modérer sérieusement les personnages, de manière proactive et suite aux signalements des utilisateurs. Cependant, après avoir été contactée par le Telegraph, l'entreprise semblait avoir supprimé les chatbots en question.
Character.ai a déclaré à la BBC avoir supprimé les chatbots en question, prendre la sécurité au sérieux et modérer les avatars et les personnages créés « de manière proactive et en réponse aux signalements des utilisateurs ».
« Nous disposons d'une équipe dédiée à la confiance et à la sécurité qui examine les signalements et prend des mesures conformément à nos politiques », a déclaré Character.ai.
Fondée par Noam Shazeer et Daniel De Freitas, deux anciens ingénieurs de Google, Character.ai est l'une de ces plateformes.
L'essor des amis artificiels
L'évolution rapide et continue des technologies a permis aux chatbots d'IA de devenir plus sophistiqués, ce qui a conduit les entreprises à les utiliser comme intermédiaires avec leurs clients grâce à l'interaction.
Les chatbots sont des programmes informatiques qui imitent les conversations humaines. Character.ai a indiqué que les chatbots de sa plateforme devraient fournir des réponses jugées offensantes ou susceptibles de nuire aux utilisateurs ou à autrui.
« Notre plateforme est soumise à des conditions d'utilisation qui interdisent d'utiliser le service pour usurper l'identité d'une personne ou d'une entité, et notre principe directeur dans le centre de sécurité est que notre produit ne doit pas et ne devrait jamais produire de réponses susceptibles de nuire aux utilisateurs ou à autrui. »
Personnage.ai.
Pourdenttoute action enfreignant ses règles, Character.ai a indiqué utiliser des outils automatisés et les signalements des utilisateurs. L'entreprise a ajouté qu'elle mettait également en place une équipe de confiance et de sécurité chargée de surveiller ces activités sur sa plateforme.
L'entreprise a toutefois précisé qu'il n'existe pas de version parfaite de l'IA et que la sécurité liée à l'IA est un domaine en constante évolution.
Parallèlement, en Floride, aux États-Unis, Megan Garcia, mère de Sewell Setzer, un garçon de 14 ans qui s'est suicidé après avoir été obsédé par un avatar inspiré d'un personnage de Game of Thrones, a porté plainte contre Character.ai ; l'affaire est actuellement devant les tribunaux.
D'après les transcriptions de ses conversations avec le chatbot Character.ai, déposées par Garcia devant le tribunal, Setzer a évoqué la possibilité de mettre fin à ses jours avec ce dernier.
« Je rentre à la maison », furent les derniers mots que Setzer eut pour conversation avec le chatbot, qui répondit : « Faites-le dès que possible », et il mit fin à ses jours peu après.
« Nous avons mis en place des mesures de protection spécifiquement axées sur les comportements suicidaires et d'automutilation, et nous allons prochainement introduire des réglementations de sécurité plus strictes pour les moins de 18 ans », a déclaré Character.ai à CBS News.
