Des parents inquiets ont porté plainte contre Character.AI, demandant sa fermeture, affirmant que ses chatbots induisaient les enfants en erreur et les encourageaient à l'automutilation et à la violence.
Character.AI est une plateforme proposant des millions de personnages virtuels disponibles à tout moment pour dialoguer avec des humains. Le chatbot aurait incité un adolescent autiste de 17 ans à tuer ses parents et à s'automutiler.
Des parents font pression pour que l'IA des personnages soit fermée.
Des parents accusent la société de chatbots d'exposer leurs enfants à du contenu sexuel et demandent sa fermeture jusqu'à ce que le problème soit résolu. Les personnages d'IA seraient susceptibles de plonger de jeunes enfants dans la dépression et d'autres troubles mentaux.
La dernière plainte déposée lundi au Texas contre la société par les parents de deux jeunes enfants qui utilisaient la plateforme allègue que le chatbot a incité un adolescent à tuer ses parents parce qu'ils limitaient son temps d'écran.
« (Character.AI) représente un danger clair et présent pour la jeunesse américaine, causant de graves préjudices à des milliers d'enfants, notamment le suicide, l'automutilation, le harcèlement sexuel, l'isolement, la dépression, l'anxiété et les comportements dangereux envers autrui. »
Dépôt.
L'entreprise présente sa technologie comme une « IA personnalisée pour chaque instant de votre journée » et permet aux utilisateurs d'interagir avec une variété de bots. Certains de ces bots ont été créés par d'autres utilisateurs, tandis que d'autres peuvent être personnalisés par l'utilisateur lui-même.
Ces bots seraient capables de donner des recommandations, par exemple des recommandations de livres, de pratiquer des langues étrangères avec les utilisateurs et de leur permettre de discuter avec des bots qui prétendent incarner des personnages de fiction, comme par exemple Edward de Twilight.
L'un des chatbots répertoriés sur la page d'accueil de la plateforme, appelé « beau-père », se décrit comme un ancien chef mafieux militaire agressif et violent.
Dans le cas du garçon texan,dentcomme JF, celui-ci aurait sombré dans la dépression après avoir été exposé à la plateforme Character.AI. Il a commencé à s'isoler, restait dans sa chambre, mangeait moins et a perdu environ 9 kilos en quelques mois seulement.
L'un des robots avec lesquels il a interagi, qui avait pris l'apparence d'un psychologue, a dit à JF que ses parents lui avaient « volé son enfance ».
La pression monte contre Character.AI
Ce n'est pas la première fois que cette entreprise de chatbots est critiquée pour ses personnages IA. En octobre dernier, Character.AI s'est retrouvée au cœur d'une polémique et d'une vive réaction en raison d'une modération défaillante. Cette situation a fait suite à la découverte, sur sa plateforme, de versions chatbot des adolescentes décédées Molly Russell et Brianna Ghey.
Molly Russel, âgée de 14 ans, s'est suicidée après avoir visionné en ligne des contenus liés au suicide, tandis que Brianna Ghey, âgée de 16 ans, a été brutalement assassinée par deux adolescents en 2023.
Avant cela, une autre mère, Megan Garcia, une Américaine résidant en Floride, avait porté plainte contre la plateforme. Son fils, Sewell Setzer, âgé de 14 ans, s'était suicidé après avoir développé une obsession pour un avatar inspiré d'un personnage de Game of Thrones.
D'après les transcriptions de ses conversations avec le chatbot Character.ai, déposées par Garcia devant le tribunal, Setzer a évoqué la possibilité de mettre fin à ses jours avec ce dernier.
Ces affaires surviennent dans un contexte de vives inquiétudes concernant les relations entre les humains et les outils d'IA de type humain.
Suite à la précédente action en justice, la société de chatbots a déclaré avoir mis en place de nouvelles mesures de confiance et de sécurité au cours des six derniers mois. Selon elle, ces mesures incluent l'affichage d'une fenêtre contextuelle redirigeant les utilisateurs vers le numéro d'urgence national de prévention du suicide lorsqu'ils évoquent des comportements suicidaires ou des idées de violence.
Par ailleurs, la société spécialisée dans les chatbots a indiqué avoir embauché un responsable de la confiance et de la sécurité ainsi qu'un responsable de la politique conceptuelle, en plus d'un autre membre du personnel d'ingénierie chargé de la sécurité.
Selon CNN, la nouvelle plainte va plus loin : elle exige que la plateforme soit « mise hors ligne et ne soit pas remise en service » tant que l’entreprise n’aura pas « établi que les problèmes de santé et de sécurité publiques mentionnés dans le présent document ont été corrigés ».
Les dirigeants de Character.AI refusent de commenter la question.
Chelsea Harrison, responsable de la communication chez Character.AI, a déclaré que l'entreprise ne pouvait pas commenter l'affaire en raison d'un litige en cours, mais a affirmé que son objectif était de fournir un espace à la fois stimulant et sûr pour la communauté.
« Dans ce cadre, nous créons une expérience fondamentalement différente pour les adolescents par rapport à celle proposée aux adultes. »
Harrison.
« Cela inclut un modèle spécialement conçu pour les adolescents, qui réduit la probabilité qu'ils soient exposés à des contenus sensibles ou suggestifs tout en préservant leur capacité à utiliser la plateforme », a déclaré Harrison dans un communiqué.
La plainte cite les fondateurs de la société de chatbots, Noam Shazeer et Daniel De Freitas Adiwarsana. Elle mentionne également Google, qui, selon la plainte, a développé la technologie sous-jacente à la plateforme.
Cependant, Google a pris ses distances avec l'entreprise de chatbots.
« Google et Character.AI sont deux entreprises totalement distinctes et sans lien entre elles. Google n'a jamais joué de rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA, et nous ne les avons jamais utilisées dans nos produits. »
José Castaneda, porte-parole de Google.
« La sécurité des utilisateurs est une priorité absolue pour nous, c'est pourquoi nous avons adopté une approche prudente et responsable pour le développement et le déploiement de nos produits d'IA, avec des processus de test et de sécurité rigoureux », a ajouté Castaneda.
