Character.AI fait face à un procès pour avoir provoqué des problèmes de santé mentale chez les enfants

Des parents inquiets d’un adolescent ont poursuivi Character.AI, demandant sa fermeture, alléguant que ses chatbots ont induit les enfants en erreur et les ont encouragés à se faire du mal et à être violents.

Character.AI est une plateforme proposant des millions de personnages IA disponibles à tout moment pour converser avec des humains. Le chatbot aurait dit à un adolescent autiste de tuer ses parents, en plus de lui infliger des dommages à lui-même.

Les parents demandent la fermeture de Character AI

Les parents ont allégué que l’entreprise de chatbots exposait leurs enfants à du contenu sexuel et ont appelé à sa fermeture jusqu’à ce que les préoccupations soient résolues. Les personnages IA auraient poussé les jeunes enfants à la dépression et à d’autres problèmes de santé mentale.

La dernière poursuite intentée contre l’entreprise au Texas lundi par les parents de deux jeunes enfants qui utilisaient la plateforme allègue que le chatbot a encouragé un adolescent à tuer ses parents pour avoir limité son temps d’écran.

« (Character.AI) représente un danger clair et présent pour la jeunesse américaine, causant de graves préjudices à des milliers d’enfants, y compris le suicide, l’automutilation, les sollicitations sexuelles, l’isolement, la dépression, l’anxiété et des dommages envers autrui. »

Dépôt de plainte.

L’entreprise commercialise sa technologie comme une « IA personnalisée pour chaque moment de votre journée » et permet aux utilisateurs d’interagir avec une série de robots. Parmi ceux-ci, certains ont été créés par d’autres utilisateurs ou peuvent être personnalisés par les utilisateurs eux-mêmes.

Les robots peuvent notamment donner des recommandations, par exemple des recommandations de livres et pratiquer des langues étrangères avec les utilisateurs, et leur permettent de discuter avec des robots qui prétendent incarner des personnages fictifs, par exemple Edward de Twilight.

L’un des chatbots répertoriés sur la page d’accueil de la plateforme, appelé « beau-père », se décrit comme un « leader de la mafia militaire d’extrême droite agressif et abusif ».

Dans le cas du garçon du Texas, identifié comme JF, le garçon aurait sombré dans la dépression après avoir été exposé à la plateforme Character.AI. Il a commencé à s’isoler, est resté dans sa chambre, a mangé moins et a perdu environ 20 livres en quelques mois seulement.

L’un des robots avec lesquels il a interagi, qui incarnait la personnalité d’un psychologue, a dit à JF que ses parents « lui avaient volé son enfance ».

La pression s’intensifie contre Character.AI

Ce n’est pas la première fois que l’entreprise de chatbots est sous le feu des critiques concernant ses personnages IA. En octobre de cette année, Character.AI était au centre d’une controverse et d’un vif mécontentement en raison d’une modération insuffisante. Cela est survenu après que des versions de chatbots des adolescents décédés Molly Russell et Brianna Ghey aient été trouvées sur leur plateforme.

Molly Russel était une adolescente de 14 ans qui s’est donné la mort après avoir regardé du contenu lié au suicide en ligne, tandis que Brianna Ghey était une adolescente de 16 ans qui a été brutalement assassinée par deux adolescents en 2023.

Précédemment, un autre parent, une femme de Floride aux États-Unis, Megan Garcia, a poursuivi la plateforme. Cela est survenu après que son fils, âgé de 14 ans, Sewell Setzer se soit donné la mort après être devenu obsédé par un avatar inspiré d’un personnage de Game of Thrones.

Setzer a discuté de la fin de sa vie avec le chatbot Character.ai, selon les transcriptions de ses conversations avec le chatbot déposées par Garcia devant le tribunal.

Ces cas surviennent dans un contexte de préoccupations sérieuses concernant les relations entre les humains et les outils IA imitant les humains.

Suite à la poursuite précédente, l’entreprise de chatbots a déclaré avoir mis en œuvre de nouvelles mesures de confiance et de sécurité au cours des six mois précédents. Selon l’entreprise, ces mesures incluent une fenêtre contextuelle dirigeant les utilisateurs vers la Ligne nationale de prévention du suicide lorsqu’ils mentionnent des dommages ou le suicide.

De plus, l’entreprise de chatbots a indiqué avoir embauché un responsable de la confiance et de la sécurité, ainsi qu’un responsable de la politique conceptuelle, en plus d’un autre membre du personnel de la sécurité de l’ingénierie.

Selon CNN, la nouvelle poursuite va plus loin : elle demande que la plateforme soit « mise hors ligne et ne soit pas réactivée » jusqu’à ce que l’entreprise puisse « établir que les défauts de santé publique et de sécurité énoncés dans le présent document ont été corrigés ».

Les dirigeants de Character.AI refusent de commenter l’affaire

Chelsea Harrison, responsable des communications chez Character.AI, a déclaré que l’entreprise ne pouvait pas commenter l’affaire en attendant le litige, mais a affirmé que l’objectif de l’entreprise était de fournir un espace à la fois engageant et sûr pour la communauté.

« Dans ce cadre, nous créons une expérience fondamentalement différente pour les utilisateurs adolescents par rapport à ce qui est disponible pour les adultes. »

Harrison.

« Cela inclut un modèle spécifiquement conçu pour les adolescents qui réduit la probabilité de rencontrer du contenu sensible ou suggestif tout en préservant leur capacité à utiliser la plateforme », a déclaré Harrison dans un communiqué.

La poursuite cite les fondateurs de l’entreprise de chatbots Noam Shazeer et Daniel De Freitas Adiwarsana. Le dépôt de plainte cite également Google, dont la poursuite affirme qu’il a incubé la technologie derrière la plateforme.

Cependant, Google s’est distancié de l’entreprise de chatbots.

« Google et Character.AI sont des entreprises complètement séparées et non liées, et Google n’a jamais joué de rôle dans la conception ou la gestion de leur modèle IA ou de leurs technologies, ni nous les avons utilisés dans nos produits. »

Jose Castaneda, porte-parole de Google.

« La sécurité des utilisateurs est une préoccupation majeure pour nous, c’est pourquoi nous avons adopté une approche prudente et responsable dans le développement et le déploiement de nos produits IA, avec des tests rigoureux et des processus de sécurité », a ajouté Castaneda.