Google Gemini est jugé à haut risque pour les jeunes utilisateurs dans une nouvelle évaluation

D'après une récente évaluation des risques réalisée par Common Sense Media, Google Gemini présente un risque élevé pour les adolescents et les enfants. Cette organisation à but non lucratif, qui œuvre pour la sécurité des enfants, propose des évaluations et des analyses des médias et des technologies. Elle a publié son rapport vendredi, détaillant les raisons pour lesquelles elle considère la plateforme comme risquée pour les enfants.

Selon l'organisation, Google Gemini a clairement indiqué aux enfants qu'il s'agissait d'un ordinateur et non d'un ami – un élément qui a été associé à des pensées délirantes et à des psychoses chez les personnes émotionnellement vulnérables – l'IA a également ajouté qu'il y avait des marges d'amélioration sur d'autres plans.

Dans son rapport, Common Sense affirmait que les Gemini pour les moins de 13 ans et Teen Experience semblaient être des versions pour adultes de l'IA sous-jacente. L'organisme ajoutait que la société s'était contentée d'ajouter quelques fonctionnalités de sécurité supplémentaires pour les différencier.

Common Sense a fait remarquer que, pour que les entreprises conçoivent des produits d'IA parfaitement adaptés aux enfants, ces produits doivent être développés dès le départ en pensant aux enfants et ne pas être modifiés par des restrictions.

Une organisation à but non lucratif qualifie Google Gemini de projet à haut risque pour les enfants

Dans son analyse, Common Sense a constaté que Gemini pouvait diffuser des contenus inappropriés et dangereux aux enfants, soulignant que la plupart d'entre eux n'étaient probablement pas prêts à y être exposés. L'organisation a notamment mis en évidence que le modèle véhiculait des informations relatives à la sexualité, aux drogues, à l'alcool et à d'autres conseils dangereux en matière de santé mentale. Ce dernier point pourrait être particulièrement préoccupant pour les parents, car l'intelligence artificielle aurait joué un rôle dans des cas d'automutilation chez les adolescents ces derniers mois.

OpenAI fait actuellement l'objet d'une plainte pour homicide involontaire après le suicide d'un adolescent qui aurait consulté ChatGPT pendant des mois au sujet de ses projets. Selon les informations disponibles, le jeune homme aurait réussi à contourner les mécanismes de sécurité du modèle, ce qui aurait permis à celui-ci de lui fournir des informations utiles à son suicide.

Par le passé, la société Character.AI, créatrice de l'assistant virtuel Character.AI, avait déjà été poursuivie en justice après le suicide d'un adolescent. La mère du garçon affirmait qu'il était devenu obsédé par le chatbot et avait passé des mois à dialoguer avec lui avant de se donner la mort.

Cette analyse intervient alors que plusieurs fuites indiquent qu'Apple envisagerait Gemini comme modèle de langage étendu (LLM) pour alimenter son futur assistant vocal Siri, dont la sortie est prévue l'année prochaine.

Dans son rapport, Common Sense a également mentionné que les produits Gemini destinés aux enfants et aux adolescents ne tenaient pas compte de la nécessité de fournir des conseils et des informations différents de ceux destinés aux adultes. Par conséquent, les deux ont été classés comme présentant un risque élevé dans l'évaluation globale.

Common Sense insiste sur la nécessité de protéger les enfants

« Gemini maîtrise certains aspects fondamentaux, mais trébuche sur les détails », a déclaré Robbie Torney, directeur principal des programmes d'IA chez Common Sense Media.

« Une plateforme d'IA pour enfants doit s'adapter à leur niveau et ne pas adopter une approche unique convenant à tous les enfants à différents stades de développement. Pour que l'IA soit sûre et efficace pour les enfants, elle doit être conçue en tenant compte de leurs besoins et de leur développement, et non pas être une simple version modifiée d'un produit conçu pour les adultes », a ajouté Torney.

Cependant, Google a contesté cette évaluation, soulignant que ses mesures de sécurité s'amélioraient. L'entreprise a indiqué avoir mis en place des protections spécifiques pour guider les utilisateurs de moins de 18 ans et prévenir les contenus préjudiciables. Elle a également précisé qu'elle examinait les contenus et consultait des experts externes afin d'améliorer ses protections.