La Chine dit non aux chatbots IA pour le suicide et les jeux d'argent

Les autorités chinoises envisagent de sévir contre les chatbots dotés d'intelligence artificielle qui, selon elles, incitent les utilisateurs à des pensées suicidaires, à l'automutilation et aux jeux d'argent. Cette initiative intervient alors que deux entreprises chinoises de premier plan spécialisées dans les chatbots ont récemment déposé une demande d'introduction en bourse à Hong Kong.

Selon certaines informations, les mesures récemment proposées et annoncées samedi s'appliqueront aux produits ou services d'IA offerts au public en Chine qui simulent la personnalité humaine et engagent les utilisateurs émotionnellement par le biais de textes, d'images, d'audio ou de vidéo.

Les propositions de la Chine devraient protéger les mineurs contre l'automutilation

Selon le projet de règlement publié samedi par l'Administration du cyberespace, ces mesures visent ce qu'elle a qualifié de « services d'IA interactifs de type humain », selon la traduction du document en langue chinoise par CNBC

Le projet de règlement comporte plusieurs propositions. Par exemple, les chatbots dotés d'intelligence artificielle ne peuvent pas générer de contenu incitant à l'automutilation ou au suicide, ni se livrer à des violences verbales ou à des manipulations émotionnelles susceptibles de nuire à la santé mentale des utilisateurs.

De plus, les chatbots d'IA ne doivent pas créer de contenu obscène, violent ou lié aux jeux d'argent. Selon le projet de règlement, si un utilisateur évoque le suicide, la société d'IA doit désigner un humain pour prendre le relais et contacter immédiatement le tuteur légal de l'utilisateur ou une personne désignée.

Le projet de réglementation propose également que les mineurs obtiennent le consentement de leur tuteur légal pour l'utilisation de services de soutien émotionnel, avec des limites de temps. Selon ces nouvelles règles, les plateformes d'IA devront déterminer si un utilisateur est majeur ou mineur, même si celui-ci ne déclare pas son âge. En cas de doute, les plateformes devront appliquer les paramètres relatifs aux mineurs, tout en prévoyant une possibilité de recours.

Une fois finalisées, ces règles constitueraient la première tentative mondiale de réglementer une IA dotée de caractéristiques humaines ou anthropomorphes, selon Winston Ma, professeur à la faculté de droit de l'université de New York. Ces évolutions interviennent alors que les entreprises ont rapidement développé des compagnons virtuels et des célébrités numériques dotés d'IA.

En comparant cela à la réglementation chinoise de 2023 sur l'IA générative, Ma a estimé que cette version « met en évidence un passage de la sécurité du contenu à la sécurité émotionnelle »

Ces propositions interviennent alors que deux start-ups chinoises spécialisées dans les chatbots d'IA, Z.ai et Minimax, ont déposé ce mois-ci des demandes d'introduction en bourse à Hong Kong. Minimax est surtout connue à l'international pour son application Talkie AI, qui permet aux utilisateurs de dialoguer avec des personnages virtuels.

Selon CNBC, l'application et sa version chinoise, connue sous le nom de Xingye, ont représenté plus d'un tiers des revenus de l'entreprise au cours des trois premiers trimestres de l'année, avec une moyenne de plus de 20 millions d'utilisateurs actifs mensuels pendant cette période.

Quant à Z.ai, également connue sous le nom de Zhipu, elle a déposé sa demande sous le nom de Knowledge Atlas Technology, sans toutefois divulguer le nombre de ses utilisateurs actifs mensuels. L'entreprise spécialisée en intelligence artificielle a cependant révélé que sa technologie est présente sur environ 80 millions d'appareils, notamment des smartphones, des ordinateurs et des véhicules connectés.

Comme l'a précédemment rapporté Cryptopolitan, les deux startups spécialisées dans l'IA, toutes deux soutenues par Alibaba et Tencent, visent une introduction en bourse début janvier prochain à la Bourse de Hong Kong.