La Chine dit non aux chatbots IA de suicide et de jeu

Les régulateurs en Chine prévoient un durcissement contre les chatbots IA qui poussent les gens à des émotions suicidaires, des activités d'automutilation et au jeu. Ce développement intervient alors que deux entreprises de chatbots leaders en Chine ont récemment déposé des demandes d'IPO à Hong Kong.

Des rapports suggèrent que les nouvelles mesures proposées, annoncées samedi, s'appliqueront aux produits ou services d'IA offerts au public en Chine qui simulent une personnalité humaine et engagent les utilisateurs émotionnellement via du texte, des images, de l'audio ou de la vidéo.

Les propositions de la Chine devraient protéger les mineurs de l'automutilation

Selon le projet de règles publié samedi par l'Administration de l'espace cybernétique, celles-ci ciblent ce qu'elle a appelé « les services d'IA interactifs de type humain », selon la traduction de CNBC du document en langue chinoise.

Le projet de règles contient plusieurs propositions. Par exemple, les chatbots IA ne peuvent pas générer de contenu qui encourage l'automutilation ou le suicide, ni s'engager dans des violences verbales ou de la manipulation émotionnelle qui pourrait nuire à la santé mentale des utilisateurs.

De plus, les chatbots IA ne sont pas censés créer de contenu obscène, violent ou lié au jeu. Selon le projet de règles, si un utilisateur propose de se suicider, l'entreprise d'IA est censée avoir un humain qui reprend la conversation et contacte immédiatement le tuteur de l'utilisateur ou une personne désignée.

Le projet de règles propose également que les mineurs aient le consentement d'un tuteur pour l'utilisation de compagnons émotionnels, avec des limites de temps d'utilisation. Selon les nouvelles règles, les plateformes IA devraient décider si un utilisateur est un adulte ou un mineur même s'il ne divulgue pas son âge. En cas de doute, les plateformes doivent appliquer les paramètres pour les mineurs, tout en permettant des appels.

Une fois finalisées, ces règles marqueraient la première tentative au monde de réglementer l'IA avec des caractéristiques humaines ou anthropomorphiques, selon le professeur Winston Ma de la faculté de droit de l'Université de New York. Ces développements interviennent alors que les entreprises ont rapidement développé des compagnons IA et des célébrités numériques.

En comparant cela avec la réglementation chinoise de l'IA générative de 2023, Ma a estimé que cette version « met en évidence un bond de la sécurité du contenu vers l'émotionnel. »

Ces propositions arrivent alors que deux startups chinoises de chatbots IA, Z.ai et Minimax, ont déposé cette mois des demandes d'introduction en bourse (IPO) à Hong Kong. Minimax est surtout connu internationalement pour son application Talkie AI qui permet aux utilisateurs de discuter avec des personnages virtuels.

Selon CNBC, l'application et sa version chinoise domestique, connue sous le nom de Xingye, ont représenté plus d'un tiers des revenus de l'entreprise au cours des trois premiers trimestres de l'année, avec une moyenne de plus de 20 millions d'utilisateurs actifs mensuels pendant cette période.

En ce qui concerne Z.ai, également connu sous le nom de Zhipu, il a déposé sous le nom de Knowledge Atlas Technology, mais n'a pas divulgué son nombre d'utilisateurs actifs mensuels. Cependant, l'entreprise d'IA a révélé que sa technologie est présente sur environ 80 millions d'appareils, y compris les smartphones, les ordinateurs personnels et les véhicules intelligents.

Comme précédemment rapporté par Cryptopolitan, les deux startups d'IA, toutes deux soutenues par Alibaba et Tencent, visent à entrer en bourse début janvier prochain sur la Bourse de Hong Kong.