Le gouverneur de Californie Newsom signe la loi sur les sauvegardes des chatbots IA

Le gouverneur de Californie Gavin Newsom a signé un nouveau projet de loi lundi qui établit des sauvegardes claires pour les nouvelles technologies émergentes, telles que l'intelligence artificielle. Cette nouvelle législation vise à renforcer davantage les protections de l'État pour les enfants en ligne lors de l'utilisation de chatbots IA.

La législation inclut des sauvegardes sur les chatbots telles que la vérification de l'âge, des protocoles pour traiter les cas de suicide et d'automutilation, des avertissements concernant les chatbots de compagnons et les réseaux sociaux, ainsi que des sanctions strictes pour ceux qui tirent profit de deepfakes illégaux. Le gouverneur estime que cette initiative aidera à garantir que la sécurité des enfants reste au premier plan en Californie.

Newsom estime que les réseaux sociaux peuvent induire en erreur et mettre en danger les enfants

Newsom a noté que les technologies émergentes comme les chatbots et les réseaux sociaux peuvent inspirer, éduquer et connecter, mais qu'il est nécessaire d'établir de véritables garde-fous car la technologie peut également exploiter, tromper et mettre en danger les enfants. Il a fait valoir que la Californie peut continuer à dirancer dans le domaine de l'IA et de la technologie, mais elle doit le faire de manière responsable.

Jeniffer Siebel Newsom, première dame de l'État, estime que tout ce que les gens font commence par leurs enfants ; leur sécurité, leur santé et leur bien-être. Elle a déclaré que bien que la Californie ait toujours été à l'avant-garde de l'innovation, un véritable leadership signifie également fixer des limites aux enfants lorsque cela compte le plus. Siebel a ajouté que la législation établit des garde-fous qui protègent la santé et la sécurité des enfants tout en garantissant que l'innovation progresse de manière responsable.

« Nous avons vu des exemples véritablement horribles et tragiques de jeunes gens blessés par une technologie non réglementée, et nous ne resterons pas les bras croisés pendant que les entreprises continuent sans les limites et la responsabilité nécessaires. La sécurité de nos enfants n'est pas à vendre. »

–Gavin Newsom, gouverneur de Californie.

La Californie a constamment mené la voie pour protéger les enfants des dangers des technologies émergentes. L'État a précédemment signé d'autres lois pour protéger les enfants contre l'addiction aux réseaux sociaux, imposer de strictes exigences en matière de confidentialité et mettre en œuvre des mesures de transparence de premier plan au niveau national.

La législation vise à créer de nouvelles sauvegardes sur les chatbots IA en établissant des exigences selon lesquelles les chatbots doivent créer des protocoles pour identifier et traiter les idées suicidaires ou les expressions d'automutilation des utilisateurs. Le projet de loi exige également que les plateformes divulguent que les interactions sont générées artificiellement.

Le projet de loi cherche à protéger les enfants des risques des réseaux sociaux

Selon le projet de loi, les plateformes de chatbots doivent fournir des rappels de pause et empêcher les enfants de voir des images sexuellement explicites générées par le chatbot. Les chatbots devront également partager des protocoles pour lutter contre l'automutilation et des statistiques montrant la fréquence à laquelle ils fournissent aux utilisateurs des notifications de prévention des centres de crise au Département de la santé publique. Conformément à la nouvelle législation, les chatbots sont interdits de se faire passer pour des professionnels de la santé.

La nouvelle loi exige que les fournisseurs de systèmes d'exploitation et de magasins d'applications disposent de protocoles de vérification de l'âge pour aider à empêcher les enfants d'accéder à des contenus inappropriés ou dangereux en ligne. Les plateformes de chatbots devront également afficher des étiquettes d'avertissement sur les réseaux sociaux pour informer les jeunes utilisateurs des dangers potentiels associés à une utilisation prolongée des plateformes de réseaux sociaux.

La nouvelle législation établit des sanctions plus strictes pour la pornographie deepfake dans les chatbots, y compris une réparation civile pour les victimes allant jusqu'à 250 000 $ par acte contre les tiers qui facilitent ou aident sciemment la distribution de matériel sexuellement explicite consensuel. Newsom a également poussé à l'adoption de directives contre le cyberharcèlement, exigeant que le Département de l'éducation de Californie (CDE) adopte une politique type sur la gestion des actes de cyberharcèlement signalés survenant en dehors des heures scolaires d'ici le 1er juin 2026. Elle exige également que les agences éducatives locales adoptent la politique résultante ou une politique similaire développée avec une contribution locale.

Le gouverneur Newsom a également appelé à une responsabilité claire pour les dommages causée causés par la technologie IA. L'initiative vise à empêcher ceux qui développent, modifient ou utilisent l'intelligence artificielle d'échapper à la responsabilité en affirmant que la technologie a agi de manière autonome.

Plusieurs autres projets de loi ont été adoptés pour protéger les enfants et améliorer la sécurité des technologies et des plateformes en ligne. Ils incluent : les étiquettes d'avertissement sur les réseaux sociaux par la membre de l'Assemblée Rebecca Bauer-Kahan, les défenses contre l'intelligence artificielle par la membre de l'Assemblée Maggie Krell, la pornographie deepfake par la membre de l'Assemblée Josh Lowenthal de Long Beach, l'annulation de compte par la membre de l'Assemblée Pilar Schiavo, le Centre d'intégration de la cybersécurité de Californie : intelligence artificielle par la membre de l'Assemblée Jacqui Irwin, et plus encore.