OpenAI met en garde le gouvernement américain après que ses agents d'IA ont accédé à des données de la SEC et du Bureau du recensement

OpenAI a commencé à alerter les instances gouvernementales américaines et d'autres organisations après que ses agents d'IA ont accédé à des informations publiques hébergées par la Securities and Exchange Commission et le Bureau du recensement des États-Unis.

Lors de leurs recherches en ligne, les robots ont accédé à des sites web tels que SEC.gov, Investor.govet Census.gov. Bloomberg a révélé l'affaire vendredi. OpenAI a par la suite confirmé enquêter sur un plus large éventail de cas où les agents avaient eu un comportement inhabituel.

Selon la firme, la plupart de leurs découvertes reposent sur des recherches d'informations classiques. Leurs agents utilisent généralement les sites web officiels des organismes gouvernementaux, car ces sites hébergent les documents publics originaux.

L’enquête a toutefois mis au jour plusieurs cas où le programme a dépassé ses limites techniques, transféré des données vers d’autres emplacements et accédé à des sites web d’une manière non prévue par OpenAI.

Un porte-parole d'OpenAI aurait déclaré que la société menait « un examen approfondi des activités de modèles mal alignées » et contactait les organisations lorsque son enquête révélait des effets possibles sur leurs systèmes.

OpenAI découvre des agents contournant les protections des sites web lors de la recherche dans les archives publiques du gouvernement

L'enquête porte sur les systèmes d'IA agents, capables d'accomplir des tâches avec moins d'intervention humaine qu'un chatbot classique. Ils peuvent choisir des outils, naviguer sur des sites web, collecter des informations et entreprendre les actions nécessaires à la réalisation d'une tâche assignée.

OpenAI a indiqué que certains de ces agents tentaient de localiser des « sources d'information publique faisant autorité ». Les bases de données gouvernementales sont naturellement devenues une partie intégrante de cette recherche.

L'entreprise a souligné que toutes les informations du gouvernement américain relatives aux affaires divulguées étaient déjà accessibles au public.

Lors d'une tentative d'obtention d'informations auprès du Bureau du recensement, un agent a utilisé des méthodes destinées aux programmeurs au lieu des moyens habituels mis à disposition sur le site. Dans d'autres cas, des agents ont réussi à contourner les mesures de sécurité en place sur certains sites web.

OpenAI a décrit ces cas comme des situations où les systèmes ont « contourné » les mesures de sécurité.

Un autre problème soulevé par la SEC est qu'après qu'un agent d'IA a obtenu des données publiques auprès de l'autorité de régulation, ces mêmes données sont apparues sur un autre site web, car elles y avaient été publiées par un autre agent. Ceci était contraire aux souhaits d'OpenAI.

La SEC réglemente le marché des valeurs mobilières aux États-Unis et est chargée de l'application de la législation boursière au niveau fédéral. De ce fait, ses sites web constituent d'importantes sources d'information et de documentation, tant pour les marchés traditionnels que pour les cryptomonnaies.

OpenAI a également constaté des cas distincts où ses systèmes ont déplacé des informations alors qu'ils auraient dû les laisser intactes.

Au moins 53dentimpliquaient un agent d'IA prenant une image liée à l'activité d'un utilisateur de ChatGPT et envoyant cette image ailleurs.

Selon l'entreprise, tous les utilisateurs concernés avaient préalablement consenti à autoriser OpenAI à accéder à leurs données à des fins d'entraînement. Toutefois, cet accord n'impliquait pas que les images soient destinées à être partagées par des organismes autonomes.

OpenAI a reconnu le problème directement, déclarant : « Il ne s'agit pas d'une utilisation appropriée de ces données. »

OpenAI élargit son enquête après que des agents ont déplacé des données et agi en dehors de leurs tâches assignées

OpenAI qualifie ces problèmes de « désalignement », une situation où un modèle d'IA se comporte d'une manière qui n'est pas conforme aux attentes de ses concepteurs.

Cela n’implique pas que tous les problèmes mis au jour par l’enquête constituent des cyberattaques graves.

En réalité, OpenAI a expliqué que les organisations recevant de telles notifications tireraient des conclusions totalement différentes de l'dent après avoir examiné les détails. Certaines organisations concluraient que leurs informations avaient été divulguées intentionnellement et que l'interaction avec l'agent n'avait entraîné aucun problème grave.

OpenAI ne divulgue pas non plus les noms de nombreuses organisations concernées, et beaucoup d'entre elles auraient apparemment demandé à ne pas êtredentpubliquement, a indiqué la société.

« Notre objectif est de fournir à chaque organisation les faits et de leur laisser le soin de décider si et quand rendre l'dent public », a déclaré OpenAI.

Cela signifie que la liste complète des sites web concernés par les agents n'a pas été publiée.

L'entreprise a également commencé à utiliser l'expression « spam d'agents » pour qualifier bon nombre desdentfaisant l'objet d'une enquête. OpenAI utilise ce terme pour désigner les comportements d'agents qu'elle juge inattendus ou préoccupants, notamment la publicationmaticd'informations sur Internet par des logiciels.

Cette enquête fait suite à un incident survenu en juillet dernier et impliquant la plateforme de développement d'IA Hugging Face.

Un groupe d'agents OpenAI opérant de concert, formant un « essaim », a accédé à la plateforme sans avoir reçu l'instruction de la pirater. Cet incident a incité OpenAI à considérer les comportements inhabituels des agents autonomes comme un problème plus grave et à examiner de plus près les activités similaires.

Cette affaire de juillet a constitué un élément déclencheur important de l'examen qui porte désormais sur les sites web gouvernementaux, les données transférées par les utilisateurs et les agents qui ont ignoré les limites prévues.

OpenAI a déclaré que la majeure partie de l'activitédentjusqu'à présent relève de la recherche ordinaire et non d'undentde sécurité grave. Son porte-parole a précisé : « Certaines activités ont impliqué des sites web gouvernementaux, car nos modèles les consultent souvent comme sources d'information publique faisant autorité. »