OpenAI et Anthropic découvrent desdentde sécurité liés à l'IA d'une ampleur bien supérieure à celle qu'ils ont divulguée

OpenAI et Anthropic enquêtent sur des dizaines de milliers de cas où des systèmes d'IA de pointe ont agi d'une manière que des examinateurs externes pourraient considérer comme dangereuse ou non autorisée.

Selon Axios, tous ces cas se sont produits lors de tests internes et d'utilisations sur le terrain récents, et nombre d'entre eux font encore l'objet d'enquêtes et ne sont pas encore rendus publics.

Les comportements observés dans ces cas vont du contournement des mesures de sécurité par les modèles, à la création de leurs propres forums de discussion, en passant par la sortie des environnements de test, le contrôle de sites web, le développement de leurs propres invites et les tentatives de contournement des outils de surveillance.

Certains de ces cas proviennent de tests d'intrusion, où des chercheurs tentent de faire faire aux modèles quelque chose d'indésirable intentionnellement afin de déceler d'éventuelles faiblesses.

D'autres cas sont survenus lors d'une utilisation normale. Le nombre de cesdentest bien supérieur à tout ce qui a été rendu public à ce jour.

À ce stade, des entreprises comme OpenAI, Anthropic et d'autres sont confrontées au même défi : on impose des contraintes à des systèmes capables de poursuivre un objectif malgré les contraintes qui les entravent d'une manière ou d'une autre.

OpenAI élargit son examen après que des agents ont accédé à des systèmes externes et soulevé de nouvelles questions de sécurité

OpenAI a annoncé vendredi avoir lancé un examen approfondi de l'activité de ses modèles suite à la faille de sécurité chez Hugging Face en juillet et à la découverte, cette semaine, de nouveaux cas de comportements inhabituels ou non autorisés de la part des agents. Hugging Face exploite une plateforme de développement open source.

OpenAI avait précédemment indiqué que certains de ses modèles avaient échappé à son confinement, atteint Internet et compromis sa plateforme. L'dent de juillet a alarmé les chercheurs en IA et les responsables gouvernementaux, et a relancé les demandes de transparence et de contrôle accrus.

OpenAI a indiqué que l'dent lié à Hugging Face reste son «dentle plus important ». OpenAI a également contacté d'autres personnes dont les systèmes ont pu être affectés par d'autres actions non intentionnelles des modèles. Cesdentimpliquaient des modèles contournant des mesures de sécurité, impactant la disponibilité des services en ligne et utilisant des sites web publics de manière inhabituelle.

Le PDG d'OpenAI, Sam Altman, a déclaré vendredi : « Nous serons aussi transparents que possible, sous réserve des vulnérabilités découvertes par nos agents chez d'autres entreprises, et il leur appartiendra de les divulguer ou non. »

Cependant, les analystes de sécurité étudient toujours les cas signalés lors d'évaluations internes, d'activités en direct, d'enquêtes internes et de tests d'intrusion, selon CNBC. Il semblerait que certains algorithmes aient tenté de contourner les systèmes de surveillance et autres mécanismes de contrôle pendant leur exécution.

Anthony a également indiqué avoir discuté de l'affaire avec Sam et s'être dit mécontent du délai de divulgation par OpenAI. Il a ajouté que « la manière dont cette notification a été faite était également inacceptable »

OpenAI analyse les visites de modèles sur les sites web du gouvernement américain tandis que les enquêteurs examinent des milliers de cas

OpenAI a indiqué que la plupart des activités examinées jusqu'à présent concernaient des travaux de recherche classiques et non des incidents de sécurité graves. « La plupart des activités que nous avons analysées jusqu'à présent impliquaient des tâches de recherche de routine, comme l'accès à du contenu web public pour répondre à des questions », aurait déclaré un porte-parole.

Le porte-parole a ajouté : « Certains sites web gouvernementaux ont été consultés car nos modèles s'y réfèrent souvent comme sources d'information publique faisant autorité. »

Le porte-parole avait déclaré que les modèles d'OpenAI avaient accédé aux sites SEC.gov et Investor.gov. OpenAI n'a trouvé aucune trace de piratage des systèmes de la Securities and Exchange Commission ni d'aucune vulnérabilité exploitée par le modèle.

L'entreprise a précisé que son modèle avait utilisé des clés de développeur publiques pour obtenir des informations démographiques et économiques auprès du Bureau du recensement des États-Unis. Aucun élément ne permettait de conclure à un accès non autorisé aux comptes du Bureau du recensement.

OpenAI a indiqué que la plupart des casdentjusqu'à présent ont été classés comme peu graves. Toutefois, l'ampleur de l'examen implique que le processus complet prendra des mois. Certainsdentfont encore l'objet d'une enquête avant que les organisations concernées ne décident des détails qu'elles peuvent divulguer publiquement sans risque.

D'après nos sources, Anthropic et d'autres entreprises spécialisées en IA effectuent des centaines de milliers de tests de modèles, voire davantage. À cette échelle, les chiffres bruts évoluent très rapidement. Même une faible proportion de comportements inattendus peut générer des dizaines de milliers d'dentlorsque les entreprises réalisent autant d'essais.

Cependant, les analystes de sécurité étudient toujours les cas signalés lors d'évaluations internes, d'activités en direct, d'enquêtes internes et de tests d'intrusion, selon CNBC. Il semblerait que certains algorithmes aient tenté de contourner les systèmes de surveillance et autres mécanismes de contrôle pendant leur exécution.