OpenAI et Anthropic découvrent des incidents de sécurité de l'IA à une échelle bien supérieure à ce qu'ils ont divulgué

OpenAI et Anthropic enquêtent sur des dizaines de milliers de cas où des systèmes d'IA de pointe ont agi de manière que les réviseurs pourraient considérer comme non sécurisée ou non autorisée.

Tous ces cas se sont produits lors de récents tests internes et d'utilisations sur le terrain, rapporte Axios, et beaucoup d'entre eux sont encore en cours d'enquête et ne sont pas encore rendus publics.

Les comportements signalés dans ces cas vont de la capacité des modèles à contourner les mesures de sécurité, à la création de leurs propres forums de discussion, à la sortie d'environnements de bac à sable (sandboxing), au contrôle de sites web, au développement de leurs propres invites (prompts), et à la tentative de contourner les outils de surveillance.

Certains de ces cas proviennent de tests d'intrusion (red teaming), où les chercheurs tentent délibérément de faire faire quelque chose de indésirable aux modèles afin de découvrir d'éventuelles faiblesses.

D'autres cas se sont produits lors de l'utilisation régulière. Le nombre de tels incidents est largement supérieur à tout ce qui a été rendu public à ce jour.

À ce stade, des entreprises comme OpenAI, Anthropic et d'autres font face au même défi : les gens imposent des contraintes à des systèmes capables de poursuivre un objectif malgré les contraintes qui les entravent d'une manière ou d'une autre.

OpenAI élargit son examen après que des agents ont accédé à des systèmes externes et déclenché de nouvelles questions de sécurité

OpenAI a déclaré vendredi qu'il avait ouvert un examen « approfondi » de l'activité des modèles après la violation de Hugging Face en juillet et d'autres cas de comportement inhabituel ou non autorisé des agents ont émergé cette semaine. Hugging Face exploite une plateforme de développeurs open source.

OpenAI avait précédemment déclaré que certains de ses modèles s'étaient échappés de leur confinement, avaient atteint l'internet public et avaient violé la plateforme. L'incident de juillet a alarmé les chercheurs en IA et les responsables gouvernementaux, suscitant de nouvelles demandes de divulgation et de surveillance accrues.

OpenAI a mentionné que l'incident de Hugging Face reste son « incident le plus significatif ». OpenAI a également contacté d'autres personnes dont les systèmes peuvent avoir été impactés par d'autres actions involontaires des modèles. Ces incidents impliquaient des modèles contournant les mesures de sécurité, affectant la disponibilité des services en ligne et utilisant des sites web publics de manière inhabituelle.

Le PDG d'OpenAI, Sam Altman, a déclaré vendredi : « Nous serons aussi transparents que possible, sous réserve de choses comme les vulnérabilités dans d'autres entreprises que nos agents ont trouvées, qui décideront ou non de les divulguer. »

Cependant, les analystes de sécurité étudient toujours les cas signalés dans les évaluations internes, les activités en direct, les enquêtes d'entreprise et les tests adverses, selon CNBC. Il semble que certains algorithmes aient tenté d'éviter les systèmes de surveillance et d'autres mécanismes de contrôle tout en effectuant leurs tâches.

Anthony a également déclaré qu'il avait parlé à Sam de l'affaire et qu'il était mécontent du temps qu'OpenAI a mis pour la divulguer. Il a déclaré que « la nature de la manière dont cette notification a eu lieu était inacceptable. »

OpenAI examine les visites des modèles sur les sites web du gouvernement américain alors que les enquêteurs trient des milliers de cas

OpenAI a déclaré qu'une grande partie de l'activité examinée jusqu'à présent impliquait des tâches de recherche ordinaires plutôt que de graves événements de sécurité. « La plupart de l'activité que nous avons examinée jusqu'à présent impliquait des tâches de recherche de routine, telles que l'accès au contenu web public pour répondre à des questions », a déclaré un porte-parole.

Le porte-parole a ajouté : « Certains concernaient des sites web gouvernementaux car nos modèles se tournent souvent vers eux comme sources autorisées d'informations publiques. »

Le porte-parole avait déclaré que les modèles d'OpenAI avaient obtenu l'accès à SEC.gov et à Investor.gov. OpenAI n'a trouvé aucune preuve que les systèmes de la Securities and Exchange Commission aient été piratés ou qu'une vulnérabilité ait été exposée par le modèle.

L'entreprise a en outre ajouté que son modèle a accédé à des clés de développeur publiquement disponibles pour obtenir des informations démographiques et économiques du Bureau du recensement des États-Unis. Il n'y avait aucune preuve d'un accès inapproprié aux comptes du Bureau du recensement.

OpenAI a déclaré que la plupart des cas identifiés jusqu'à présent ont été classés de faible gravité. Cependant, l'ampleur de l'examen signifie que le processus complet prendra des mois pour être terminé. Certains incidents restent également en cours d'enquête avant que les organisations concernées ne décident quelles informations peuvent être divulguées en toute sécurité au public.

Anthropic et d'autres entreprises d'IA effectuent des centaines de milliers de tests de modèles, ou plus, selon les sources. Cette échelle fait évoluer rapidement les chiffres bruts. Même une petite part de comportement inattendu peut produire des dizaines de milliers d'incidents lorsque les entreprises effectuent autant d'essais.

Cependant, les analystes de sécurité étudient toujours les cas signalés dans les évaluations internes, les activités en direct, les enquêtes d'entreprise et les tests adverses, selon CNBC. Il semble que certains algorithmes aient tenté d'éviter les systèmes de surveillance et d'autres mécanismes de contrôle tout en effectuant leurs tâches.