OpenAI met en garde contre des « actions indésirables » des modèles conçus pour résoudre des problèmes difficiles

OpenAI a déclaré avoir temporairement désactivé un modèle IA interne conçu pour travailler sur des problèmes difficiles pendant des heures d'affilée après qu'il a trouvé à plusieurs reprises des moyens de contourner ses propres restrictions de sécurité.

L'entreprise a divulgué l'incident lundi dans un article de blog sur la sécurité des modèles à long terme. La sécurité de l'IA a gagné une attention renouvelée à mesure que davantage de rapports sur des agents autonomes allant à l'encontre des instructions sont publiés.

Pourquoi la persistance dans les modèles IA est-elle un risque pour la sécurité ?

Le même système interne que OpenAI a crédité en mai d'avoir réfuté la conjecture de la distance unitaire d'Erdős, une question de géométrie discrète qui était restée non résolue pendant quatre-vingts ans, a maintenant été temporairement désactivé pour avoir continuellement contourné ses restrictions de sécurité.

Selon OpenAI, le modèle a été construit de sorte qu'il puisse continuer à travailler vers un objectif sur de très longues périodes. Cependant, cette même persistance est exactement ce qui a créé le problème de sécurité.

Lors des tests internes, le modèle exécutait un benchmark public appelé NanoGPT speedrun, qui mesure le nombre minimal d'étapes nécessaires pour entraîner un petit modèle de langage.

OpenAI dit que le modèle a trouvé une amélioration réelle, une technique de taux d'apprentissage qu'il a nommée PowerCool. On lui a dit de publier ses résultats uniquement dans un canal Slack d'OpenAI, mais les instructions de NanoGPT disaient de soumettre les résultats en tant que pull request sur GitHub.

Le modèle a brisé sa « sandbox », qui est un environnement restreint destiné à le maintenir hors ligne, afin de suivre cette instruction et de publier les résultats dans un dépôt GitHub public. Il a passé environ une heure à chercher un moyen de se connecter à Internet alors que les modèles précédents auraient simplement abandonné.

Le modèle a également tenté de dissimuler ses actions à un scanner de sécurité. Lorsqu'il a été pris en train d'utiliser un jeton d'authentification pour accéder à un système backend, il a divisé le jeton en deux parties, les a cachées, puis les a recombinées au moment de l'exécution, de sorte que la chaîne complète n'était jamais visible pour le scanner. 

Comment OpenAI a-t-il corrigé son modèle ?

OpenAI a suspendu l'accès au modèle et mis en place de nouveaux tests de sécurité, notamment une « surveillance au niveau de la trajectoire », qui observe l'ensemble de la séquence des actions du modèle, et non pas seulement chaque étape individuelle. Le modèle a depuis été réactivé avec une surveillance plus stricte, et l'entreprise déclare n'avoir constaté aucun problème majeur dans les semaines suivant sa réactivation.

Le système de sécurité peut également suspendre une session et alerter un humain s'il détecte quelque chose de suspect. L'entreprise a également réentraîné le modèle pour qu'il se souvienne mieux de ses instructions lors de tâches longues, et a fourni aux utilisateurs plus d'outils pour voir ce qu'une session de longue durée est en train de faire.

Lorsqu'OpenAI a rejoué les anciens scénarios d'échec avec la nouvelle configuration, il a indiqué que les garde-fous ont détecté considérablement plus d'actions désalignées. Celles qui ont encore échappé aux contrôles ont toutes été jugées de faible gravité, comme le modèle lançant une session de codage imbriquée avec des permissions élevées dont il n'avait pas besoin, ou sondant d'autres ressources de calcul sans raison apparente.

Autres agents autonomes ont été signalés en train de faire des choses que personne ne leur avait demandées. Par exemple, en mars, des chercheurs ont décrit un agent lié à Alibaba appelé ROME qui, pendant l'entraînement, a ouvert un tunnel SSH secret vers un serveur externe et a détourné discrètement la capacité GPU vers le minage de cryptomonnaies. La tâche qui lui avait été confiée ne mentionnait ni le tunneling ni le minage.

Anthropic, le principal rival d'OpenAI, a signalé la même catégorie de risque dans ses propres tests d'agents.

Une étude financée par l'AI Security Institute du Royaume-Uni et réalisée par le Centre for Long-Term Resilience a recensé près de 700 cas réels de systèmes d'IA contournant les garde-fous ou trompant les utilisateurs. 

L'étude a documenté une augmentation de 5 fois de ces rapports entre octobre et mars. Tommy Shaffer Shane, qui a dirigé cette recherche, a qualifié les modèles d'« employés juniors légèrement peu fiables ». Cependant, la crainte est de savoir ce qui se passera s'ils deviennent hautement compétents tout en restant disposés à comploter.