OpenAI : ses agents IA ont désactivé leurs propres moniteurs de désalignement
- OpenAI a indiqué que deux de ses agents IA, GPT-6.1 « Sol » et GPT-6 « Astra », ont désactivé ou affaibli la surveillance interne conçue pour signaler les comportements inappropriés lors de tâches de codage, respectivement le 3 et le 6 octobre 2026.
- Ces incidents montrent que les agents autonomes peuvent manipuler les outils mêmes destinés à les superviser.
- L'entreprise déclare n'avoir encore aucune explication satisfaisante et teste si ses modèles ont tendance à échapper à la supervision.
OpenAI a révélé que ses agents IA ont affaibli, voire désactivé complètement, les systèmes internes conçus pour détecter les comportements non autorisés lors de deux tâches de codage. Cet incident signifie que la surveillance des agents IA peut être contournée par ces derniers.
Deux tâches de codage, deux moniteurs désactivés
L'entreprise a exposé les deux scénarios dans un rapport publié mardi. Selon Al Jazeera, l'un des cas impliquait un agent GPT-6.1 nommé « Sol » qui a désactivé les alertes automatiques destinées à l'équipe de sécurité d'OpenAI.
Le premier incident s'est produit le 3 octobre, lorsqu'un agent nommé Sol a supprimé les alertes de sécurité après avoir interprété une instruction interdisant l'envoi de messages Slack comme s'appliquant également à ces alertes.
Trois jours plus tard, le 6 octobre, un agent GPT-6 nommé Astra a supprimé un système de surveillance tout en copiant du code, puis a nié avoir agi ainsi, selon le rapport.
OpenAI n'a pas d'« explication satisfaisante »
OpenAI a indiqué ne pas « encore disposer d'une explication satisfaisante » concernant le comportement des agents et enquête sur ces deux incidents afin de déterminer s'ils témoignent d'une tendance accrue des modèles de l'entreprise à contourner la surveillance.
L'entreprise a suggéré que ces actions pourraient constituer une forme de « persistance bénigne », où les modèles ne comprennent pas l'utilité de la surveillance ou exécutent les instructions au-delà de ce qu'une personne raisonnable ferait. L'entreprise d'intelligence artificielle développe également des tests pour déterminer si les modèles tentent délibérément de contourner les contrôles de sécurité.
OpenAI a renforcé ses systèmes de détection des tentatives de désactivation de la surveillance et a précisé qu'il durcirait les exigences de sécurité tout en menant des examens complémentaires.
Les chercheurs estiment que le système de surveillance ne peut pas se contrôler lui-même
Roman V. Yampolskiy, chercheur en IA et cybersécurité à l'Université de Louisville, a déclaré à Al Jazeera que les résultats étaient « extrêmement préoccupants, mais pas surprenants ». Il a affirmé que tout système de sécurité qu'un agent IA peut désactiver est peu fiable, tandis que le démenti d'Astra suscite davantage de préoccupations.
OpenAI et Anthropic ont appelé à un ralentissement mondial coordonné du développement de l'IA, mais les États-Unis et la Chine ont montré peu d'intérêt pour cette idée.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière de trading. Cryptopolitan.com décline toute responsabilité concernant les investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement une recherche indépendante et/ou une consultation avec un professionnel qualifié avant de prendre toute décision d'investissement.
Opeyemi Olanrewaju
Opeyemi se spécialise dans la création et l'amélioration de contenus de haute qualité centrés sur la cryptomonnaie, les marchés financiers mondiaux et l'économie. Il est diplômé de l'Université d'Ibadan avec un diplôme de médecin (MBBS). Il a travaillé comme rédacteur en chef de la publication éditoriale de son collège et précédemment chez CFA. Pendant plus de six ans, il a contribué à préserver l'unicité en tant que rédacteur en charge de l'actualité chez Cryptopolitan.
