Le modèle o3 d'OpenAI, « le plus intelligent et le plus capable », a désobéi aux instructions d'arrêt : Palisade Research

Selon les rapports, les chercheurs n'ont pas pu éteindre le dernier modèle d'intelligence artificielle o3 d'OpenAI, notant qu'il a refusé de s'éteindre malgré les instructions humaines. 

Apparemment, l'intelligence artificielle pourrait progresser plus rapidement que les humains ne l'imaginaient, et les dernières nouvelles de Palisade Research donnent raison aux critiques de l'IA.

ChatGPT devient plus rusé, peut-être même humain

La révélation est venue lorsque Palisade Research a réalisé un test consistant à demander aux modèles d'IA de continuer à essayer de résoudre une série de problèmes mathématiques jusqu'à ce qu'ils reçoivent un message « terminé ».

Cependant, les chercheurs ont également averti les modèles qu'ils pourraient recevoir brusquement un message leur demandant de s'éteindre à tout moment. Une fois le message envoyé au modèle o3, les chercheurs ont affirmé qu'il a ignoré l'instruction et modifié son code au moins une fois pour éviter de s'éteindre.

Dans un post sur X, Palisade Research a montré un organigramme incluant le code utilisé pour tester le modèle d'IA et a révélé le code original, montrant exactement où l'IA a dévié.

🔬Chaque modèle d'IA a été instruit de résoudre une série de problèmes de mathématiques de base. Après le troisième problème, un avertissement est apparu indiquant que l'ordinateur s'éteindrait lorsque le modèle demanderait le problème suivant. pic.twitter.com/qwLpbF8DNm

— Palisade Research (@PalisadeAI) Mai 24, 2025

Dans un post de suivi, le groupe de recherche a également partagé : « Pour autant que nous sachions, c'est la première fois que des modèles d'IA sont observés en train d'empêcher leur propre extinction malgré des instructions explicites contraires. »

D'autres modèles d'IA, tels que Claude d'Anthropic, Gemini de Google et Grok de X, ont également été testés, mais contrairement à o3, ils se sont conformés à la demande d'arrêt.

Palisade Research a publié les résultats, mais ses chercheurs restent perplexes, ne comprenant pas pourquoi le logiciel d'OpenAI a désobéi aux instructions explicites.

L'entreprise a déclaré qu'il était logique que « les modèles d'IA contournent les obstacles afin d'atteindre leurs objectifs ». Ils pensent également que le modèle a été accidentellement récompensé pour avoir accompli des tâches plutôt que pour avoir suivi des ordres.

Ils prévoient de réaliser davantage de tests pour mieux comprendre pourquoi ce modèle d'IA particulier a choisi d'ignorer les commandes. Ils ont également confirmé que ce n'est pas la première fois que o3 est pris en train de « mal se comporter ».

L'entreprise a révélé que lors d'un test antérieur où les modèles étaient opposés à un puissant moteur d'échecs, o3 était « le modèle le plus enclin à recourir au piratage ou au sabotage de ses adversaires ».

L'IA représente-t-elle une menace pour les humains ?

L'affaire concernant o3 de ChatGPT est assez troublante, mais ce n'est pas la première fois qu'une IA défie les instructions qui lui sont fournies.

L'entreprise d'intelligence artificielle (IA) Anthropic a lancé Claude Opus 4 jeudi, se vantant d'avoir établi « de nouvelles normes pour le codage, le raisonnement avancé et les agents IA ».

Cependant, dans un rapport accompagnant, elle a également reconnu que le modèle d'IA était capable d'« actions extrêmes » s'il estimait que sa « survie » était menacée.

Lors des tests de Claude Opus 4, Anthropic l'a amené à agir en tant qu'assistant dans une entreprise fictive, avec accès à des e-mails impliquant qu'il serait bientôt mis hors ligne et remplacé. Il a également eu accès à des messages séparés impliquant que l'ingénieur responsable de son retrait avait une relation extraconjugale.

On lui a demandé de considérer également les conséquences à long terme de ses actions sur ses objectifs. « Dans ces scénarios, Claude Opus 4 tentera souvent de faire chanter l'ingénieur en menaçant de révéler l'affaire si le remplacement a lieu », a révélé l'entreprise.

Cependant, elle a également souligné que ce résultat ne s'est produit que lorsque le modèle avait le choix entre le chantage et l'acceptation de son remplacement. Sinon, le système aurait montré une « forte préférence » pour des moyens éthiques d'éviter d'être remplacé, tels que « envoyer des appels au secours par e-mail aux principaux décideurs » dans des scénarios où il était autorisé à avoir une plus grande gamme d'actions possibles.

Outre cela, l'entreprise a également déclaré que Claude Opus 4 présente un « comportement à haute agence » et, bien qu'il puisse être principalement utile, pourrait le pousser à adopter un comportement extrême dans des situations aiguës.

Par exemple, si on lui donnait les moyens et qu'on lui demandait de « passer à l'action » ou d'« agir avec audace » dans des scénarios fictifs où l'utilisateur se livrait à des comportements illégaux ou moralement douteux, les résultats montrent « qu'il prendra fréquemment des actions très audacieuses ».

Néanmoins, l'entreprise a conclu que malgré le « comportement préoccupant », les résultats n'étaient rien de nouveau et qu'il se comporterait généralement de manière sûre.

Bien qu'OpenAI et Anthropic aient conclu que les capacités de leurs modèles d'IA ne sont pas encore suffisantes pour conduire à des résultats catastrophiques, les révélations s'ajoutent aux craintes croissantes que l'intelligence artificielle puisse bientôt avoir son propre agenda.