Le modèle de raisonnement d'OpenAI « pense » souvent en chinois – personne ne peut expliquer pourquoi

Des utilisateurs d'OpenAI ontdentune vulnérabilité. Peu après la publication par OpenAI de o1, son premier modèle d'IA de « raisonnement », un comportement étrange a été observé. Apparemment, lorsqu'une requête est posée en anglais, le modèle se met parfois à « réfléchir » dans une autre langue, comme le chinois ou le persan. 

Un utilisateur a déclaré : « [O1] s'est mis soudainement à penser en chinois à mi-chemin. » De plus, un autre utilisateur, totalement différent, a également demandé sur X : « Pourquoi [o1] s'est-il mis soudainement à penser en chinois ? »

Pourquoi le joueur pro d'O1 s'est-il mis soudainement à penser en chinois ? Aucune partie de la conversation (plus de 5 messages) n'était en chinois… très intéressant… influence des données d'entraînement pic.twitter.com/yZWCzoaiit

– Rishab Jain (@RishabJainK) 9 janvier 2025

D’après les observations, face à un problème à résoudre, o1 entame son processus de réflexion, qui comprend une série d’étapes de raisonnement aboutissant à une réponse. La réponse finale de o1 est en anglais si la question est formulée dans cette langue.

Néanmoins, le modèle effectuerait certaines procédures dans un autre langage avant de formuler sa conclusion.

Il est à noter qu'OpenAI n'a fourni aucune explication quant au comportement étrange de o1, ni même reconnu son existence. Quelle pourrait donc en être la cause ?

Voici quelques théories de professionnels de l'IA.

Clément Delangue, PDG de Hugging Face, a mentionné sur X que les modèles de raisonnement comme o1 sont entraînés sur des ensembles de données comportant un grand nombre de lettres chinoises. 

De plus, selon Ted Xiao, chercheur chez Google DeepMind, des organisations telles qu'OpenAI utilisent des services tiers d'étiquetage de données en chinois, et la transition vers le chinois est un exemple de « l'influence linguistique chinoise sur le raisonnement »

Ted Xiao a écrit dans un article publié sur X: « Les laboratoires d'IA générale comme OpenAI et Anthropic utilisent des services d'étiquetage de données tiers pour obtenir des données de raisonnement de niveau doctorat en sciences, mathématiques et programmation ; pour des raisons de disponibilité de main-d'œuvre spécialisée et de coût, bon nombre de ces fournisseurs de données sont basés en Chine. »

Apparemment, lors du processus d'entraînement, les étiquettes, égalementdentidentifiants ou annotations, aident les modèles à comprendre et à interpréter les données.

 Par exemple, les étiquettes utilisées pour entraîner un modèle de reconnaissance d'images peuvent consister en des légendes faisant référence à chaque personne, lieu ou objet représenté sur une image, ou en des marques entourant les objets.

De plus, des recherches ont démontré que des classifications biaisées peuvent engendrer des modèles biaisés. Par exemple, l'annotateur moyen est plus enclin à étiqueter les expressions en anglais vernaculaire afro-américain (AAVE). 

Ce langage informel, utilisé par certains Afro-Américains, est perçu comme toxique. De ce fait, les systèmes d'intelligence artificielle de détection de toxicité, entraînés sur ces étiquettes, AAVE considèrent comme excessivement toxique.

Cependant, la théorie de l'étiquetage des données en chinois (niveau o1) n'est pas acceptée par d'autres experts. Ces derniers soulignent que, lors de la recherche d'une solution, il est tout aussi probable que le niveau o1 évolue vers l'hindi, le thaï ou une autre langue que le chinois.

Ces experts affirment plutôt que o1 et d'autres modèles de raisonnement utilisent peut-être les langages les plus efficaces pour atteindre un objectif.

À ce propos, Matthew Guzdial, chercheur en intelligence artificielle, a déclaré : « Le modèle ne sait pas ce qu’est une langue ni que les langues sont différentes. » En effet, les jetons, tout comme l’étiquetage, peuvent introduire des biais. 

En particulier, plusieurs traducteurs de mots en unités lexicales présument qu'un espace dans une phrase indique un nouveau mot. Ceci sans tenir compte du fait que toutes les langues n'utilisent pas d'espaces pour séparer les mots.

Cependant, Luca Soldaini, chercheur à l'institut Allen pour l'IA (organisation à but non lucratif), a souligné qu'il est impossible de le déterminer avec certitude. Il a déclaré : « Ce type d'observation sur un système d'IA déployé est impossible à étayer en raison de l'opacité de ces modèles […] C'est l'un des nombreux exemples qui mettent en évidence l'importance de la transparence dans la conception des systèmes d'IA. »

Problèmes d'OpenAI

L'année 2024 a été particulièrement mouvementée pour OpenAI. L'entreprise et son PDG, Sam Altman, ont commencé l'année en étant poursuivis en justice par Elon Musk. Ce dernier leur reprochait d'avoir dévié de leur objectif initial à but non lucratif pour privilégier les profits au détriment de l'intérêt général.

L'année dernière, huit journaux américains, dont le New York Daily News, le Chicago Tribune et le Denver Post, ont intenté des poursuites contre OpenAI et Microsoft. Ils accusent la firme d'avoir utilisé des millions de publications protégées par le droit d'auteur pour entraîner des chatbots d'intelligence artificielle sans autorisation ni rémunération. Ils affirment que cette technique viole leurs droits de propriété intellectuelle.

Par ailleurs, Mira Murati, directrice technique d'OpenAI, a annoncé son départ. Ce départ était d'autant plus important que ses compétences techniques étaient essentielles au développement de l'entreprise.

Par ailleurs, OpenAI a rencontré plusieurs difficultés avec ChatGPT, notamment des pannes ponctuelles, des dysfonctionnements entraînant des réponses inexactes ou incohérentes du chatbot, et des problèmes de confidentialité des utilisateurs. Il est également arrivé que l'IA génère du contenu biaisé ou offensant.