Dans le monde de la technologie en évolution rapide, les chatbots d'intelligence artificielle (IA) ont émergé comme une percée significative. Parmi eux, ChatGPT d'OpenAI a été un public remarquable et captivant depuis son introduction publique l'année dernière. Sa capacité à s'engager dans des conversations fluides lui a valu des distinctions et a déclenché une course mondiale féroce pour développer des modèles d'IA encore plus avancés. Cependant, au milieu des applaudissements et des inquiétudes concernant la domination potentielle de l'IA, des découvertes récentes ont dévoilé un développement inattendu : la maîtrise décroissante de ChatGPT en mathématiques de base.
Comprendre le phénomène de "dérive" de l'IA
Le terme "dérive" en IA n'est pas qu'un mot à la mode. C'est un phénomène réel, observé, qui a retenu l'attention de la communauté académique. Un effort de recherche collaboratif entre l'Université de Stanford et l'Université de Californie à Berkeley a mis en lumière cet aspect intrigant du comportement de l'IA.
L'essence de la « dérive » réside dans les conséquences imprévues de l'optimisation du modèle. Alors que les chercheurs et les développeurs s'efforcent d'améliorer certaines fonctionnalités de ces modèles d'IA complexes, d'autres domaines pourraient en souffrir par inadvertance. C'est précisément ce qui se passe avec ChatGPT.
James Zou, professeur renommé à Stanford et contributeur essentiel à la recherche, a expliqué : "Lorsque vous modifiez le modèle pour l'améliorer dans une direction spécifique, il existe un risque tangible qu'il régresse dans d'autres domaines". Ce défi intrinsèque souligne la complexité de réaliser des progrès constants dans les modèles d'IA.
Plonger dans le déclin
La recherche n'était pas un coup d'œil superficiel sur les capacités de ChatGPT. Il s'agissait d'une analyse méticuleuse dirigée par Lingjiao Chen, un doctorat en informatique assidu. dent de Stanford, et Matei Zaharia, une personnalité éminente de Berkeley. Leur objectif était clair : évaluer comment deux versions distinctes de ChatGPT se sont comportées sur une période.
Leurs découvertes étaient surprenantes. On pourrait supposer que l' dent des nombres premiers, une tâche relativement simple pour les ordinateurs, serait un jeu d'enfant pour une IA aussi avancée. Cependant, les résultats ont raconté une histoire différente.
Lors d'un test effectué en mars, GPT-4, la version premium de ChatGPT, a été présenté avec 1 000 numéros différents. Il a réussi à déterminer correctement la primalité de 84 % d'entre eux. Avance rapide jusqu'en juin, et sa précision a chuté à seulement 51 %. Ce n'était pas un dent isolé. Sur huit tâches diverses, les performances du GPT-4 se sont détériorées en six. Bien que GPT-3.5 se soit amélioré dans six domaines, il était principalement à la traîne par rapport à son successeur.
Les implications de la dérive rapide
Bien que la "dérive" soit un concept reconnu parmi les aficionados de l'IA, la vitesse à laquelle elle s'est manifestée dans ChatGPT était inattendue. Les observations de l'équipe de recherche allaient au-delà des tâches matic . Ils ont noté une baisse marquée de la réactivité de GPT-4 aux requêtes centrées sur l'opinion. D'un taux de réponse louable de 98 % en mars, il est tombé à 23 % en juin.
Cette régression pourrait être liée à la tendance naissante de « l'ingénierie rapide ». Cela implique que les utilisateurs élaborent des invites spécifiques pour trac des réponses d'IA particulières, et parfois controversées. La dégradation des prouesses matic de ChatGPT pourrait être une retombée involontaire des mesures prises pour contrer ces invites manipulatrices.
Malgré les obstacles, le consensus, en particulier parmi la communauté des chercheurs, n'est pas de rejeter la technologie. Au lieu de cela, l'accent est mis sur la vigilance. Zou plaide avec passion pour une approche de surveillance plus rigoureuse. Faisant écho à ses sentiments, l'équipe conjointe de Stanford et Berkeley se prépare à soumettre les modèles d'IA, y compris ChatGPT, à une batterie de tests. Leur but? Mesurer empiriquement leur évolution dans le temps.
Le chemin de progression de l'IA n'est pas linéaire. C'est un voyage dynamique marqué par des avancées, des trébuchements occasionnels et des détours inattendus. Alors que la communauté mondiale continue de naviguer dans le labyrinthe complexe de l'IA, une chose est dent : le voyage pour comprendre et affiner ces systèmes est loin d'être terminé.
