Une étude révèle les difficultés de ChatGPT avec les mathématiques de base

Dans le monde technologique en constante évolution, les chatbots d'intelligence artificielle (IA) représentent une avancée majeure. Parmi eux, ChatGPT d'OpenAI s'est distingué par son charisme et son attrait auprès du public depuis son lancement l'année dernière. Sa capacité à tenir des conversations fluides lui a valu de nombreux éloges et a déclenché une course mondiale intense pour développer des modèles d'IA encore plus performants. Cependant, au milieu des applaudissements et des inquiétudes quant à la domination potentielle de l'IA, des découvertes récentes ont révélé un phénomène inattendu : les compétences de ChatGPT en calculs mathématiques de base sont en baisse.

Comprendre le phénomène de « dérive » de l'IA

Le terme « dérive » en intelligence artificielle n'est pas qu'un simple effet de mode. Il s'agit d'un phénomène réel et observé qui a retenu l'attention de la communauté scientifique. Une recherche menée conjointement par l'Université de Stanford et l'Université de Californie à Berkeley a permis de mieux comprendre cet aspect fascinant du comportement de l'IA.

L'essence de la « dérive » réside dans les conséquences imprévues de l'optimisation des modèles. Lorsque les chercheurs et les développeurs s'efforcent d'améliorer certaines fonctionnalités de ces modèles d'IA complexes, d'autres aspects peuvent en pâtir involontairement. C'est précisément ce qui se produit avec ChatGPT.

James Zou, professeur renommé à Stanford et contributeur essentiel à la recherche, a expliqué : « Lorsqu’on modifie le modèle pour l’améliorer dans une direction précise, il existe un risque réel de régression dans d’autres domaines. » Ce défi intrinsèque souligne la complexité de parvenir à des progrès constants dans les modèles d’IA.

Analyse du déclin

Cette recherche ne se limitait pas à un examen superficiel des capacités de ChatGPT. Il s'agissait d'une analyse méticuleuse menée par Lingjiao Chen,dent en informatique à Stanford, et Matei Zaharia, figure éminente de Berkeley. Leur objectif était clair : évaluer les performances de deux versions distinctes de ChatGPT sur une période donnée.

Leurs conclusions étaient surprenantes. On pourrait supposer que l'dentdes nombres premiers, une tâche relativement simple pour les ordinateurs, serait un jeu d'enfant pour une IA aussi avancée. Or, les résultats ont révélé une tout autre réalité.

Lors d'un test réalisé en mars, GPT-4, la version premium de ChatGPT, a été confronté à 1 000 nombres différents. Il a réussi à déterminer correctement la primalité de 84 % d'entre eux. En juin, sa précision a chuté à seulement 51 %. Ce n'était pas undentisolé : sur huit tâches différentes, les performances de GPT-4 se sont dégradées dans six d'entre elles. Bien que GPT-3.5 ait progressé dans six domaines, il est resté globalement en retrait par rapport à son successeur.

Les implications de la dérive rapide

Bien que la « dérive » soit un concept reconnu parmi les spécialistes de l'IA, la rapidité avec laquelle elle s'est manifestée dans ChatGPT était inattendue. Les observations de l'équipe de recherche ne se limitaient pas aux tâchesmatic. Ils ont constaté une baisse marquée de la réactivité de GPT-4 aux requêtes axées sur l'opinion. D'un taux de réponse remarquable de 98 % en mars, celui-ci a chuté à 23 % en juin.

Cette régression pourrait être liée à la tendance croissante de la « manipulation des requêtes ». Cette pratique consiste pour les utilisateurs à concevoir des requêtes spécifiques afin d'tracdes réponses particulières, parfois controversées, de l'IA. La dégradation des performancesmaticde ChatGPT pourrait être une conséquence involontaire des mesures prises pour contrer ces requêtes abusives.

Naviguer dans l'avenir de l'IA

Malgré les obstacles, le consensus, notamment au sein de la communauté scientifique, est de ne pas abandonner cette technologie. L'accent est plutôt mis sur la vigilance. Zou plaide avec conviction pour une approche de surveillance plus rigoureuse. Partageant cet avis, l'équipe conjointe de Stanford et Berkeley se prépare à soumettre des modèles d'IA, dont ChatGPT, à une série de tests. Leur objectif ? Évaluer empiriquement leur évolution au fil du temps.

Le développement de l'IA n'est pas linéaire. C'est un parcours dynamique ponctué de progrès, d'obstacles occasionnels et de détours inattendus. Alors que la communauté internationale continue d'explorer le labyrinthe complexe de l'IA, une chose estdent: le chemin vers la compréhension et le perfectionnement de ces systèmes est loin d'être terminé.