L'étude révèle les difficultés de ChatGPT avec les mathématiques de base

photo 2023 08 06 23 22 19
- La dérive dans les modèles d'IA pose des défis, entraînant des conséquences involontaires lorsque certaines fonctionnalités sont améliorées au détriment d'autres.
- Le déclin de ChatGPT en mathématiques de base et dans d'autres tâches met en lumière la complexité des avancées constantes des modèles d'IA.
- La vigilance et une surveillance rigoureuse sont cruciales pour comprendre et affiner les systèmes d'IA à mesure qu'ils évoluent dans le temps.
Dans le monde technologique en évolution rapide, les chatbots d'intelligence artificielle (IA) sont devenus une avancée majeure. Parmi eux, ChatGPT d'OpenAI s'est distingué, captivant le public depuis sa présentation publique l'année dernière. Sa capacité à engager des conversations fluides lui a valu des éloges et a déclenché une course mondiale féroce pour développer des modèles d'IA encore plus avancés. Cependant, au milieu des applaudissements et des préoccupations concernant la domination potentielle de l'IA, des résultats récents ont révélé un développement inattendu : la diminution de la maîtrise des mathématiques de base par ChatGPT.
Comprendre le phénomène de « dérive » de l'IA
Le terme de « dérive » dans l'IA n'est pas qu'un mot à la mode. C'est un phénomène réel et observé qui a attiré l'attention de la communauté académique. Un effort de recherche collaboratif entre l'Université Stanford et l'Université de Californie à Berkeley a mis en lumière cet aspect intrigant du comportement de l'IA.
L'essence de la « dérive » réside dans les conséquences involontaires de l'optimisation des modèles. Alors que les chercheurs et les développeurs s'efforcent d'améliorer certaines fonctionnalités de ces modèles d'IA complexes, d'autres domaines peuvent en souffrir involontairement. C'est précisément ce qui se produit avec ChatGPT.
James Zou, un professeur renommé de Stanford et contributeur clé de la recherche, a expliqué : « Lorsque vous modifiez le modèle pour l'améliorer dans une direction spécifique, il existe un risque tangible qu'il régresse dans d'autres domaines. » Ce défi intrinsèque souligne la complexité de la réalisation d'avancées cohérentes dans les modèles d'IA.
Plongée dans le déclin
La recherche n'était pas un simple coup d'œil superficiel aux capacités de ChatGPT. Il s'agissait d'une analyse minutieuse dirigée par Lingjiao Chen, une étudiante diligente en doctorat en informatique de Stanford, et Matei Zaharia, une figure éminente de Berkeley. Leur objectif était clair : évaluer comment deux versions distinctes de ChatGPT se comportaient sur une période donnée.
Leurs résultats étaient surprenants. On pourrait supposer que l'identification des nombres premiers, une tâche relativement simple pour les ordinateurs, serait un jeu d'enfant pour une IA aussi avancée. Cependant, les résultats racontaient une autre histoire.
Lors d'un test réalisé en mars, GPT-4, la version premium de ChatGPT, a été présenté avec 1 000 nombres différents. Il a réussi à déterminer correctement la primalité de 84 % d'entre eux. En juin, sa précision a chuté à un simple 51 %. Ce n'était pas un incident isolé. Sur huit tâches diverses, les performances de GPT-4 se sont détériorées dans six d'entre elles. Bien que GPT-3.5 se soit amélioré dans six domaines, il a principalement été devancé par son successeur.
Les implications de la dérive rapide
Bien que la « dérive » soit un concept reconnu parmi les amateurs d'IA, la vitesse à laquelle elle s'est manifestée dans ChatGPT était inattendue. Les observations de l'équipe de recherche ont dépassé les tâches mathématiques. Ils ont noté une baisse marquée de la réactivité de GPT-4 aux requêtes centrées sur l'opinion. Passant d'un taux de réponse honorable de 98 % en mars, il a chuté à 23 % en juin.
Cette régression pourrait être liée à la tendance croissante de l'« ingénierie des invites » (prompt engineering). Cela implique que les utilisateurs créent des invites spécifiques pour extraire des réponses particulières, et parfois controversées, de l'IA. La dégradation des compétences mathématiques de ChatGPT pourrait être une conséquence involontaire des mesures prises pour contrer de telles invites manipulatoires.
Naviguer vers l'avenir de l'IA
Malgré ces obstacles, le consensus, en particulier au sein de la communauté de recherche, n'est pas de rejeter la technologie. Au lieu de cela, l'accent est mis sur la vigilance. Zou plaide passionnément pour une approche de surveillance plus rigoureuse. Faisant écho à ses sentiments, l'équipe conjointe de Stanford et de Berkeley se prépare à soumettre les modèles d'IA, y compris ChatGPT, à une batterie de tests. Leur objectif ? Évaluer empiriquement leur évolution au fil du temps.
La voie de la progression de l'IA n'est pas linéaire. C'est un voyage dynamique marqué par des avancées, des chutes occasionnelles et des détours inattendus. Alors que la communauté mondiale continue de naviguer dans le labyrinthe complexe de l'IA, une chose est évidente : le voyage de compréhension et de perfectionnement de ces systèmes est loin d'être terminé.
Ne vous contentez pas de lire les actualités crypto. Comprenez-les. Abonnez-vous à notre newsletter. C'est gratuit.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne décline aucune responsabilité quant aux investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d’investissement.

John Palmer
John Murangiri a rejoint Cryptopolitan avec des compétences en analyse de marché. John (alias JP) est diplômé de l'Université de Nairobi d'un baccalauréat en communication de masse et études médiatiques. Il a précédemment contribué à des analyses du marché crypto pour InsideBitcoins.com et Metacoingraph.















