Décryptage du comportement « paresseux » de ChatGPT et de la théorie des vacances d'hiver

Depuis un mois, les utilisateurs de ChatGPT constatent un changement étrange dans le comportement du chatbot, qu'ils qualifient de « paresseux ». Ce changement se manifeste par des temps de réponse plus longs et une tendance à fournir des solutions plus courtes ou incomplètes, alimentant les spéculations quant aux raisons de ce comportement inattendu. Alors que la communauté de l'IA s'efforce de percer ce mystère, le nom « ChatGPT » est devenu synonyme d'une multitude de questions concernant la récente réticence de l'IA à effectuer certaines tâches.

L'annonce du GPT-4 Turbo

Les premiers signalements concernant la « paresse » de ChatGPT ont commencé à circuler il y a environ deux mois, les utilisateurs exprimant leur mécontentement quant aux performances de ChatGPT Plus, la version payante basée sur le modèle de langage GPT-4. Ils se retrouvaient notamment contraints de découper leurs requêtes en petits fragments, et étaient frustrés par la limite de 50 messages toutes les trois heures.

L'information a été révélée par OpenAI, l'organisation à l'origine de ChatGPT, début décembre 2023, qui a reconnu le ralentissement apparent de l'IA. Sur X (anciennement Twitter), OpenAI a confirmé que GPT-4, le modèle qui alimente ChatGPT, présentait une baisse d'activité notable, qu'elle a attribuée à l'imprévisibilité inhérente aux grands modèles de langage. Fait intéressant, ChatGPT pouvait être relancé par des mots d'encouragement, des conseils, ou une simple invitation à « respirer profondément »

L'effet turbo GPT-4

La lenteur de ChatGPT pourrait tracpar deux événements majeurs survenus en même temps que les premiers signalements. OpenAI a introduit les « GPT » personnalisés lors de sa première conférence développeurs « DevDay », le 6 novembre 2023. Ces GPT permettent aux utilisateurs payants de créer des mini-chatbots spécialisés au sein de ChatGPT, entraînés avec des informations spécifiques pour des réponses personnalisées.

Parallèlement, OpenAI a dévoilé GPT-4 Turbo, un modèle plus avancé succédant à GPT-4. Doté de données d'entraînement plus complètes (jusqu'en avril 2023), d'un prix plus abordable et de fonctionnalités améliorées telles que la vision et la synthèse vocale, GPT-4 Turbo peut alimenter des applications tierces via des API. Bien qu'aucune mise à niveau de ChatGPT vers le modèle Turbo ne soit explicitement mentionnée, on suppose que la transition vers un modèle plus récent pourrait expliquer les délais et les réponses sous-optimales.

L'influence saisonnière humaine sur ChatGPT

Une autre théorie émerge : le développeur Simon Willison suggère que les réponses de ChatGPT pourraient être influencées par l’horodatage caché des requêtes. Selon Willison, l’IA pourrait interpréter novembre et décembre comme des mois de ralentissement, correspondant aux vacances d’hiver et aux fêtes de fin d’année. Le data scientist Rob Lynch a mené une analyse statistique sur X, révélant que les dates des requêtes peuvent effectivement avoir un impact sur les résultats : les réponses aux requêtes datées de mai sont plus longues que celles de décembre.

Bien que l'hypothèse de la pause hivernale gagne tracterrain, elle fait face à des critiques, le chercheur Ian Arawjo remettant en question la reproductibilité des résultats et soulignant la faible échelle de la comparaison entre les requêtes étiquetées pour mai et décembre.

Alors que le mystère entourant ChatGPTs'épaissit, la communauté de l'IA reste divisée quant à sa véritable cause. Est-ce dû à la transition vers GPT-4 Turbo, aux variations saisonnières de l'activité humaine, ou à une combinaison des deux ? L'absence de mises à jour de la part d'OpenAI soulève d'autres questions, laissant les utilisateurs spéculer sur les dynamiques internes de l'organisation. Tandis que les utilisateurs de ChatGPT s'adaptent à ces changements, une question fondamentale demeure : s'agit-il d'un dysfonctionnement temporaire, d'une décision délibérée, ou du signe d'une transformation plus profonde du paysage de l'IA ?

Que pensez-vous du comportement récent de ChatGPT ? Croyez-vous qu’il s’agisse d’un problème technique, d’un reflet des variations saisonnières de l’activité humaine, ou de quelque chose de complètement différent ?