Le modèle d'IA Gemini de Google fait face à un examen attentif après une démo impressionnante

Dans une révélation récente, le dévoilement par Google de son modèle d'intelligence artificielle (IA) Gemini a suscité des interrogations, soulevant des questions sur les capacités réelles de la technologie et sa position concurrentielle face à ChatGPT d'OpenAI.

Bien que la démonstration initiale de Gemini par Google ait semblé impressionnante, il a maintenant été révélé que la présentation était soigneusement sélectionnée et ne représentait pas avec précision les interactions en temps réel avec le système d'IA. Ce développement a jeté le doute sur les capacités de Gemini et suggère que Google a encore du chemin à faire dans la course à l'IA.

Un regard plus attentif sur la démo

Le modèle d'IA Gemini de Google a attiré l'attention avec une démo accrocheuse, mais un examen plus approfondi a révélé que la présentation ne représentait pas fidèlement ses capacités. Selon Bloomberg, Google a apporté plusieurs modifications aux interactions avec Gemini pour créer la démo, soulevant des préoccupations quant à l'exactitude de ses affirmations.

Une altération notable a été la réduction de la latence pour la démonstration. Cela implique que les temps de réponse réels de l'IA peuvent être significativement plus lents que ce qui a été montré dans la vidéo. De plus, la sortie de Gemini a été raccourcie pour plus de concision, ce qui signifie que les réponses montrées dans la démo peuvent ne pas refléter les réponses typiques de l'IA dans des scénarios du monde réel.

Peut-être la révélation la plus significative est que la démo n'a pas été réalisée en temps réel ou sous forme vocale. Au lieu de cela, elle a été construite à l'aide d'images fixes extraites de séquences vidéo et de invites fournies par texte. Cela signifie que Gemini identifiait essentiellement du contenu dans des images statiques plutôt que de s'engager dans une conversation dynamique en temps réel comme suggéré par la présentation de Google. L'écart entre la démo et la réalité a laissé de nombreux sceptiques quant à l'exactitude des capacités de Gemini.

Comparaison de Gemini avec ChatGPT d'OpenAI

La démo de Google affirmait également que Gemini surpassait le modèle GPT-4 d'OpenAI dans presque tous les tests de référence. Cependant, un examen plus détaillé des chiffres révèle une avance moins substantielle pour Gemini. Bien que GPT-4 soit disponible depuis près d'un an, Gemini n'a réussi à devancer que de quelques points de pourcentage dans de nombreux tests de référence. Cela suggère que Gemini n'a peut-être rattrapé le produit d'OpenAI que récemment et soulève la possibilité que le paysage puisse évoluer une fois GPT-5 introduit.

Les utilisateurs de Gemini Pro, la version alimentant Google Bard, ont exprimé leur mécontentement envers le modèle d'IA. Des rapports sur X (anciennement Twitter) indiquent que Gemini est sujet aux « hallucinations » courantes rencontrées par d'autres chatbots. Par exemple, lorsqu'on lui a demandé de fournir un mot de six lettres en français, Gemini a produit avec confiance un mot de cinq lettres, mettant en évidence ses limites dans les langues non anglaises.

Les utilisateurs ont également rencontré de la frustration lors de la demande de génération de code précise et de résumé de sujets d'actualité sensibles à partir de Gemini. Même des tâches relativement simples, comme nommer les derniers lauréats des Oscars, ont donné lieu à des réponses incorrectes. Ces expériences utilisateur suggèrent que, pour le moment, Gemini pourrait être en deçà des attentes élevées fixées par la démo élégante de Google.