Le dernier modèle de « raisonnement » d'OpenAI commet des erreurs basiques

OpenAI a récemment publié un modèle d'IA de « raisonnement » – o1, mais il est déjà entaché d'erreurs basiques, selon la nouvelle publicité de l'entreprise.

Le créateur de ChatGPT a publié ce qu'il a qualifié de son modèle le plus avancé à ce jour pour les abonnés payants, lançant son événement « 12 Jours d'OpenAI », qui est une série de publications pour célébrer la saison des fêtes.

Une vidéo de démonstration d'OpenAI suggère que le modèle est sujet aux erreurs

Selon une vidéo publiée par OpenAI pour montrer les forces du modèle, un utilisateur télécharge une image d'une cabane pour oiseaux en bois et demande ensuite au modèle des conseils sur la manière d'en construire une similaire. Le modèle de « raisonnement » semble « réfléchir » un moment avant de donner ce qui semble être un ensemble d'instructions.

À y regarder de plus près, les instructions semblent être une perte de temps. Le modèle mesure le matériel requis pour la tâche, comme la peinture, la colle et le scellant, mais il ne fournit les dimensions que pour le panneau avant de la cabane pour oiseaux.

Le modèle suggère de couper un morceau de papier abrasif selon un autre ensemble de dimensions qui ne sont pas nécessaires. De plus, le modèle affirme donner « les dimensions exactes » mais ne donne aucune dimension exacte, contrairement à ses affirmations précédentes.

James Filus, directeur de l'Institut des Charpentiers, un organisme professionnel basé au Royaume-Uni, a également exposé les erreurs du modèle, telles que les outils nécessaires mais manquants de la liste d'o1, par exemple un marteau.

« Vous en sauriez autant sur la construction de la cabane pour oiseaux à partir de l'image que du texte, ce qui annule tout l'intérêt de l'outil IA. »

Filus.

De plus, Filus a également révélé que le coût de construction de la même cabane pour oiseaux serait « bien loin » des 20 à 50 dollars estimés par le modèle.

Le modèle OpenAI fait le contraire de l'utilisation prévue

Le cas d'o1 s'ajoute à d'autres exemples de démos de produits de modèles IA où ils font le contraire de l'intention initiale. En 2023, une publicité Google pour un outil de recherche assisté par IA a indiqué à tort que le télescope James Webb avait fait une découverte qu'il n'avait pas faite. Cette erreur a entraîné une baisse du cours de l'action de l'entreprise.

Ce n'était pas tout de la part du géant du moteur de recherche, car récemment une version mise à jour d'un outil Google similaire a dit aux utilisateurs qu'il était sûr de manger des pierres. Il a également affirmé que les utilisateurs pouvaient utiliser de la colle pour coller du fromage sur leur pizza.

Malgré les erreurs, le modèle o1, selon les benchmarks publics, reste le modèle le plus capable d'OpenAI à ce jour. Il adopte également une approche différente de ChatGPT pour répondre aux questions.

Selon Time, o1 est toujours un prédicteur de mots suivant très avancé, car il a été entraîné par apprentissage automatique sur des milliards de mots de texte provenant d'Internet et au-delà.

Le modèle utilise une technique connue sous le nom de raisonnement en « chaîne de pensée » pour « réfléchir » à une réponse un moment en arrière-plan et ne donne sa réponse qu'après. Cela est différent de simplement sortir des mots en réponse à une invite.

Cela aide le modèle à donner des réponses plus précises par opposition à un cas où il se contente de sortir des mots en réponse aux requêtes des utilisateurs.