Le modèle de « raisonnement » le plus récent d'OpenAI présente des erreurs fondamentales

OpenAI a récemment publié un modèle d'IA « de raisonnement » – o1 – mais celui-ci comporte déjà de nombreuses erreurs fondamentales, selon la nouvelle publicité de l'entreprise.

Le créateur de ChatGPT a publié ce qu'il a qualifié de modèle le plus avancé à ce jour pour ses abonnés payants, lançant ainsi son événement «12 Days of OpenAI», une série de publications destinées à célébrer les fêtes de fin d'année.

Une vidéo de démonstration d'OpenAI suggère que le modèle est sujet aux erreurs

D'après une vidéo publiée par OpenAI pour démontrer les atouts du modèle, un utilisateur télécharge l'image d'un nichoir en bois, puis demande au modèle des conseils pour en construire un similaire. Le modèle de « raisonnement » semble réfléchir un instant avant de fournir ce qui ressemble à une série d'instructions.

À y regarder de plus près, les instructions semblent être une perte de temps. Le modèle indique les quantités de matériaux nécessaires (peinture, colle, mastic, etc.), mais ne fournit que les dimensions du panneau avant du nichoir.

Le modèle suggère de découper un morceau de papier de verre selon des dimensions qui ne sont pas nécessaires. De plus, il prétend fournir « les dimensions exactes », alors qu'il ne le fait pas, contrairement à ses affirmations précédentes.

James Filus, directeur de l'Institute of Carpenters, un organisme professionnel basé au Royaume-Uni, a également mis en évidence les erreurs du modèle, comme par exemple l'absence d'outils nécessaires dans la liste de o1, comme un marteau.

« L’image vous apprendrait autant sur la construction du nichoir que le texte, ce qui, en quelque sorte, va à l’encontre de tout l’intérêt de l’outil d’IA. »

Fils.

Par ailleurs, Filus a également révélé que le coût de construction du même nichoir serait « bien loin » des 20 à 50 dollars estimés par le modèle.

Le modèle OpenAI fait le contraire de l'utilisation prévue

Le cas o1 s'ajoute à d'autres exemples de démonstrations de produits de modèles d'IA qui produisent l'effet inverse de celui escompté. En 2023, une publicité pour un outil de recherche assistée par IA indiquait à tort que le télescope James Webb avait fait une découverte qui n'avait pas eu lieu. Cette erreur a entraîné une chute du cours de l'action de l'entreprise.

Ce n'est pas tout ce que le géant des moteurs de recherche a révélé récemment : une version mise à jour d'un outil similaire de Google indiquait aux utilisateurs qu'il était sans danger de manger des cailloux. Elle prétendait également que l'on pouvait utiliser de la colle pour faire tenir du fromage sur sa pizza.

Malgré ses erreurs, le modèle o1 reste, d'après les benchmarks publics, le modèle le plus performant d'OpenAI à ce jour. Il adopte également une approche différente de celle de ChatGPT pour répondre aux questions.

Selon Time, o1 reste un prédicteur de mot suivant très avancé, car il a été entraîné à l'aide de l'apprentissage automatique sur des milliards de mots de texte provenant d'Internet et d'ailleurs.

Ce modèle utilise une technique de raisonnement appelée « chaîne de pensée » pour « réfléchir » à une réponse pendant un instant avant de la fournir. Cela diffère du simple fait de répondre par des mots à une question.

Cela permet au modèle de fournir des réponses plus précises, contrairement à une situation où il se contente de cracher des mots en réponse aux requêtes des utilisateurs.