Des chercheurs de Stanford et de l'Université de Washington développent un concurrent open source de ChatGPT à 50 dollars

Des chercheurs en IA de Stanford et de l'Université de Washington auraient réussi ce que personne ne pensait possible : ils ont construit un modèle d'IA appelé s1 pour moins de 50 dollars en crédits de cloud computing, selon un rapport de recherche publié lundi.

Le modèle s1 offrirait des performances équivalentes à celles des meilleurs modèles de raisonnement, tels que o1 d'OpenAI et R1 de DeepSeek, d'après des tests de mathématiques et de programmation. Mieux encore, le projet complet est disponible sur GitHub : code, données et tout le reste.

L'équipe a commencé par utiliser un modèle existant plutôt que d'en créer un nouveau. Elle l'a ensuite affiné grâce à un processus appelé distillation. Selon leurs recherches, ils ont extrait la puissance de raisonnement du modèle expérimental Gemini 2.0 Flash Thinking de Google.

Ils ont entraîné s1 à imiter les techniques de résolution de problèmes de Gemini en apprenant de ses réponses. « Nous avons visé la simplicité », a déclaré Niklas Muennighoff, l'un des chercheurs de Stanford impliqués dans le projet.

Petit ensemble de données, grands résultats

La distillation s'impose rapidement comme une méthode de prédilection pour les équipes d'IA cherchant à réduire leurs coûts. Un modèle d'IA similaire, développé le mois dernier par des chercheurs de Berkeley, a coûté 450 dollars à entraîner, un prix encore bas selon les normes du secteur. Mais Stanford et l'Université de Washington sont allés encore plus loin, en réduisant les coûts à environ 50 dollars grâce à la distillation de leur modèle à l'aide d'un ensemble de données plus restreint et de techniques optimisées.

Les chercheurs ont sélectionné avec soin seulement 1 000 questions, chacune associée à des réponses détaillées et à un raisonnement étape par étape tiré de Gemini 2.0 de Google. Cet ensemble de données a fourni à s1 toutes les connaissances nécessaires pour atteindre un haut niveau de performance. D'après l'article de l'équipe, le modèle a appris à résoudre les problèmes par le raisonnement.

Le réglage fin supervisé (SFT) a été essentiel à la réussite de ce projet. Au lieu d'utiliser l'apprentissage par renforcement, qui exige d'immenses ensembles de données et une puissance de calcul considérable, les chercheurs ont opté pour le SFT, une méthode où l'IA est directement entraînée à imiter les comportements observés dans l'ensemble de données. Cette méthode est moins coûteuse et plus rapide, et dans ce cas précis, elle a fait ses preuves.

Le modèle de base provenait de Qwen, le laboratoire d'IA d'Alibaba. Ce modèle prêt à l'emploi était téléchargeable gratuitement, ce qui a permis de réduire considérablement le coût du projet. En moins de 30 minutes et avec seulement 16 GPU Nvidia H100, l'équipe a terminé l'entraînement de s1. « Nous pourrions louer la puissance de calcul nécessaire pour environ 20 dollars aujourd'hui », a déclaré Muennighoff.

La commande « Attendre » a amélioré la précision de s1

Les chercheurs auraient utilisé une astuce ingénieuse pour améliorer le raisonnement de s1 : ils ont ajouté le mot « attendre » lors de la résolution de problèmes. En demandant au modèle de faire une pause et de revérifier son travail, ils ont accru sa précision. L’article de recherche explique en détail comment cette modification a permis à s1 de prendre le temps d’envisager de meilleures réponses avant de les soumettre.

OpenAI surveille la situation de près. L'organisation a déjà accusé DeepSeek d'avoir collecté illégalement des données via son API pour développer des concurrents en IA. Face à la démonstration par s1 de la facilité de réplication des modèles, les grands acteurs comme OpenAI sont loin d'être satisfaits. La banalisation des modèles d'IA pourrait impacter négativement leurs résultats financiers.

Mais l'entreprise technologique a d'autres problèmes. Mardi, l'équipe juridique d'Elon Musk a affronté OpenAI devant un tribunal fédéral d'Oakland. Elon, qui a été l'un des premiers investisseurs d'OpenAI, affirme que l'entreprise a abandonné sa mission à but non lucratif et trahi ses objectifs initiaux.

Il intente une action en justice pour empêcher leur transformation en une entreprise à but lucratif. L'avocat d'Elon, Marc Toberoff, a déclaré vendredi devant le tribunal qu'Elon avait investi 45 millions de dollars dans OpenAI entre sa création et 2018 car il était convaincu que l'entreprise privilégierait toujours l'intérêt public aux profits, comme elle l'avait affirmé dès le départ.

La juge Yvonne Gonzalez Rogers a qualifié l'opération d'« exagérée » et s'est demandée pourquoi Elon Musk aurait investi une telle somme sanstracécrit. « C'est une somme considérable sur la base d'une simple poignée de main », a-t-elle ironisé. L'avocat Toberoff a alors expliqué qu'Elon Musk et le PDG d'OpenAI, Sam Altman, entretenaient une relation étroite à l'époque, et que tout reposait sur la confiance.

L'affaire n'est cependant pas close. Le juge s'inquiète des liens étroits qui unissent OpenAI à Microsoft. Deux figures clés – Reid Hoffman, cofondateur de LinkedIn, et Deanna Templeton, cadre chez Microsoft – siégeaient au conseil d'administration d'OpenAI. Templeton y a été nommée membre sans droit de vote après le bref départ d'Altman en 2023, avant d'être destituée pour des raisons de concurrence.

Elon Musk souhaite bloquer leurs projets et potentiellement accroître son contrôle sur l'entreprise via sa propre filiale d'IA, xAI, qu'il a ajoutée comme partie plaignante dans cette affaire. OpenAI rétorque que la demande d'Elon Muskripple ses activités et repose sur des allégations extravagantes.