Des chercheurs de Stanford et de l'UW construisent un rival open-source de ChatGPT o1 à 50 $

Des chercheurs en IA de Stanford et de l'Université de Washington auraient réalisé ce que personne ne pensait possible—ils ont construit un modèle d'IA appelé s1 pour moins de 50 $ en crédits de calcul cloud, selon un rapport de recherche publié lundi.

Le modèle s1 livrerait des performances comparables à celles des modèles de raisonnement de premier plan, y compris o1 d'OpenAI et R1 de DeepSeek, selon les benchmarks sur les tests de mathématiques et de codage. Mieux encore, l'intégralité du projet est disponible sur GitHub—code, données et tout le reste.

L'équipe a commencé par saisir un modèle tout fait au lieu de construire quelque chose de nouveau. À partir de là, ils l'ont affiné par un processus appelé distillation. Selon leur recherche, ils ont distillé le pouvoir de raisonnement du modèle expérimental Gemini 2.0 Flash Thinking de Google.

Ils ont entraîné s1 à imiter les techniques de résolution de problèmes de Gemini en apprenant de ses réponses. « Nous visions la simplicité », a déclaré Niklas Muennighoff, l'un des chercheurs de Stanford impliqués.

Petit ensemble de données, grands résultats

La distillation devient rapidement une arme de choix pour les équipes d'IA cherchant à réduire les coûts. Un modèle d'IA similaire développé le mois dernier par des chercheurs de Berkeley a coûté 450 $ à entraîner—toujours bon marché selon les normes de l'industrie. Mais Stanford et l'UW ont fait un pas de plus, réduisant les coûts à environ 50 $ en distillant leur modèle avec un ensemble de données plus petit et des techniques rationalisées.

Les chercheurs ont sélectionné à la main seulement 1 000 questions, chacune associée à des réponses détaillées et à un raisonnement étape par étape de Gemini 2.0 de Google. Cet ensemble de données a fourni toute la connaissance dont s1 avait besoin pour performer à un niveau élevé. Selon le document de l'équipe, le modèle a appris comment réfléchir aux problèmes.

Le réglage fin supervisé, ou SFT, a été clé pour faire fonctionner cela. Au lieu d'utiliser l'apprentissage par renforcement, qui nécessite d'énormes ensembles de données et une tonne de puissance de calcul, les chercheurs ont opté pour le SFT, une méthode où l'IA est directement entraînée à imiter les comportements trouvés dans l'ensemble de données. C'est moins cher et plus rapide, et dans ce cas, cela a fonctionné.

Le modèle de base provenait de Qwen, le laboratoire d'IA détenu par Alibaba. Leur modèle tout fait était gratuit à télécharger, rendant le projet encore plus abordable. En moins de 30 minutes et en utilisant seulement 16 GPU Nvidia H100, l'équipe a terminé l'entraînement de s1. « Nous pourrions louer le calcul nécessaire pour environ 20 $ aujourd'hui », a déclaré Muennighoff.

La commande « Wait » a amélioré la précision de s1

Les chercheurs auraient inclus une astuce intelligente pour améliorer le raisonnement de s1 : ils ont ajouté le mot « wait » pendant la résolution de problèmes. En disant au modèle de faire pause et de vérifier son travail, ils ont augmenté la précision. Le document de recherche détaille comment cette modification a donné à s1 suffisamment de temps pour considérer de meilleures réponses avant de les soumettre.

OpenAI observe de près. Ils ont déjà accusé DeepSeek d'avoir collecté de manière inappropriée des données à partir de leur API pour construire des concurrents d'IA. Avec s1 montrant à quel point la réplication peut être bon marché, les grands acteurs comme OpenAI ne sont pas ravis. La commoditisation des modèles d'IA pourrait nuire à leurs résultats financiers.

Mais l'entreprise technologique a d'autres problèmes. Mardi, l'équipe juridique d'Elon Musk s'est affrontée à OpenAI dans un tribunal fédéral d'Oakland. Elon, qui était un investisseur précoce d'OpenAI, affirme que l'entreprise a abandonné sa mission à but non lucratif et trahi ses objectifs initiaux.

Il poursuit l'entreprise pour bloquer sa transition vers une entreprise entièrement à but lucratif. L'avocat d'Elon, Marc Toberoff, a déclaré au tribunal vendredi qu'Elon avait investi 45 millions de dollars dans OpenAI entre sa fondation et 2018 parce qu'il croyait qu'elle prioriserait toujours le bénéfice public sur les profits, comme elle l'a dit au début.

Le juge Yvonne Gonzalez Rogers l'a qualifié d'« exagéré » et a demandé pourquoi Elon investirait même autant d'argent sans contrat écrit. « C'est juste beaucoup d'argent sur une poignée de main », a-t-elle raillé. L'avocat Toberoff a ensuite expliqué qu'Elon et le PDG d'OpenAI, Sam Altman, avaient une relation étroite à l'époque, et tout était basé sur la confiance.

Mais l'affaire n'est pas morte. Le juge est préoccupé par la relation étroite d'OpenAI avec Microsoft. Deux acteurs clés—le cofondateur de LinkedIn Reid Hoffman et l'exécutif de Microsoft Deanna Templeton—étaient impliqués dans le conseil d'administration d'OpenAI. Templeton a été ajoutée en tant que membre sans droit de vote après la brève révocation d'Altman en 2023 mais a ensuite été retirée en raison de préoccupations antitrust.

Elon veut arrêter leurs plans et potentiellement obtenir plus de contrôle sur l'entreprise par le biais de sa propre entreprise d'IA, xAI, qu'il a ajoutée en tant que plaignant dans l'affaire. OpenAI soutient que la demande d'Elon paralyserait son entreprise et est basée sur des affirmations « invraisemblables ».