Les chercheurs d'IA à Stanford et à l'Université de Washington auraient réussi ce que personne ne pensait possible - ils ont construit un modèle d'IA appelé S1 pour moins de 50 $ en crédits de cloud computing, selon un rapport de recherche publié lundi.
Le modèle S1 offrirait des performances à égalité avec les modèles de raisonnement de haut niveau, y compris l'O1 d'Openai et le R1 de Deepseek, selon des repères sur les tests de mathématiques et de codage. Encore mieux, l'intégralité du projet est disponible sur GitHub - Code, données et tout.
L'équipe a commencé par saisir un modèle standard au lieu de construire quelque chose de nouveau. De là, ils l'ont affiné à travers un processus appelé distillation. Selon leurs recherches, ils ont distillé le pouvoir de raisonnement du modèle expérimental de la pensée flash Gemini 2.0 de Google.
Ils ont formé S1 pour imiter les techniques de résolution de problèmes de Gémeaux en apprenant de ses réponses. "Nous avons visé une simplicité", a déclaré Niklas Muennighoff, l'un des chercheurs de Stanford impliqués.
Petit ensemble de données, grands résultats
La distillation devient rapidement une arme de choix pour les équipes d'IA qui cherchent à réduire les coûts. Un modèle d'IA similaire développé le mois dernier par les chercheurs de Berkeley a coûté 450 $ pour s'entraîner - toujours bon marché par rapport aux normes de l'industrie. Mais Stanford et UW sont allés plus loin, réduisant les coûts à environ 50 $ en distillant leur modèle avec un ensemble de données plus petit et des techniques rationalisées.
Les chercheurs ont trié sur le volet seulement 1 000 questions, chacune associée à des réponses détaillées et à un raisonnement étape par étape de Google's Gemini 2.0. Cet ensemble de données a fourni toutes les connaissances que S1 avait besoin pour fonctionner à un niveau élevé. Selon l'article de l'équipe, le modèle a appris à réfléchir à des problèmes.
Le réglage fin supervisé, ou SFT, était essentiel pour faire ce travail. Au lieu d'utiliser l'apprentissage par renforcement, qui nécessite d'énormes ensembles de données et des tonnes de puissance de calcul, les chercheurs ont opté pour SFT, une méthode où l'IA est directement formée pour imiter les comportements trouvés dans l'ensemble de données. C'est moins cher et plus rapide, et dans ce cas, cela a fonctionné.
Le modèle de base provenait de Qwen, le laboratoire AI appartenant à Alibaba. Leur modèle standard était gratuit à télécharger, ce qui rend le projet encore plus favorable à un budget. En moins de 30 minutes et en utilisant seulement 16 GPU Nvidia H100, l'équipe a terminé la formation S1. "Nous pourrions louer le calcul nécessaire pour environ 20 $ aujourd'hui", a déclaré Muennighoff.
La commande «Wait» a augmenté la précision de S1
Les chercheurs auraient inclus une astuce intelligente pour améliorer le raisonnement de S1: ils ont ajouté le mot «attendre» pendant la résolution de problèmes. En disant au modèle de faire une pause et de revérifier ses travaux, ils ont augmenté la précision. Le document de recherche détaille comment ce tweak a donné suffisamment de temps à S1 pour considérer de meilleures réponses avant de les soumettre.
Openai regarde attentivement. Ils ont déjà accusé Deepseek de récolter mal les données de leur API pour construire des concurrents d'IA. Avec S1 montrant à quel point la réplication bon marché peut être, les grands joueurs comme Openai ne sont pas ravis. La marchandisation des modèles d'IA pourrait nuire à leurs résultats.
Mais l'entreprise technologique a d'autres problèmes. Mardi, l'équipe juridique d'Elon Musk a affronté Openai dans une salle d'audience fédérale d'Oakland. Elon, qui a été un premier investisseur à Openai, affirme que la société a abandonné sa mission à but non lucratif et a trahi ses objectifs initiaux.
Il poursuit pour bloquer leur transition vers une entreprise pleinement à but lucratif. L'avocat d'Elon, Marc Toberoff, a déclaré vendredi au tribunal qu'Elon avait investi 45 millions de dollars dans OpenAI entre sa fondation et la caractéristique de 2018, il pensait qu'il privilégierait toujours les avantages publics sur les bénéfices, tout comme il l'a dit au début.
Le juge Yvonne Gonzalez Rogers a qualifié cela de «tronçon» et a demandé pourquoi Elon investirait même autant d'argent sans un Contract. "C'est juste beaucoup d'argent sur une poignée de main", se moqua-t-elle. L'avocat Toberoff a ensuite expliqué que le PDG d'Elon et d'Openai, Sam Altman, avait une relation étroite à l'époque, et que tout était construit sur la confiance.
Mais l'affaire n'est pas encore morte. Le juge est préoccupé par la relation étroite d'Openai avec Microsoft. Deux joueurs clés - le co-fondateur de Linkedin, Reid Hoffman et la direction de Microsoft, Deanna Templeton - ont été impliqués dans le conseil d'administration d'Openai. Templeton a été ajouté en tant que membre non votant après la brève éternité d'Altman en 2023, mais a ensuite été retiré au milieu des préoccupations antitrust.
Elon veut arrêter leurs plans et potentiellement prendre plus de contrôle sur l'entreprise par le biais de sa propre entreprise d'IA, XAI, qu'il a ajouté en tant que demandeur dans l'affaire. Openai fait valoir que la demande d'Elon ferait l'ripple de ses activités et est basée sur des réclamations «farfelues».
Cryptopolitan Academy: à venir bientôt - une nouvelle façon de gagner un revenu passif avec DeFi en 2025. En savoir plus
