Investigadores de Stanford y la Universidad de Washington construyen un rival de ChatGPT o1 de código abierto por 50 dólares

Los investigadores de IA de Stanford y la Universidad de Washington supuestamente han logrado lo que nadie creía posible: construyeron un modelo de IA llamado s1 por menos de 50 dólares en créditos de computación en la nube, según un informe de investigación publicado el lunes.

El modelo s1 según se informa ofrece un rendimiento a la par con los modelos de razonamiento de primera categoría, incluidos o1 de OpenAI y R1 de DeepSeek, según las pruebas de matemáticas y programación. Incluso mejor, todo el proyecto está disponible en GitHub: código, datos y todo.

El equipo comenzó obteniendo un modelo comercial en lugar de construir algo nuevo. A partir de ahí, lo ajustaron mediante un proceso llamado destilación. Según su investigación, destilaron el poder de razonamiento del modelo experimental Gemini 2.0 Flash Thinking de Google.

Entrenaron a s1 para imitar las técnicas de resolución de problemas de Gemini aprendiendo de sus respuestas. “Buscábamos la simplicidad”, dijo Niklas Muennighoff, uno de los investigadores de Stanford involucrados.

Pequeño conjunto de datos, grandes resultados

La destilación se está convirtiendo rápidamente en un arma de elección para los equipos de IA que buscan reducir costos. Un modelo de IA similar desarrollado el mes pasado por investigadores de Berkeley costó 450 dólares en entrenamiento, aún barato según los estándares de la industria. Pero Stanford y UW dieron un paso más, reduciendo los costos a unos 50 dólares destilando su modelo con un conjunto de datos más pequeño y técnicas optimizadas.

Los investigadores seleccionaron manualmente solo 1.000 preguntas, cada una emparejada con respuestas detalladas y razonamiento paso a paso de Gemini 2.0 de Google. Este conjunto de datos proporcionó todo el conocimiento que s1 necesitaba para desempeñarse a un alto nivel. Según el artículo del equipo, el modelo aprendió a pensar a través de los problemas.

El ajuste fino supervisado, o SFT, fue clave para que esto funcionara. En lugar de usar el aprendizaje por refuerzo, que requiere conjuntos de datos enormes y mucha potencia de computación, los investigadores optaron por SFT, un método en el que la IA se entrena directamente para imitar comportamientos encontrados en el conjunto de datos. Es más barato y rápido, y en este caso, funcionó.

El modelo base provenía de Qwen, el laboratorio de IA propiedad de Alibaba. Su modelo comercial era gratuito para descargar, lo que hacía el proyecto aún más económico. En menos de 30 minutos y usando solo 16 GPUs Nvidia H100, el equipo terminó de entrenar s1. “Podríamos alquilar la computación necesaria por unos 20 dólares hoy”, dijo Muennighoff.

El comando “Espera” aumentó la precisión de s1

Los investigadores supuestamente incluyeron un truco inteligente para mejorar el razonamiento de s1: agregaron la palabra “espera” durante la resolución de problemas. Al decirle al modelo que hiciera una pausa y verificara su trabajo, aumentaron la precisión. El artículo de investigación detalla cómo este ajuste dio a s1 suficiente tiempo para considerar mejores respuestas antes de enviarlas.

OpenAI está observando de cerca. Ya han acusado a DeepSeek de recopilar datos de su API de manera inapropiada para construir competidores de IA. Con s1 mostrando lo barata que puede ser la replicación, grandes jugadores como OpenAI no están contentos. La mercantilización de los modelos de IA podría dañar sus resultados financieros.

Pero la empresa tecnológica tiene otros problemas. El martes, el equipo legal de Elon Musk se enfrentó a OpenAI en un tribunal federal de Oakland. Elon, quien fue un inversor temprano en OpenAI, afirma que la compañía abandonó su misión sin fines de lucro y traicionó sus objetivos originales.

Está demandando para bloquear su transición a un negocio totalmente con fines de lucro. El abogado de Elon, Marc Toberoff, le dijo al tribunal el viernes que Elon invirtió 45 millones de dólares en OpenAI entre su fundación y 2018 porque creía que siempre priorizaría el beneficio público sobre las ganancias, tal como dijo que lo haría al principio.

La jueza Yvonne Gonzalez Rogers lo llamó una “exageración” y cuestionó por qué Elon invertiría tanto dinero sin un contrato por escrito. “Eso es simplemente mucho dinero en un apretón de manos”, se burló. El abogado Toberoff luego explicó que Elon y el CEO de OpenAI, Sam Altman, tenían una relación cercana en ese momento, y todo se basaba en la confianza.

Pero el caso no está muerto aún. La jueza está preocupada por la estrecha relación de OpenAI con Microsoft. Dos jugadores clave: el cofundador de LinkedIn, Reid Hoffman, y la ejecutiva de Microsoft, Deanna Templeton, estaban involucrados en la junta directiva de OpenAI. Templeton fue añadida como miembro no votante después del breve despido de Altman en 2023, pero luego fue eliminada debido a preocupaciones antimonopolio.

Elon quiere detener sus planes y potencialmente ganar más control sobre la empresa a través de su propia empresa de IA, xAI, que añadió como demandante en el caso. OpenAI argumenta que la solicitud de Elon paralizaría su negocio y se basa en afirmaciones “lejanas de la realidad”.