El nuevo método de Alibaba reduce los costes de búsqueda de IA en casi un 90%

Alibaba Group Holding afirma haber encontrado una forma de reducir los costos de entrenamiento de modelos de inteligencia artificial centrados en la búsqueda en casi un 90 por ciento.

En un artículo publicado la semana pasada en el servidor arXiv, investigadores de la empresa tecnológica china describen "ZeroSearch", un método de entrenamiento simplificado que permite a los grandes modelos de lenguaje mejorar sus capacidades de búsqueda a una fracción del coste.

Alibaba sostiene que este enfoque elimina uno de los pasos más costosos del aprendizaje de refuerzo: enrutar decenas de miles de consultas a través de interfaces de programación de aplicaciones pagas.

ZeroSearch aprovecha estos cuellos de botella. Un modelo de referencia con una amplia base de conocimientos actúa como un motor de búsqueda sustituto, generando documentos útiles y deliberadamente ruidosos para cada consulta. Los modelos más nuevos se entrenan con estos documentos ruidosos creados por ellos mismos.

El ajuste comienza con indicaciones claras y respuestas concisas. Con el tiempo, la implementación del currículo añade desorden, errores tipográficos y contradicciones para que el modelo de aprendizaje se acerque más a la internet abierta.

Según el artículo, el ruido en los datos refuerza el razonamiento y enseña al sistema a desenvolverse en entornos de datos complejos. «Nuestra principal conclusión es que los modelos de aprendizaje por correspondencia (LLM) han adquirido un amplio conocimiento del mundo durante el preentrenamiento a gran escala y son capaces de generar documentos relevantes a partir de una consulta de búsqueda», explican los investigadores.

Los equipos ya no tienen que pagar a proveedores externos por cada consulta. Este cambio es especialmente significativo para los equipos más pequeños con recursos limitados. de 14 000 millones de parámetros modelo de IA costó aproximadamente 70,80 dólares estadounidenses, lo que supone un ahorro del 88 %.

ZeroSearch de Alibaba no requiere hardware adicional

El equipo argumenta que ZeroSearch no requiere hardware adicional. Se basa en un ajuste fino supervisado estándar, por lo que las necesidades de computación en la nube se ajustan a los presupuestos de desarrollo habituales.

El artículo ya ha llamado la atención en el ámbito académico del aprendizaje automático. Los analistas del sector afirman que los ahorros podrían influir en los próximos ciclos presupuestarios del próximo ejercicio fiscal.

Los rivales de la industria han estado compitiendo para reducir los costos del entrenamiento de modelos de lenguaje de gran tamaño a medida que impulsan nuevos productos de IA generativa.

La nueva función de Alibaba llega en un momento en que las empresas chinas compiten con compañías estadounidenses como Google y OpenAI, que han invertido fuertemente en agentes de IA. Al anunciar una reducción de costos de casi diez veces, Alibaba indica que el costo de las búsquedas con IA podría cambiar pronto.