Alibaba Group Holding dice que ha encontrado una manera de reducir los costos de capacitar a los modelos de inteligencia artificial centrados en la búsqueda en casi un 90 por ciento.
En un artículo publicado en el servidor ARXIV la semana pasada, los investigadores de la compañía de tecnología china describen "Zerosarch", un atajo de capacitación que permite que los modelos de idiomas grandes mejoren sus habilidades de búsqueda a una fracción del costo.
Alibaba argumenta que el enfoque elimina uno de los pasos más caros en el aprendizaje de refuerzo: enrutar decenas de miles de consultas a través de interfaces de programación de aplicaciones pagas.
Zerosearch pone tales cuellos de botella para usar. Un modelo de referencia que ya posee una amplia base de conocimientos actúa como un motor de búsqueda independiente, produciendo documentos útiles y deliberadamente ruidosos para cada consulta. Los modelos más nuevos se entrenan en esos documentos ruidosos hechos a sí mismos.
La fina sintonización comienza con indicaciones claras y respuestas limpias. Con el tiempo, un "despliegue del plan de estudios" agrega desorden, errores tipográficos y contradicciones para que el modelo de aprendiz experimente algo más cerca de Internet abierto.
Según el documento, el ruido de datos fortalece el razonamiento y enseña al sistema a sobrevivir en entornos de datos desordenados. "Nuestra visión clave es que los LLM han adquirido un amplio conocimiento mundial durante el pretratamiento a gran escala y son capaces de generar documentos relevantes dados una consulta de búsqueda", explican los investigadores.
Los equipos no tienen que pagar proveedores externos por cada consulta. El cambio es especialmente significativo para los equipos más pequeños que tienen recursos limitados. Por ejemplo, enviar 64,000 consultas a Google a través de una API puede costar alrededor de US $ 586.70. modelo de IA de 14 billones de parámetros cuesta aproximadamente US $ 70.80, un ahorro del 88 por ciento.
ZEROSEARCH de Alibaba no requiere hardware adicional
Zerosearch, argumenta el equipo, no agrega demandas de hardware adicionales. Se basa en la ejecución fina supervisada estándar, por lo que las necesidades de cálculo de la nube se mantienen dentro del rango de presupuestos de desarrollo típicos.
El documento ya ha llamado la atención dentro de los círculos académicos de aprendizaje automático. Los observadores de la industria dicen que los ahorros podrían influir en los próximos ciclos de presupuesto durante el próximo año financiero.
Los rivales de la industria han estado corriendo para recortar los costos de la capacitación de modelos de idiomas grandes mientras empujan nuevos productos generativos de IA.
La nueva característica de Alibaba llega a medida que las empresas chinas compiten con empresas estadounidenses como Google y OpenAI, las cuales han invertido mucho en los agentes de IA. Al informar un recorte de costos casi por diques, Alibaba señala que el costo de la búsqueda de IA podría cambiar pronto.
Academia Cryptopolitan: ¿Quieres hacer crecer tu dinero en 2025? Aprenda cómo hacerlo con DeFi en nuestra próxima clase web. Guarda tu lugar
