La nouvelle méthode d'Alibaba réduit les coûts de recherche par IA de près de 90 %

Le groupe Alibaba affirme avoir trouvé un moyen de réduire de près de 90 % les coûts de formation des modèles d'intelligence artificielle axés sur la recherche.

Dans un article publié la semaine dernière sur le serveur arXiv, des chercheurs de cette entreprise technologique chinoise décrivent « ZeroSearch », un raccourci d'entraînement qui permet aux grands modèles de langage d'améliorer leurs capacités de recherche à un coût bien moindre.

Alibaba affirme que cette approche élimine l'une des étapes les plus coûteuses de l'apprentissage par renforcement : l'acheminement de dizaines de milliers de requêtes via des interfaces de programmation d'applications payantes.

ZeroSearch exploite ces goulots d'étranglement. Un modèle de référence, doté d'une vaste base de connaissances, sert de moteur de recherche, produisant pour chaque requête des documents pertinents et d'autres volontairement bruités. Les nouveaux modèles sont ensuite entraînés sur ces documents bruités.

La mise au point commence par des consignes claires et des réponses précises. Progressivement, un déploiement progressif du programme ajoute des éléments superflus, des fautes de frappe et des contradictions afin que le modèle d'apprentissage se rapproche davantage de l'internet ouvert.

D’après l’article, le bruit dans les données renforce le raisonnement et apprend au système à évoluer dans des environnements de données complexes. « Notre principale observation est que les LLM ont acquis une connaissance approfondie du monde lors d’un pré-entraînement à grande échelle et sont capables de générer des documents pertinents à partir d’une requête de recherche », expliquent les chercheurs.

Les équipes n'ont plus à payer de prestataires externes pour chaque requête. Ce changement est particulièrement important pour les petites équipes aux ressources limitées. de 14 milliards de paramètres modèle d'IA coûte environ 70,80 $US, soit une économie de 88 %.

ZeroSearch d'Alibaba ne nécessite aucun matériel supplémentaire

L'équipe affirme que ZeroSearch n'entraîne pas de besoins matériels supplémentaires. Reposant sur un réglage fin supervisé standard, les besoins en calcul cloud restent compatibles avec les budgets de développement habituels.

L'article a déjà suscité l'intérêt des milieux universitaires spécialisés en apprentissage automatique. Les observateurs du secteur estiment que les économies réalisées pourraient avoir une incidence sur les prochains cycles budgétaires au cours du prochain exercice financier.

Les concurrents du secteur se livrent une véritable course pour réduire les coûts d'entraînement des grands modèles de langage, tout en promouvant de nouveaux produits d'IA générative.

Cette nouvelle fonctionnalité d'Alibaba intervient alors que les entreprises chinoises rivalisent avec des sociétés américaines comme Google et OpenAI, qui ont toutes deux investi massivement dans les agents d'IA. En annonçant une réduction des coûts de près de dix fois, Alibaba laisse présager une évolution prochaine du coût de la recherche par IA.