La nouvelle méthode d'Alibaba réduit les coûts de recherche IA de presque 90%

Alibaba Group Holding déclare avoir trouvé un moyen de réduire les coûts d'entraînement des modèles d'intelligence artificielle axés sur la recherche de près de 90 pour cent.

Dans un document publié sur le serveur arXiv la semaine dernière, les chercheurs de l'entreprise technologique chinoise décrivent « ZeroSearch », un raccourci d'entraînement qui permet aux grands modèles de langage d'améliorer leurs compétences de recherche à une fraction du coût.

Alibaba soutient que cette approche élimine l'une des étapes les plus coûteuses de l'apprentissage par renforcement : le routage de dizaines de milliers de requêtes via des interfaces de programmation d'applications payantes.

ZeroSearch utilise ces goulets d'étranglement à son avantage. Un modèle de référence qui détient déjà une large base de connaissances agit comme un moteur de recherche de substitution, produisant à la fois des documents utiles et délibérément bruyants pour chaque requête. Les modèles plus récents sont ensuite entraînés sur ces documents bruyants auto-produits.

Le réglage fin commence par des invites clairement formulées et des réponses propres. Avec le temps, un « déploiement de curriculum » ajoute du bruit, des fautes de frappe et des contradictions afin que le modèle en formation expérimente quelque chose de plus proche de l'internet ouvert.

Selon l'article, le bruit des données renforce le raisonnement et apprend au système à survivre dans des environnements de données désordonnées. « Notre idée clé est que les LLM ont acquis des connaissances mondiales étendues lors du pré-entraînement à grande échelle et sont capables de générer des documents pertinents étant donné une requête de recherche », expliquent les chercheurs.

Les équipes n'ont pas à payer des fournisseurs externes pour chaque requête. Le changement est particulièrement significatif pour les petites équipes qui ont des ressources limitées. Par exemple, l'envoi de 64 000 requêtes à Google via une API peut coûter environ 586,70 dollars US. Exécuter la même formation avec un modèle de 14 milliards de paramètres l’évaluation du modèle d’IA a coûté environ 70.80 dollars US, soit une économie de 88 pour cent.

ZeroSearch d'Alibaba ne nécessite pas de matériel supplémentaire

ZeroSearch, soutient l'équipe, n'ajoute pas de demandes matérielles supplémentaires. Il repose sur un réglage fin supervisé standard, de sorte que les besoins de calcul dans le cloud restent dans la plage des budgets de développement typiques.

L'article a déjà attiré l'attention au sein des cercles académiques d'apprentissage automatique. Les observateurs de l'industrie disent que les économies pourraient influencer les cycles budgétaires à venir au cours de l'année financière à venir.

Les rivaux de l'industrie s'affrontent pour réduire les coûts d'entraînement des grands modèles de langage alors qu'ils poussent de nouveaux produits d'IA générative.

La nouvelle fonctionnalité d'Alibaba arrive alors que les entreprises chinoises rivalisent avec les entreprises américaines telles que Google et OpenAI, qui ont toutes deux investi massivement dans des agents IA. En signalant une réduction des coûts d'un facteur proche de dix, Alibaba indique que le coût de la recherche IA pourrait bientôt changer.