Le PDG d'Anthropic affirme que le coût de la formation des IA pourrait atteindre 100 milliards de dollars au cours des trois prochaines années

Le coût de la formation des modèles d'intelligence artificielle (IA) explose, et les projections indiquent une augmentation significative dans les prochaines années. Dario Amodei, PDG de la start-up d'IA Anthropic, a souligné cette hausse des dépenses lors d'un récent épisode du podcast « In Good Company ».

À lire également : Les employés de Samsung se mettent en grève pour réclamer des salaires plus élevés face à la concurrence croissante dans le domaine de l’IA

Les modèles d'IA avancés actuels, tels que ChatGPT-4, nécessitent environ 100 millions de dollars pour leur entraînement. Mais, selon Amodei, ce montant pourrait atteindre entre 10 et 100 milliards de dollars au cours des trois prochaines années. 

Le développement de l'intelligence artificielle générale fait grimper les coûts

Cette forte progression s'explique par le passage de l'IA générative, comme ChatGPT, à l'intelligence artificielle générale (IAG). Les progrès vers l'IAG visent à développer des systèmes capables de comprendre, d'acquérir et d'utiliser les connaissances d'une manière similaire à l'esprit humain.

« Je pense que si nous atteignons 10 ou 100 milliards de dollars, et je pense que cela se produira en 2025, 2026, peut-être 2027… alors je pense qu’il y a de fortes chances que d’ici là, nous soyons capables d’obtenir des modèles meilleurs que la plupart des humains dans la plupart des domaines. » 

Amodei

D'après Tom's Hardware, l'infrastructure existante pour ces avancées est actuellement colossale. Par exemple, l'entraînement de ChatGPT a nécessité plus de 30 000 GPU, et chaque puce Nvidia B200 dédiée à l'IA coûte entre 30 000 et 40 000 dollars. Cet investissement matériel est l'un des facteurs susceptibles d'expliquer l'augmentation des coûts. 

Les ressources informatiques font grimper les coûts de formation en IA

Plusieurs facteurs expliquent la hausse des coûts de formation en IA. Le principal réside dans l'immense quantité de ressources de calcul nécessaires. Avec les progrès des modèles d'apprentissage profond, des GPU puissants et d'autres matériels spécialement conçus sont indispensables. Plus de 3,8 millions de GPU ont été livrés aux centres de données en 2023, ce qui témoigne de l'ampleur de l'infrastructure requise. 

À lire également : L’intelligence artificielle va impacter un largeéventail de services publics

Un autre facteur important est la consommation énergétique. La consommation électrique de tous les GPU vendus l'an dernier suffirait à alimenter 1,3 million de foyers. Cette forte consommation engendre non seulement des coûts importants pour l'entreprise, mais soulève également des questions environnementales et de préservation des ressources. Selon un rapport récent de Google, les émissions de l'entreprise ont augmenté de près de 50 % en quatre ans, principalement en raison de l'énergie nécessaire à l'apprentissage de l'IA.

Les géants de la technologie investissent massivement dans l'infrastructure de l'IA

De plus, les grandes entreprises technologiques investissent massivement dans le développement de l'intelligence artificielle. Par exemple, Elon Musk souhaite acquérir 300 000 puces d'IA de pointe de Nvidia. De même, Microsoft et OpenAI travailleraient sur un centre de données de 100 milliards de dollars dédié à l'avancement de l'IA.

À lire également : Wimbledon utilise l’IA pour lutter contre les abus en ligne

Malgré la hausse des coûts, des efforts sont déployés pour optimiser l'entraînement des systèmes d'IA. DeepMind (Google) a récemment présenté une technique appelée Joint Example Selection (JEST) qui permettrait de réduire le nombre d'itérations d'un facteur 13 et les ressources de calcul nécessaires d'un facteur 10. Cette technique contribue à diminuer les ressources utilisées et le temps d'entraînement.

Cependant, malgré ces avancées, la tendance générale est à la hausse des coûts en raison du développement de l'IA générale. De l'IA générative à l'IA générale, les modèles doivent être capables d'interpréter de vastes ensembles de données, d'en tirer des enseignements, d'anticiper différentes situations et de résoudre des problèmes exigeant une réflexion critique. 

Reportage Cryptopolitan par Brenda Kanana