Les coûts cachés de l'entraînement des modèles IA
Les coûts cachés de l'entraînement des modèles d'IA
- Le développement de modèles d'IA est coûteux, nécessitant des centaines de millions en raison des besoins en calcul et en données.
- Les coûts élevés des données centralisent le développement de l'IA, soulevant des préoccupations éthiques.
- Des groupes indépendants travaillent sur des ensembles de données ouverts, avec de nouvelles stratégies comme la génération de données encore en phase de test.
La construction et le soutien des modèles IA modernes nécessitent des investissements importants, qui peuvent dépasser des centaines de millions de dollars. Les estimations indiquent que ces coûts pourraient atteindre un milliard de dollars dans un avenir proche.
Cette dépense est principalement due à la puissance de calcul où des entités comme les GPU Nvidia sont utilisées, qui peuvent coûter environ 30 000 dollars chacune et peuvent nécessiter des milliers d'autres pour être efficaces. Les chercheurs ont déclaré que la qualité et la quantité de l'ensemble de données d'entraînement utilisé dans le développement de tels modèles sont très importantes.
Les leaders de l'industrie révèlent les coûts faramineux du développement de l'IA
Selon James Betker d'OpenAI, la performance d'un modèle est une fonction des données d'entraînement plutôt que de la conception ou de l'architecture du modèle. Son affirmation est que les modèles entraînés sur de grands ensembles de données atteindront les mêmes résultats. Par conséquent, les données sont la clé de l'avancement de la technologie IA.
Dario Amodei, PDG de l'entreprise d'IA Anthropic AI, a partagé ses réflexions sur les aspects financiers de ces défis dans le podcast In Good Company. Il a déclaré que l'entraînement des modèles actuels, tels que ChatGPT-4, coûterait environ 100 millions de dollars, et que l'entraînement pour les futurs modèles pourrait nécessiter 10 à 100 milliards de dollars dans les prochaines années.
Les modèles d'IA générative, et ceux créés par de grandes entreprises, sont, au fond, des modèles statistiques. Par conséquent, ils utilisent beaucoup d'exemples pour prédire les résultats les plus probables. Kyle Lo de l'Allen Institute for AI (AI2) dit que le gain de performance peut être principalement attribué aux données, surtout lorsque l'environnement d'entraînement est cohérent.
La centralisation des données soulève des préoccupations éthiques et d'accessibilité
Le coût élevé de l'obtention de données de bonne qualité rend le développement de l'IA l'apanage de quelques grandes entreprises dans le monde développé. Cette agrégation de ressources est également une source de préoccupation concernant la disponibilité de la technologie IA et la possibilité de mauvaise utilisation.
OpenAI a seul dépensé des centaines de millions de dollars pour des licences de données, et Meta a envisagé d'acheter des éditeurs pour l'accès aux données. Le marché des données d'entraînement IA devrait s'étendre, et les courtiers en données sont susceptibles de bénéficier de cette opportunité.
Des problèmes surgissent de pratiques d'acquisition de données douteuses. Selon les rapports, de nombreuses entreprises ont capturé de grands volumes de contenu sans l'autorisation des propriétaires de ce contenu, et certaines entreprises exploitent des données de différentes plateformes sans rémunérer les utilisateurs. Comme nous l'avons précédemment rapporté, OpenAI a utilisé son modèle de transcription audio Whisper pour transcrire plus d'un million d'heures de vidéos YouTube afin d'affiner GPT-4.
Les organisations travaillent à créer des ensembles de données d'entraînement IA en accès ouvert
Alors que la course à l'acquisition de données présente certains problèmes, des efforts de la part de parties indépendantes sont nécessaires pour rendre les ensembles de données d'entraînement ouvertement disponibles. Certaines organisations, telles qu'EleutherAI et Hugging Face, créent de grands ensembles de données disponibles au public pour le développement de l'IA.
Le Wall Street Journal a récemment mis en évidence deux stratégies potentielles pour résoudre les problèmes d'acquisition de données : la génération de données génératives et l'apprentissage par curriculum. Les données synthétiques sont créées en utilisant les modèles IA eux-mêmes, tandis que l'apprentissage par curriculum tente de fournir aux modèles des données de haute qualité de manière structurée afin qu'ils puissent faire des connexions même avec moins de données. Cependant, les deux méthodes sont encore à un stade de développement et leur efficacité n'a pas encore été testée.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Brenda Kanana
Brenda possède plus de 4 ans d'expérience spécialisée en cryptomonnaies, intelligence artificielle et technologies émergentes. Elle a travaillé chez Zycrypto, Blockchain Reporter et The Coin Republic, et fait désormais de Cryptopolitan son foyer. Son diplôme en sociologie de l'Université technique de Mombasa lui permet de rester alignée avec les préoccupations de ses lecteurs.
