Pénurie de données de l'industrie de l'IA

Alors que l'industrie de l'intelligence artificielle (IA) continue de connaître un essor populaire, un défi imminent a émergé – la rareté des données d'entraînement de haute qualité. Cette pénurie menace d'entraver la croissance des modèles d'IA, en particulier les grands modèles de langage, et pourrait potentiellement modifier la trajectoire de la révolution de l'IA. Cet article explore pourquoi l'épuisement des ressources de données est une source de préoccupation et esquisse des solutions possibles pour remédier à ce problème.

Des données de haute qualité sont le sang vital des algorithmes d'IA, contribuant à leur précision, performance et qualité globale. Par exemple, ChatGPT, un modèle de langage prominent, a été entraîné sur une impressionnante quantité de 570 gigaoctets de données textuelles, équivalant à environ 300 milliards de mots. De même, l'algorithme de diffusion stable, qui alimente des applications de génération d'images IA comme DALL-E, Lensa et Midjourney, s'est appuyé sur le jeu de données LIAON-5B contenant 5,8 milliards de paires image-texte. Des données inadéquates peuvent entraîner des inexactitudes et des sorties de qualité inférieure.

De plus, la qualité des données d'entraînement joue un rôle pivot. Les données de faible qualité, telles que les publications sur les réseaux sociaux ou les images floues, sont facilement disponibles mais insuffisantes pour entraîner des modèles d'IA performants. Le texte extrait des plateformes de réseaux sociaux peut être entaché de biais, de préjugés, de désinformation ou de contenu illégal, que les modèles d'IA peuvent involontairement reproduire. Par exemple, la tentative de Microsoft pour entraîner un bot IA en utilisant du contenu de Twitter a conduit à ce qu'il produise des sorties racistes et misogyines. 

Pour atténuer ces risques, les développeurs d'IA recherchent du contenu de haute qualité provenant de sources telles que les livres, les articles en ligne, les articles scientifiques, Wikipédia et le contenu web soigneusement filtré. Même des sources inhabituelles, telles que les romans romantiques du site d'auto-édition Smashwords, ont été utilisées pour améliorer l'IA conversationnelle comme Google Assistant.

Offre de données vs demande d'IA

Bien que l'industrie de l'IA ait continuellement augmenté la taille des ensembles de données utilisés pour l'entraînement, la disponibilité des données en ligne croît à un rythme plus lent. Des recherches récentes suggèrent qu'au rythme actuel d'entraînement de l'IA, les données textuelles de haute qualité pourraient être épuisées avant 2026. Les données linguistiques de faible qualité pourraient s'épuiser entre 2030 et 2050, et les données image de faible qualité entre 2030 et 2060. Ces projections soulèvent des préoccupations concernant le goulot d'étranglement potentiel dans le développement de l'IA.

Les enjeux sont élevés dans le monde de l'IA, PwC estimant que l'IA pourrait contribuer jusqu'à 15,7 milliards de dollars US à l'économie mondiale d'ici 2030. Cependant, la pénurie imminente de données menace de ralentir le développement de l'industrie et la réalisation de son potentiel.

Efficacité améliorée des données : Les développeurs d'IA peuvent améliorer les algorithmes pour utiliser les données existantes de manière plus efficace. Dans les années à venir, ils pourraient atteindre des systèmes d'IA performants avec moins de données et une puissance de calcul réduite. Cette approche soulagerait non seulement la pénurie de données, mais contribuerait également à réduire l'empreinte environnementale de l'IA.

Génération de données synthétiques : Une autre solution est l'utilisation de l'IA pour créer des données synthétiques adaptées à l'entraînement de modèles d'IA spécifiques. Des projets utilisent déjà du contenu synthétique provenant de services de génération de données comme Mostly AI, et cette approche est susceptible de devenir plus courante à l'avenir.

Exploration de sources de données non libres : Les développeurs explorent de plus en plus de contenus au-delà des ressources en ligne librement disponibles. Les données précieuses détenues par de grands éditeurs et les dépôts hors ligne, y compris des millions de textes publiés avant l'ère d'Internet, pourraient servir de nouvelles sources pour les projets d'IA. Les récents mouvements d'entreprises comme News Corp pour négocier des accords de contenu avec les développeurs d'IA, où les entreprises d'IA paient pour les données d'entraînement, pourraient aider à garantir une rémunération équitable pour les créateurs de contenu et à résoudre le déséquilibre de pouvoir.

La dépendance de l'industrie de l'IA envers les données d'entraînement de haute qualité est évidente, et la pénurie potentielle de telles données pourrait poser des défis à sa croissance continue. Bien que des préoccupations existent, la situation pourrait ne pas être aussi désespérée qu'il n'y paraît. Les développeurs d'IA ont des voies pour améliorer l'efficacité des données, créer des données synthétiques et explorer des sources de données non libres. Ces stratégies, couplées à l'évolution continue des technologies d'IA, offrent de l'espoir pour atténuer les risques associés à la rareté des données. Alors que la révolution de l'IA se déroule, l'adaptabilité et l'innovation seront clés pour naviguer dans ce défi émergent et assurer la contribution continue de l'IA à l'économie mondiale.