Google et Harvard lancent un ensemble de données de 1 million de livres du domaine public pour l'entraînement des IA

L'Université Harvard, en conjonction avec Google, a publié un ensemble de données d'un million de livres du domaine public pour entraîner la prochaine génération d'IA.

Les livres couvrent des genres, des langues et des auteurs tels que Dickens, Dante et Shakespeare, qui ne sont plus protégés par le droit d'auteur en raison de leur âge. La nouvelle initiative d'ensemble de données intervient alors que les données d'entraînement de l'IA sont naturellement coûteuses et mieux adaptées aux entreprises technologiques aux poches profondes.

Harvard a obtenu un soutien financier de géants de la technologie

Selon un article de TechCrunch, l'initiative est pilotée par l'Initiative de données institutionnelles de Harvard (IDI). Cette initiative comprend des livres issus du projet de numérisation de livres de longue date de Google Google Books.

D'autres livres contenus dans l'ensemble de données incluent des manuels de mathématiques tchèques et des dictionnaires de poche gallois.

L'université avait teased l'IDI en mars, indiquant clairement ses plans pour créer un « canal fiable pour les données légales destinées à l'IA ». Depuis lors, on n'a guère entendu parler d'elle jusqu'au lancement officiel jeudi, lorsque les géants de la technologie Microsoft et OpenAI ont financé le projet.

L'ensemble de données n'est pas la propriété exclusive de la Silicon Valley, mais l'IDI l'a ouvert à quiconque, des laboratoires de recherche aux startups en IA qui souhaitent entraîner leurs grands modèles de langage.

En ouvrant l'ensemble de données à quiconque, le directeur exécutif de l'IDI, Greg Leppert, a déclaré que l'ensemble de données vise à égaliser les chances, alors que le coût de l'entraînement des IA reste élevé et prohibitif pour les petites entreprises, le rendant ainsi la propriété de celles disposant de budgets importants.

Leppert a ajouté que l'ensemble de données est « rigoureusement examiné », ce qui, selon Fudzilla, signifie probablement que quelqu'un a vérifié pour s'assurer que Bard était vraiment parti et hors de l'équation.

L'ensemble de données de Harvard nécessitera plus de ressources

Selon Leppert, qui a comparé le potentiel de l'ensemble de données à Linux, le système d'exploitation open source, le succès de l'ensemble de données de Harvard dépendra de plusieurs variables. Leppert a déclaré que son succès nécessitera plus de ressources, d'expertise et une « touche de magie » de la part de ces mêmes entreprises aux poches profondes que l'initiative vise à défier.

Les millions de livres contenus dans l'ensemble de données ont été numérisés dans le cadre du programme Google Books. Fudzilla décrit l'initiative comme une capsule temporelle numérique de l'époque où les ambitions de Google de numériser chaque livre semblaient étranges plutôt que dystopiques.

Cependant, Leppert est optimiste quant aux utilisations potentielles du projet, suggérant en outre qu'il pourrait être un tel trésor aidant à entraîner des modèles d'IA pour tout le monde, des startups de garage aux conglomérats d'entreprise.

Tandis que certains ont salué l'initiative comme un bond révolutionnaire vers la démocratisation de l'IA, Fudzilla estime que certains pourraient voir cela comme un moyen subtil de s'assurer que toute startup ambitieuse disposant de quelques téraoctets d'espace serveur peut désormais concourir dans une course au développement du prochain ChatGPT.

Cependant, ils auront besoin de plus de ressources pour concurrencer et faire une percée sur le marché. ChatGPT a été lancé en novembre 2022 avec un succès immédiat, ce qui a déclenché la course aux modèles d'IA générative à travers le monde. Cependant, le développement de ces modèles a créé une soif de données pour les perfectionner, et ce désir de plus de données a posé des problèmes sur la quantité d'informations qu'ils peuvent obtenir sans les voler.

À ce jour, des éditeurs comme le Wall Street Journal et le New York Times ont poursuivi OpenAI et Perplexity pour utilisation de leurs données sans autorisation.