Google e Harvard debuttano con un dataset di 1 milione di libri di dominio pubblico per l'addestramento dell'IA

L'Università di Harvard, in congiunzione con Google, ha rilasciato un dataset di un milione di libri di dominio pubblico per addestrare la prossima generazione di IA.

I libri spaziano per generi, lingue e autori come Dickens, Dante e Shakespeare, che non sono più protetti da copyright a causa della loro età. La nuova iniziativa del dataset arriva mentre i dati di addestramento dell'IA sono naturalmente costosi e meglio adatti per le aziende tecnologiche con tasche profonde.

Harvard ha ottenuto sostegno finanziario da giganti della tecnologia

Secondo un articolo di TechCrunch, l'iniziativa è guidata dall'Iniziativa sui Dati Istituzionali di Harvard (IDI). Questa iniziativa contiene libri derivati dal progetto di scansione di libri di lunga data di Google Google Books.

Altri libri contenuti nel dataset includono manuali di matematica ceca e dizionari tascabili gallesi.

L'università ha anticipato l'IDI a marzo, dichiarando chiaramente i suoi piani di creare un «canale fidato per dati legali per l'IA». Da allora, non si è sentito molto parlare di essa fino al lancio formale di giovedì, quando i giganti della tecnologia Microsoft e OpenAI hanno finanziato il progetto.

Il dataset non è una prerogativa esclusiva della Silicon Valley, ma l'IDI lo ha aperto a chiunque, dai laboratori di ricerca alle startup di IA che vogliono addestrare i loro modelli di linguaggio di grandi dimensioni.

Aprendo il dataset a chiunque, il direttore esecutivo dell'IDI Greg Leppert ha dichiarato che il dataset è destinato a livellare il campo di gioco, in un momento in cui il costo dell'addestramento dell'IA rimane elevato e proibitivo per le aziende più piccole, rendendolo una prerogativa di quelle con budget enormi.

Leppert ha aggiunto che il dataset è «rigorosamente revisionato», che secondo Fudzilla presumibilmente significa che qualcuno ha controllato per assicurarsi che Bard fosse davvero gone e fuori di mezzo.

Il dataset di Harvard avrà bisogno di più risorse

Secondo Leppert, che ha confrontato il potenziale del dataset con Linux, il sistema operativo open source, il successo del dataset di Harvard dipenderà da una serie di variabili. Leppert ha detto che il suo successo richiederà più risorse, competenze e una «spruzzata di magia» dalle stesse corporation dalle tasche profonde che l'iniziativa è progettata di sfidare.

I milioni di libri contenuti nel dataset sono stati scansionati come parte del programma Google Books. Fudzilla descrive l'iniziativa come una capsula temporale digitale da quando le ambizioni di Google di scansionare ogni libro sembravano bizzarre piuttosto che distopiche.

Tuttavia, Leppert è ottimistico riguardo ai potenziali usi del progetto, suggerendo ulteriormente che potrebbe essere una vera miniera d'oro che aiuta ad addestrare i modelli di IA per tutti, dalle startup in garage ai conglomerati aziendali.

Mentre alcuni hanno lodato l'iniziativa come un salto rivoluzionario in avanti nella democratizzazione dell'IA, Fudzilla sostiene che alcuni potrebbero vedere questo come un mezzo sottile per garantire che qualsiasi ambiziosa startup con qualche terabyte di spazio server possa ora competere in una gara per sviluppare il prossimo ChatGPT.

Tuttavia, avranno bisogno di più risorse per competere e fare un'incisione nel mercato. ChatGPT è stato lanciato a novembre 2022 con un successo immediato, il che ha innescato la gara per i modelli di IA generativa in tutto il mondo. Tuttavia, lo sviluppo di questi modelli ha creato una sete di dati per perfezionarli e questo desiderio di più dati ha creato problemi su quante informazioni possono ottenere senza rubarle.

Fino ad oggi, editori come il Wall Street Journal e il New York Times hanno citato in giudizio OpenAI e Perplexity per l'uso dei loro dati senza permesso.