Google и Harvard представляют набор данных из 1 млн книг общественного достояния для обучения ИИ

Гарвардский университет совместно с Google выпустил набор данных из миллиона книг общественного достояния для обучения следующего поколения ИИ.

Книги охватывают различные жанры, языки и авторов, таких как Диккенс, Данте и Шекспир, чьи произведения больше не защищены авторским правом из-за их возраста. Новая инициатива по созданию датасета актуальна в условиях, когда данные для обучения ИИ естественно дороги и лучше всего подходят для технологических компаний с глубокими карманами.

Гарвард получил финансовую поддержку от технологических гигантов

Согласно статье TechCrunch, инициатива реализуется Институтом данных Гарварда (IDI). В рамках этой инициативы представлены книги, полученные в результате многолетнего проекта Google по сканированию книг Google Books.

В датасет также включены чешские учебники по математике и валлийские карманные словари.

Университет анонсировал IDI в марте, четко обозначив свои планы создать «надежный канал для легальных данных для ИИ». С тех пор о проекте почти ничего не было слышно до официального запуска в четверг, когда технологические гиганты Microsoft и OpenAI профинансировали этот проект.

Датасет — это не прерогатива Кремниевой долины: IDI открыт для всех, от исследовательских лабораторий до стартапов в области ИИ, желающих обучать свои большие языковые модели.

Открывая доступ к набору данных для всех, исполнительный директор IDI Грег Лепперт заявил, что цель набора данных — уравнять возможности в условиях, когда стоимость обучения ИИ остаётся высокой и недоступной для небольших компаний, превращая его в прерогативу лишь тех, кто обладает огромными бюджетами.

Лепперт добавил, что набор данных «тщательно проверен», что, согласно Fudzilla, вероятно, означает проверку того, что Bard действительно удалён и больше не мешает.

Для гарвардского датасета потребуются дополнительные ресурсы

По словам Лепперта, который сравнил потенциал датасета с Linux, операционной системой с открытым исходным кодом, успех гарвардского датасета будет зависеть от ряда переменных. Лепперт отметил, что для успеха потребуются дополнительные ресурсы, экспертиза и «капля магии» со стороны тех же самых компаний с глубокими карманами, которые призваны стать объектом вызова данной инициативы.

Миллион книг, содержащихся в датасете, были отсканированы в рамках программы Google Books. Fudzilla описывает эту инициативу как цифровую капсулу времени эпохи, когда амбиции Google по сканированию каждой книги казались скорее причудливыми, чем дистопичными.

Тем не менее Леппер оптимистично настроен в отношении потенциального применения проекта, дополнительно отмечая, что он может стать настоящим сокровищем для обучения моделей ИИ — от гаражных стартапов до корпоративных конгломератов.

Хотя некоторые хвалят эту инициативу как революционный шаг к демократизации ИИ, Fudzilla полагает, что другие могут увидеть в этом тонкий способ обеспечить возможность конкуренции любому амбициозному новичку с несколькими терабайтами серверного пространства в гонке за разработкой следующего ChatGPT.

Однако им потребуется больше ресурсов, чтобы конкурировать и занять долю на рынке. ChatGPT был запущен в ноябре 2022 года и сразу же стал успешным, что спровоцировало глобальную гонку за создание генеративных моделей ИИ. Однако разработка таких моделей породила острую потребность в данных для их совершенствования, и эта жажда новых данных создала проблемы с тем, сколько информации можно получить, не нарушая закон.

На данный момент издатели, такие как The Wall Street Journal и The New York Times, подали в суд на OpenAI и Perplexity за использование их данных без разрешения.