Google und Harvard starten Datensatz mit 1 Mio. gemeinfreien Büchern für KI-Training

Die Harvard University hat in Zusammenarbeit mit Google einen Datensatz mit einer Million gemeinfreien Büchern veröffentlicht, um die nächste Generation von KI zu trainieren.

Die Bücher umfassen Genres, Sprachen und Autoren wie Dickens, Dante und Shakespeare, die aufgrund ihres Alters nicht mehr urheberrechtlich geschützt sind. Die neue Datensatzinitiative kommt zu einem Zeitpunkt, an dem KI-Trainingsdaten natürlich teuer sind und am besten für Tech-Firmen mit tiefen Taschen geeignet sind.

Harvard erhielt finanzielle Unterstützung von Tech-Riesen

Laut einem TechCrunch-Artikel wird die Initiative vom Harvard’s Institutional Data Initiative (IDI) vorangetrieben. Diese Initiative enthält Bücher, die aus Googles langjährigem Buch-Scanning-Projekt Google Books stammen.

Andere in den Datensatz aufgenommene Bücher umfassen tschechische Mathematik-Lehrbücher und walisische Taschenwörterbücher.

Die Universität hatte das IDI im März angekündigt und dabei klar ihre Pläne dargelegt, ein „vertrauenswürdiger Kanal für legale Daten für KI“ zu schaffen. Seitdem war nicht viel darüber zu hören, bis zur offiziellen Einführung am Donnerstag, als die Tech-Riesen Microsoft und OpenAI das Projekt finanzierten.

Der Datensatz ist kein Privileg des Silicon Valley allein, sondern das IDI hat ihn für jedermann geöffnet, also von Forschungslaboren bis hin zu KI-Startups, die ihre Large Language Models trainieren möchten.

Durch die Öffnung des Datensatzes für alle sagte IDI-Geschäftsführer Greg Leppert , der Datensatz solle die Wettbewerbsbedingungen angleichen, da die Kosten für das Training von KI nach wie vor hoch sind und für kleinere Unternehmen unerschwinglich bleiben, wodurch er zum Privileg jener mit riesigen Budgets wird.

Leppert fügte hinzu, dass der Datensatz „gründlich überprüft“ wurde, was laut Fudzilla vermutlich bedeutet, dass jemand überprüft hat, um sicherzustellen, dass Bard wirklich weg und aus dem Weg war.

Der Harvard-Datensatz benötigt mehr Ressourcen

Laut Leppert, der das Potenzial des Datensatzes mit Linux, dem Open-Source-Betriebssystem, verglich, wird der Erfolg des Harvard-Datensatzes von einer Reihe von Variablen abhängen. Leppert sagte, sein Erfolg erfordere mehr Ressourcen, Expertise und eine „ Prise Magie“ von denselben tiefen Taschen-Korporationen, die die Initiative herausfordern soll.

Die eine Million Bücher, die in den Datensatz aufgenommen wurden, wurden im Rahmen des Google Books Programms gescannt. Fudzilla beschreibt die Initiative als eine digitale Zeitkapsel aus der Zeit, als Googles Ambitionen, jedes Buch zu scannen, eher skurril als dystopisch schienen.

Leppert ist jedoch optimistisch bezüglich der potenziellen Anwendungen des Projekts und deutet weiter an, dass es ein solcher Schatz sein könnte, der dabei hilft, KI-Modelle für alle zu trainieren, von Garage-Startups bis hin zu Unternehmenskonglomeraten.

Während einige die Initiative als revolutionären Schritt vorwärts bei der Demokratisierung der KI loben, meint Fudzilla, dass einige dies als subtiles Mittel sehen könnten, um sicherzustellen, dass jeder ehrgeizige Newcomer mit ein paar Terabyte Serverplatz nun in einem Wettlauf zur Entwicklung des nächsten ChatGPT mithalten kann.

Allerdings werden sie mehr Ressourcen benötigen, um zu konkurrieren und einen Markteinschlag zu erzielen. ChatGPT startete im November 2022 mit sofortigem Erfolg, was den Wettlauf um generative KI-Modelle weltweit antrieb. Die Entwicklung dieser Modelle hat jedoch einen Durst nach Daten erzeugt, um sie zu perfektionieren, und dieses Verlangen nach mehr Daten hat Probleme damit verursacht, wie viel Information sie erhalten können, ohne sie zu stehlen.

Bisher haben Verlage wie die Wall Street Journal und die New York Times OpenAI und Perplexity wegen der unbefugten Nutzung ihrer Daten verklagt.