Datenknappheit in der KI-Branche

Während die künstliche Intelligenz (KI) weiter an Popularität gewinnt, hat sich eine drohende Herausforderung abgezeichnet – die Knappheit hochwertiger Trainingsdaten. Dieser Mangel bedroht das Wachstum von KI-Modellen, insbesondere von Large Language Models (LLMs), und könnte den Verlauf der KI-Revolution möglicherweise verändern. Dieser Artikel untersucht, warum die schwindenden Datenressourcen besorgniserregend sind und skizziert mögliche Lösungen, um dieses Problem anzugehen.

Hochwertige Daten sind das Lebenselixier von KI-Algorithmen und tragen zu deren Genauigkeit, Leistung und Gesamtqualität bei. So wurde beispielsweise ChatGPT, ein prominentes Sprachmodell, mit einer beeindruckenden Menge von 570 Gigabyte Textdaten trainiert, was ungefähr 300 Milliarden Wörter entspricht. Ebenso stützte sich der Stable-Diffusion-Algorithmus, der KI-Bildgenerierungsanwendungen wie DALL-E, Lensa und Midjourney antreibt, auf den LIAON-5B-Datensatz, der 5,8 Milliarden Bild-Text-Paare enthält. Unzureichende Daten können zu Ungenauigkeiten und minderwertigen Ergebnissen führen.

Darüber hinaus spielt die Qualität der Trainingsdaten eine entscheidende Rolle. Daten von geringer Qualität, wie Social-Media-Beiträge oder unscharfe Bilder, sind zwar leicht verfügbar, reichen jedoch nicht aus, um hochleistungsfähige KI-Modelle zu trainieren. Aus Social-Media-Plattformen extrahierter Text kann durch Vorurteile, Diskriminierung, Desinformation oder illegale Inhalte verfälscht sein, die KI-Modelle unbeabsichtigt replizieren können. So führte beispielsweise Microsofts Versuch, einen KI-Bot mit Twitter-Inhalten zu trainieren, dazu, dass dieser rassistische und misogynistische Ausgaben produzierte. 

Um diese Risiken zu mindern, suchen KI-Entwickler nach hochwertigen Inhalten aus Quellen wie Büchern, Online-Artikeln, wissenschaftlichen Arbeiten, Wikipedia und sorgfältig gefilterten Webinhalten. Sogar unkonventionelle Quellen, wie Liebesromane von der Selbstverlagsplattform Smashwords, wurden bereits genutzt, um konversationale KI wie Google Assistant zu verbessern.

Datenangebot vs. KI-Nachfrage

Während die KI-Branche die Größe der für das Training verwendeten Datensätze kontinuierlich erhöht, wächst die Verfügbarkeit von Online-Daten nur langsamer. Aktuelle Forschungsergebnisse deuten darauf hin, dass hochwertige Textdaten bei der aktuellen Trainingsrate der KI vor 2026 erschöpft sein könnten. Sprachdaten von geringer Qualität könnten zwischen 2030 und 2050 und Bilddaten von geringer Qualität zwischen 2030 und 2060 zur Neige gehen. Diese Prognosen wecken Bedenken hinsichtlich eines möglichen Engpasses in der KI-Entwicklung.

Die stakes sind hoch in der Welt der KI, wobei PwC schätzt, dass die KI bis 2030 bis zu 15,7 Billionen US-Dollar zur globalen Wirtschaft beitragen könnte. Die drohende Datenknappheit bedroht jedoch, die Entwicklung der Branche und die Verwirklichung ihres Potenzials zu verlangsamen.

Verbesserte Dateneffizienz: KI-Entwickler können Algorithmen verbessern, um vorhandene Daten effizienter zu nutzen. In den kommenden Jahren könnten sie hochleistungsfähige KI-Systeme mit weniger Daten und reduziertem Rechenaufwand erreichen. Dieser Ansatz würde nicht nur die Datenknappheit lindern, sondern auch dazu beitragen, den ökologischen Fußabdruck der KI zu verringern.

Generierung synthetischer Daten: Eine weitere Lösung ist die Nutzung von KI zur Erstellung synthetischer Daten, die speziell für das Training bestimmter KI-Modelle zugeschnitten sind. Projekte nutzen bereits synthetische Inhalte von Daten-generierenden Diensten wie Mostly AI, und dieser Ansatz wird in Zukunft wahrscheinlich alltäglicher werden.

Erforschung nicht-freier Datenquellen: Entwickler erforschen zunehmend Inhalte jenseits frei verfügbarer Online-Ressourcen. Wertvolle Daten, die bei großen Verlagen und in Offline-Archiven gespeichert sind, darunter Millionen von Texten, die vor dem Internetzeitalter veröffentlicht wurden, könnten als neue Quellen für KI-Projekte dienen. Kürzlich getätigte Schritte von Unternehmen wie News Corp, um Inhalte mit KI-Entwicklern zu verhandeln, bei denen KI-Unternehmen für Trainingsdaten bezahlen, könnten eine faire Vergütung für Inhaltsersteller sicherstellen und das Machtungleichgewicht ausgleichen.

Die Abhängigkeit der KI-Branche von hochwertigen Trainingsdaten ist offensichtlich, und der potenzielle Mangel an solchen Daten könnte Herausforderungen für ihr weiteres Wachstum darstellen. Obwohl Bedenken bestehen, ist die Situation möglicherweise nicht so dramatisch, wie sie scheint. KI-Entwickler haben Möglichkeiten, die Dateneffizienz zu verbessern, synthetische Daten zu erstellen und nicht-freie Datenquellen zu erkunden. Diese Strategien, kombiniert mit der fortlaufenden Entwicklung von KI-Technologien, bieten Hoffnung, die mit der Datenknappheit verbundenen Risiken zu mindern. Während die KI-Revolution fortschreitet, werden Anpassungsfähigkeit und Innovation entscheidend sein, um diese aufkommende Herausforderung zu bewältigen und den kontinuierlichen Beitrag der KI zur globalen Wirtschaft sicherzustellen.