Die versteckten Kosten des KI-Modelltrainings

Der Aufbau und die Unterstützung moderner KI-Modelle erfordern erhebliche Investitionen, die mehrere hundert Millionen Dollar betragen können. Schätzungen zufolge könnten diese Kosten in naher Zukunft eine Milliarde Dollar erreichen. 

Diese Ausgaben resultieren hauptsächlich aus dem Bedarf an Rechenleistung, wobei Entitäten wie Nvidia-GPUs zum Einsatz kommen, die jeweils etwa 30.000 US-Dollar kosten können und für eine effiziente Nutzung zusätzliche Kosten in Millionenhöhe erfordern. Forscher haben betont, dass Qualität und Menge der Trainingsdatensätze, die zur Entwicklung solcher Modelle verwendet werden, von entscheidender Bedeutung sind. 

Branchenführer enthüllen erschreckende Kosten der KI-Entwicklung

Laut James Betker von OpenAI ist die Leistung eines Modells eine Funktion der Trainingsdaten und nicht des Designs oder der Architektur des Modells. Seine Behauptung lautet, dass Modelle, die mit großen Datensätzen trainiert wurden, zu denselben Ergebnissen gelangen. Daher sind Daten der Schlüssel zur Weiterentwicklung der KI-Technologie.

Dario Amodei, CEO des KI-Unternehmens Anthropic AI, teilte seine Einblicke zu den finanziellen Aspekten dieser Herausforderungen im Podcast „In Good Company“. Er erklärte, dass das Training aktueller Modelle wie ChatGPT-4 geschätzt rund 100 Millionen US-Dollar kostet, während das Training zukünftiger Modelle in den nächsten Jahren möglicherweise 10 bis 100 Milliarden US-Dollar erfordern wird.

Generative KI-Modelle und jene, die von großen Unternehmen entwickelt wurden, sind im Kern statistische Modelle. Daher nutzen sie zahlreiche Beispiele, um die wahrscheinlichsten Ergebnisse vorherzusagen. Kyle Lo vom Allen Institute for AI (AI2) stellt fest, dass Leistungssteigerungen vor allem auf die Daten zurückzuführen sind, insbesondere wenn die Trainingsumgebung konsistent ist. 

Datenkonzentration wirft ethische Fragen und Bedenken hinsichtlich der Zugänglichkeit auf

Die hohen Kosten für die Beschaffung hochwertiger Daten machen die Entwicklung von KI zum Vorrecht weniger großer Unternehmen in den Industrieländern. Diese Konzentration von Ressourcen ist auch eine Quelle der Besorgnis hinsichtlich der Verfügbarkeit von KI-Technologie und der Möglichkeit eines Missbrauchs. 

OpenAI hat allein Hunderte von Millionen Dollar für Datenlizenzen ausgegeben, und Meta hat erwogen, Verlage zum Zweck des Datenzugriffs zu kaufen. Der Markt für KI-Trainingsdaten wird voraussichtlich wachsen, und Datenhändler werden wahrscheinlich von dieser Gelegenheit profitieren. 

Probleme entstehen durch fragwürdige Praktiken zur Datenerhebung. Berichten zufolge haben viele Unternehmen große Mengen an Inhalten ohne Zustimmung der Eigentümer erfasst, und einige Unternehmen nutzen Daten aus verschiedenen Plattformen, ohne die Nutzer zu vergüten. Wie wir zuvor berichteten, nutzte OpenAI sein Whisper-Audio-Transkriptionsmodell, um mehr als eine Million Stunden YouTube-Videos zu transkribieren, um GPT-4 zu feinabstimmen.

Organisationen arbeiten daran, offene Trainingsdatensätze für KI zu schaffen

Da die Datenakquise einige Probleme aufwirft, sind Anstrengungen unabhängiger Akteure erforderlich, um Trainingsdatensätze öffentlich zugänglich zu machen. Organisationen wie EleutherAI und Hugging Face erstellen große Datensätze, die der Öffentlichkeit für die KI-Entwicklung zur Verfügung stehen.

Die Wall Street Journal hat kürzlich zwei potenzielle Strategien zur Lösung von Problemen bei der Datenerfassung hervorgehoben: generative Datengenerierung und Curriculum Learning. Synthetische Daten werden mithilfe von KI-Modellen selbst erstellt, während Curriculum Learning versucht, Modellen hochwertige Daten strukturiert bereitzustellen, damit sie auch mit weniger Daten Zusammenhänge erkennen können. Beide Methoden befinden sich jedoch noch in der Entwicklungsphase, und ihre Wirksamkeit wurde noch nicht getestet.