Die versteckten Kosten von KI-Trainingsmodellen

Die Entwicklung und der Betrieb moderner KI-Modelle erfordern erhebliche Investitionen, die Hunderte von Millionen Dollar übersteigen können. Schätzungen zufolge könnten diese Kosten in naher Zukunft eine Milliarde Dollar erreichen. 

Diese Ausgaben sind hauptsächlich auf die Rechenleistung zurückzuführen, für die beispielsweise GPUs von Nvidia zum Einsatz kommen, die jeweils etwa 30.000 US-Dollar kosten und für einen effizienten Betrieb unter Umständen Tausende weitere benötigen. Forscher haben betont, dass die Qualität und Quantität der Trainingsdaten, die für die Entwicklung solcher Modelle verwendet werden, von entscheidender Bedeutung sind. 

Branchenführer enthüllen die horrenden Kosten der KI-Entwicklung

Laut James Betker von OpenAI hängt die Leistung eines Modells von den Trainingsdaten ab, nicht von dessen Design oder Architektur. Er argumentiert , dass Modelle, die mit großen Datensätzen trainiert werden, dieselben Ergebnisse erzielen. Daten sind daher der Schlüssel zum Fortschritt der KI-Technologie. 

Dario Amodei, CEO des KI-Unternehmens Anthropic AI, teilte seine Erkenntnisse zu den finanziellen Aspekten dieser Herausforderungen im Podcast „In Good Company“. Er erklärte, dass das Training aktueller Modelle wie ChatGPT-4 schätzungsweise rund 100 Millionen US-Dollar kostet und das Training zukünftiger Modelle in den nächsten Jahren 10 bis 100 Milliarden US-Dollar erfordern könnte.

Generative KI-Modelle, insbesondere die von großen Unternehmen entwickelten, sind im Kern statistische Modelle. Daher nutzen sie viele Beispiele, um die wahrscheinlichsten Ergebnisse vorherzusagen. Kyle Lo vom Allen Institute for AI (AI2) erklärt, dass die Leistungssteigerung hauptsächlich auf die Daten zurückzuführen ist, insbesondere bei einer konsistenten Trainingsumgebung. 

Die Zentralisierung von Daten wirft ethische und Zugänglichkeitsbedenken auf

Die hohen Kosten für die Beschaffung qualitativ hochwertiger Daten führen dazu, dass die Entwicklung von KI einigen wenigen großen Unternehmen in der entwickelten Welt vorbehalten bleibt. Diese Ressourcenkonzentration gibt Anlass zur Sorge hinsichtlich der Verfügbarkeit von KI-Technologie und der Möglichkeit des Missbrauchs. 

OpenAI allein hat Hunderte Millionen Dollar für Datenlizenzen ausgegeben, und Meta hat den Kauf von Datenverlagen erwogen, um Zugriff auf Daten zu erhalten. Der Markt für KI-Trainingsdaten dürfte weiter wachsen, und Datenbroker werden voraussichtlich von dieser Entwicklung profitieren. 

Probleme entstehen durch fragwürdige Datenerfassungsmethoden. Berichten zufolge haben viele Unternehmen große Mengen an Inhalten ohne die Zustimmung der Rechteinhaber erfasst, und einige nutzen Daten von verschiedenen Plattformen, ohne die Nutzer zu entschädigen. Wie bereits berichtet, verwendete OpenAI sein Audio-Transkriptionsmodell Whisper, um über eine Million Stunden YouTube-Videos zu transkribieren und so GPT-4 zu optimieren.

Organisationen arbeiten daran, frei zugängliche KI-Trainingsdatensätze zu erstellen

Da der Wettlauf um die Datenbeschaffung einige Probleme mit sich bringt, sind Initiativen unabhängigerdent erforderlich, um Trainingsdatensätze frei zugänglich zu machen. Organisationen wie EleutherAI und Hugging Face erstellen große Datensätze, die der Öffentlichkeit für die KI-Entwicklung zur Verfügung stehen.

Das Wall Street Journal hob kürzlich zwei mögliche Strategien zur Lösung von Datenbeschaffungsproblemen hervor: generative Datengenerierung und Curriculum Learning. Synthetische Daten werden mithilfe von KI-Modellen selbst erzeugt, während Curriculum Learning versucht, Modellen qualitativ hochwertige Daten strukturiert bereitzustellen, damit diese auch mit weniger Daten Zusammenhänge herstellen können. Beide Methoden befinden sich jedoch noch in der Entwicklungsphase, und ihre Wirksamkeit ist noch nicht erprobt.