Der CEO von Anthropic sagt, die Kosten für das Training von KI könnten in den nächsten drei Jahren auf 100 Milliarden Dollar steigen

Die Kosten für das Training von Modellen künstlicher Intelligenz (KI) steigen rasant an, und Prognosen deuten auf einen deutlichen Anstieg in den nächsten Jahren hin. Dario Amodei, CEO des KI-Startups Anthropic, hob diese steigenden Kosten in einer kürzlich erschienenen Folge des Podcasts „In Good Company“ hervor.

Lesen Sie auch: Samsung-Mitarbeiter streiken für höhere Löhne im wachsenden KI-Wettbewerb

Aktuelle hochentwickelte KI-Modelle wie ChatGPT-4 benötigen rund 100 Millionen US-Dollar für ihr Training. Laut Amodei könnten diese Kosten jedoch in den nächsten drei Jahren auf 10 bis 100 Milliarden US-Dollar steigen. 

Die Entwicklung künstlicher allgemeiner Intelligenz treibt die Kosten in die Höhe

Der starke Anstieg ist auf den Wandel von generativer KI, wie beispielsweise ChatGPT, hin zu künstlicher allgemeiner Intelligenz (AGI) zurückzuführen. Die Fortschritte in Richtung AGI zielen darauf ab, Systeme zu entwickeln, die Wissen ähnlich dem menschlichen Verstand verstehen, erwerben und anwenden können.

„Ich denke, wenn wir auf 10 oder 100 Milliarden Dollar kommen, und ich denke, das wird 2025, 2026, vielleicht 2027 passieren… dann denke ich, dass die Chancen gut stehen, dass wir bis dahin Modelle entwickeln können, die in den meisten Dingen besser sind als die meisten Menschen.“ 

Amodei

Laut Tom's Hardware ist die bestehende Infrastruktur für diese Weiterentwicklungen derzeit enorm. Beispielsweise wurden für das Training von ChatGPT über 30.000 GPUs benötigt, und jeder Nvidia B200 KI-Chip kostet zwischen 30.000 und 40.000 US-Dollar. Diese Hardwareinvestitionen sind einer der Faktoren, die die gestiegenen Kosten verursachen könnten. 

Rechenressourcen treiben die KI-Trainingskosten in die Höhe

Es gibt mehrere Gründe für die steigenden Kosten des KI-Trainings. Der Hauptgrund liegt im immensen Bedarf an Rechenressourcen. Mit den Fortschritten bei Deep-Learning-Modellen werden leistungsstarke GPUs und andere speziell entwickelte Hardware benötigt. Allein im Jahr 2023 wurden über 3,8 Millionen GPUs an Rechenzentren ausgeliefert, was den Umfang der erforderlichen Infrastruktur verdeutlicht. 

Lesen Sie auch: beeinflussen.Spektrum öffentlicher Dienstleistungen

Ein weiterer wichtiger Faktor ist der Energieverbrauch. Der Stromverbrauch aller im letzten Jahr verkauften GPUs würde ausreichen, um 1,3 Millionen Haushalte mit Strom zu versorgen. Dieser hohe Energieverbrauch verursacht nicht nur hohe Kosten für das Unternehmen, sondern wirft auch Fragen hinsichtlich der Umweltauswirkungen und des Ressourcenschutzes auf. Laut einem aktuellen Bericht von Google sind die Emissionen des Unternehmens innerhalb von vier Jahren um fast 50 % gestiegen, hauptsächlich aufgrund des Energiebedarfs für das KI-Training.

Technologiekonzerne investieren massiv in KI-Infrastruktur

Darüber hinaus investieren führende Technologieunternehmen hohe Summen in die Weiterentwicklung künstlicher Intelligenz. Elon Musk beispielsweise plant den Kauf von 300.000 hochmodernen KI-Chips von Nvidia. Auch Microsoft und OpenAI arbeiten angeblich an einem 100 Milliarden Dollar teuren Rechenzentrum zur KI-Entwicklung.

Lesen Sie auch: Wimbledon setzt KI ein, um Online-Missbrauch zu bekämpfen

Trotz dieser steigenden Kosten gibt es Bestrebungen, die Kosten des KI-Trainings zu optimieren. Googles DeepMind hat kürzlich eine Technik namens Joint Example Selection (JEST) vorgestellt, die die Anzahl der Iterationen um den Faktor 13 und den Rechenaufwand um den Faktor 10 reduzieren soll. Dadurch werden Ressourcen und Zeitaufwand deutlich verringert.

Trotz dieser Fortschritte geht die Tendenz aufgrund der Weiterentwicklung von AGI insgesamt in Richtung höherer Kosten. Von generativer KI bis hin zu AGI müssen die Modelle große Datensätze interpretieren, daraus lernen, verschiedene Situationen antizipieren und Probleme lösen, die kritisches Denken erfordern. 

Cryptopolitan Berichterstattung von Brenda Kanana