Die Kosten für das Training von Modellen der künstlichen Intelligenz (KI) steigen rasant, wobei Prognosen für die nächsten Jahre einen deutlichen Anstieg erwarten lassen. Dario Amodei, CEO des KI-Startups Anthropic, hob diese steigenden Ausgaben kürzlich in einer Folge des Podcasts „In Good Company“ hervor.
Lesen Sie auch: Samsung-Arbeiter streiken und fordern höhere Löhne angesichts des zunehmenden KI-Wettbewerbs
Aktuelle fortgeschrittene KI-Modelle wie ChatGPT-4 erfordern für das Training etwa 100 Millionen US-Dollar. Aber laut Amodei könnte dieser Betrag in den nächsten drei Jahren auf 10 bis 100 Milliarden US-Dollar ansteigen.
Die Entwicklung künstlicher allgemeiner Intelligenz treibt die Kosten in die Höhe
Der starke Anstieg ist auf den Wandel von generativer KI wie ChatGPT hin zu künstlicher allgemeiner Intelligenz (AGI) zurückzuführen. Der Fortschritt in Richtung AGI zielt darauf ab, Systeme zu entwickeln, die Wissen auf ähnliche Weise wie der menschliche Geist erfassen, erwerben und nutzen können.
„Ich denke, wenn wir auf 10 oder 100 Milliarden US-Dollar steigen, und ich denke, das wird 2025, 2026, vielleicht 2027 passieren … dann besteht meiner Meinung nach eine gute Chance, dass wir bis dahin Modelle bekommen, die besser sind als.“ die meisten Menschen in den meisten Dingen.“
Amodei
Laut Tom's Hardware ist der bestehende Rahmen für diese Fortschritte derzeit riesig. Um beispielsweise ChatGPT zu trainieren, waren über 30.000 GPUs erforderlich, und jeder Nvidia B200 AI-Chip kostet zwischen 30.000 und 40.000 US-Dollar. Diese Hardware-Investition ist einer der Faktoren, die zu den erhöhten Kosten führen können.
Rechenressourcen treiben die Kosten für die KI-Schulung in die Höhe
Es gibt mehrere Gründe, warum die Kosten für die Schulung von KI steigen. Der Hauptgrund liegt darin, dass die Menge an benötigten Rechenressourcen immens ist. Mit der Weiterentwicklung von Deep-Learning-Modellen werden leistungsstarke GPUs und andere speziell entwickelte Hardware benötigt. Im Jahr 2023 wurden über 3,8 Millionen GPUs an Rechenzentren ausgeliefert, was den Umfang der erforderlichen Infrastruktur zeigt.
Lesen Sie auch: Künstliche Intelligenz soll Auswirkungen auf ein breites Spektrum öffentlicher Dienste
Ein weiterer wichtiger Faktor ist der Energieverbrauch. Der Stromverbrauch aller im letzten Jahr verkauften GPUs würde ausreichen, um 1,3 Millionen Haushalte mit Strom zu versorgen. Dieser hohe Energieverbrauch führt nicht nur zu hohen Kosten für das Unternehmen, sondern wirft auch Fragen hinsichtlich der Auswirkungen auf die Umwelt und den Umweltschutz auf. Laut einem aktuellen Bericht von Google sind die Emissionen des Unternehmens innerhalb von vier Jahren um fast 50 % gestiegen, vor allem aufgrund der Energie, die für das KI-Lernen benötigt wird.
Technologieriesen investieren stark in die KI-Infrastruktur
Darüber hinaus investieren führende Technologieunternehmen viel Geld in die Weiterentwicklung der künstlichen Intelligenz. Elon Musk möchte beispielsweise 300.000 der hochmodernen KI-Chips von Nvidia kaufen. Ebenso sollen Microsoft und OpenAI an einem 100-Milliarden-Dollar-Rechenzentrum zur Weiterentwicklung der KI arbeiten.
Lesen Sie auch: Wimbledon setzt KI ein, um Online-Missbrauch zu bekämpfen
Trotz dieser steigenden Kosten gibt es Versuche, die Kosten für die KI-Ausbildung zu optimieren. Googles DeepMind hat kürzlich eine Technik namens Joint Sample Selection (JEST) vorgestellt, die angeblich die Anzahl der Iterationen um den Faktor 13 und die benötigten Rechenressourcen um den Faktor 10 reduziert. Dies trägt dazu bei, die zu verwendenden Ressourcen und die Zeit zu reduzieren genommen werden.
Trotz dieser Fortschritte geht die allgemeine Richtung jedoch in Richtung höherer Kosten aufgrund der Weiterentwicklung von AGI. Von der generativen KI bis zur AGI müssen die Modelle große Datensätze interpretieren, daraus lernen, unterschiedliche Situationen antizipieren und Probleme lösen, die kritisches Denken erfordern.
Kryptopolitische Berichterstattung von Brenda Kanana
