Alibabas neue Methode senkt die KI-Suchkosten um fast 90%

Alibaba Group Holding gibt an, einen Weg gefunden zu haben, die Kosten für das Training suchfokussierter künstlicher Intelligenzmodelle um fast 90 Prozent zu senken.

In einem Papier In einem letzten Woche auf dem arXiv-Server veröffentlichten Papier beschreiben Forscher des chinesischen Technologieunternehmens „ZeroSearch“, einen Trainingsvorteil, der es großen Sprachmodellen ermöglicht, ihre Suchfähigkeiten zu einem Bruchteil der Kosten zu verbessern.

Alibaba argumentiert, dass der Ansatz einen der teuersten Schritte im Reinforcement Learning entfernt: die Weiterleitung von zehntausenden Anfragen über bezahlte Application Programming Interfaces.

ZeroSearch nutzt solche Engpässe aus. Ein Referenzmodell, das bereits über eine breite Wissensbasis verfügt, fungiert als Ersatz-Suchmaschine und erzeugt für jede Anfrage sowohl hilfreiche als auch absichtlich verrauschte Dokumente. Neuere Modelle werden dann an diesen selbst erstellten verrauschten Dokumenten trainiert.

Das Fine-Tuning beginnt mit klar formulierten Prompts und sauberen Antworten. Im Laufe der Zeit fügt ein „Curriculum Rollout“ Unordnung, Tippfehler und Widersprüche hinzu, sodass das Trainee-Modell etwas erlebt, das dem offenen Internet näher kommt.

Laut dem Papier stärkt das Datenrauschen die Schlussfolgerungsfähigkeiten und lehrt das System, in unordentlichen Datenumgebungen zu überleben. „Unsere zentrale Erkenntnis ist, dass LLMs während des großflächigen Pretrainings umfangreiches Weltwissen erworben haben und in der Lage sind, relevante Dokumente zu einer Suchanfrage zu generieren“, erklären die Forscher.

Teams müssen keine externen Anbieter für jede Anfrage bezahlen. Die Änderung ist insbesondere für kleinere Teams mit begrenzten Ressourcen von großer Bedeutung. Zum Beispiel kann das Senden von 64.000 Anfragen an Google über eine API etwa 586,70 US-Dollar kosten. Die Durchführung des gleichen Trainings mit einem 14-Milliarden-Parameter-Modell KI-Modell kostete etwa US$70.80, eine Ersparnis von 88 Prozent.

Alibabas ZeroSearch erfordert keine zusätzliche Hardware

ZeroSearch, so das Team, füge keine zusätzlichen Hardwareanforderungen hinzu. Es stützt sich auf standardmäßiges überwachtes Fine-Tuning, sodass die Cloud-Compute-Anforderungen im Bereich typischer Entwicklungsbudgets bleiben.

Das Papier hat bereits Aufmerksamkeit in akademischen Machine-Learning-Kreisen gefunden. Branchenbeobachter sagen, dass die Einsparungen die kommenden Budgetzyklen im laufenden Geschäftsjahr beeinflussen könnten.

Branchenrivalen sind im Wettlauf, die Kosten für das Training großer Sprachmodelle zu senken, während sie neue generative KI-Produkte vorantreiben.

Alibabas neues Feature kommt, während chinesische Unternehmen mit US-Firmen wie Google und OpenAI konkurrieren, die beide stark in KI-Agenten investiert haben. Durch die Meldung einer fast zehnfachen Kostenreduktion signalisiert Alibaba, dass sich die Kosten für KI-Suchen bald verschieben könnten.