Alibabas neue Methode senkt die Kosten der KI-Suche um fast 90 %

Alibaba Group Holding gibt an, einen Weg gefunden zu haben, die Kosten für das Training von auf die Suche ausgerichteten KI-Modellen um fast 90 Prozent zu senken.

In einem Artikel , der letzte Woche auf dem arXiv-Server veröffentlicht wurde, beschreiben Forscher des chinesischen Technologieunternehmens „ZeroSearch“, eine Trainingsabkürzung, mit der große Sprachmodelle ihre Suchfähigkeiten zu einem Bruchteil der Kosten verbessern können.

Alibaba argumentiert, dass dieser Ansatz einen der teuersten Schritte beim Reinforcement Learning überflüssig macht: das Weiterleiten von Zehntausenden von Anfragen über kostenpflichtige Anwendungsprogrammierschnittstellen.

ZeroSearch nutzt solche Engpässe. Ein Referenzmodell mit einer bereits umfangreichen Wissensbasis dient als Ersatzsuchmaschine und erzeugt für jede Anfrage sowohl hilfreiche als auch bewusst fehlerhafte Dokumente. Neuere Modelle werden dann anhand dieser selbst erstellten fehlerhaften Dokumente trainiert.

Die Feinabstimmung beginnt mit klar formulierten Aufgabenstellungen und eindeutigen Antworten. Im Laufe der Zeit werden durch die Einführung eines „Lehrplans“ Unklarheiten, Tippfehler und Widersprüche hinzugefügt, sodass das Ausbildungsmodell etwas erlebt, das dem offenen Internet ähnlicher ist.

Laut der Studie stärkt das Datenrauschen das Denkvermögen und lehrt das System, in unstrukturierten Datenumgebungen zurechtzukommen. „Unsere zentrale Erkenntnis ist, dass LLMs während des umfangreichen Vortrainings umfangreiches Weltwissen erworben haben und in der Lage sind, zu einer Suchanfrage relevante Dokumente zu generieren“, erklären die Forscher.

Teams müssen nicht mehr für jede Anfrage externe Anbieter bezahlen. Diese Änderung ist besonders für kleinere Teams mit begrenzten Ressourcen von Bedeutung. mit 14 Milliarden Parametern KI-Modell kostet hingegen nur etwa 70,80 US-Dollar – eine Ersparnis von 88 Prozent.

Alibabas ZeroSearch benötigt keine zusätzliche Hardware

Das Team argumentiert, dass ZeroSearch keine zusätzlichen Hardwareanforderungen stellt. Es basiert auf standardmäßigem, überwachtem Feintuning, sodass der Bedarf an Cloud-Rechenleistung im Rahmen typischer Entwicklungsbudgets bleibt.

Die Studie hat in akademischen Kreisen der Machine-Learning-Forschung bereits Beachtung gefunden. Branchenbeobachter gehen davon aus, dass die Einsparungen Auswirkungen auf die kommenden Budgetzyklen im nächsten Finanzjahr haben könnten.

Die Konkurrenten in der Branche wetteifern darum, die Kosten für das Training großer Sprachmodelle zu senken, während sie gleichzeitig neue generative KI-Produkte auf den Markt bringen.

Alibabas neue Funktion kommt zu einem Zeitpunkt, an dem chinesische Unternehmen mit US-Firmen wie Google und OpenAI konkurrieren, die beide massiv in KI-Systeme investiert haben. Mit der Meldung einer fast zehnfachen Kostensenkung signalisiert Alibaba, dass sich die Kosten für KI-Suche bald verändern könnten.