Kleine Sprachmodelle (SLMs) gelten als der nächste große Trend in der KI

Während Unternehmen Unsummen in große Sprachmodelle (LLMs) investieren, glauben einige Branchenexperten im KI-Sektor, dass kleine Sprachmodelle (SLMs) der nächste große Trend sein werden.

Dies geschieht vor dem Hintergrund, dass die Aktivitäten in der Branche mit Beginn der Festtage weiter zunehmen, da Technologieunternehmen mehr Mittel in die Weiterentwicklung ihrer Technologie investieren.

Die Zukunft liegt in kleinen Sprachmodellen

Unternehmen wie xAI, das vom Multimilliardär Elon Musk geführt wird, konnten weitere 5 Milliarden Dollar von Andreessen Horowitz, der Qatar Investment Authority, Sequoia und Valor Equity Partners einwerben, während Amazon weitere 4 Milliarden Dollar in Anthropic, einen Konkurrenten von OpenAI.

Während diese großen Technologiekonzerne und andere Milliarden von Dollar investieren und sich auf die Entwicklung großer LLMs konzentrieren, die viele verschiedene Aufgaben bewältigen können, ist die Realität der KI, dass es keine Einheitslösung gibt, da Unternehmen aufgabenspezifische Modelle benötigen.

Laut einer Mitteilung von AWS-CEO Matt Garman über die wachsende Partnerschaft und die Investitionen gibt es bereits eine überwältigende Resonanz von AWS-Kunden, die generative KI auf Basis von Anthropic entwickeln.

Für die meisten Unternehmen sind LLM-Studiengänge für bestimmte Projekte immer noch die erste Wahl, für andere Projekte kann diese Option jedoch mit hohen Kosten, einem hohen Energie- und Rechenaufwand verbunden sein.

Steven McMillan, Präsidentdent CEO von Teradata, die alternativen Weg einigen Unternehmen

„Mit Blick auf die Zukunft glauben wir, dass kleine und mittlere Sprachmodelle und kontrollierte Umgebungen wie domänenspezifische LLMs deutlich bessere Lösungen bieten werden.“

~ McMillan

SLMs erzeugen für bestimmte Datentypen maßgeschneiderte Ausgaben, da die Sprachmodelle speziell dafür trainiert werden. Da die von SLMs generierten Daten intern gespeichert werden, werden die Sprachmodelle somit mit potenziell sensiblen Daten trainiert.

Da LLMs energieintensiv sind, werden die kleineren Sprachversionen so trainiert, dass sowohl Rechenleistung als auch Energieverbrauch an die tatsächlichen Projektanforderungen angepasst werden. Durch diese Anpassungen arbeiten die SLMs effizienter und kostengünstiger als die derzeitigen großen Modelle.

Für Nutzer, die KI für spezifisches Wissen einsetzen möchten, bieten sich domänenspezifische Masterstudiengänge , da diese kein breites Wissen vermitteln. Sie sind darauf trainiert, nur eine bestimmte Informationskategorie tiefgehend zu verstehen und in diesem Bereich präziser zu reagieren, beispielsweise zwischen einem Marketingleiter (CMO) und einem Finanzvorstand (CFO).

Warum SLMs eine bevorzugte Option sind

Nach Angaben der Association of Data Scientists (ADaSci) würde die vollständige Entwicklung eines SLM mit 7 Milliarden Parametern für eine Million Nutzer lediglich 55,1 MWh (Megawattstunden) erfordern.

ADaSci ermittelte, dass das Training von GPT-3 mit 175 Milliarden Parametern schätzungsweise 1.287 MWh Strom verbrauchte. Dieser Verbrauch berücksichtigt nicht den Zeitpunkt der offiziellen öffentlichen Nutzung. Demnach benötigt ein SLM etwa 5 % der Energie, die für das Training eines LLM benötigt wird.

Große Modelle werden üblicherweise auf Cloud-Computern ausgeführt, da sie deutlich mehr Rechenleistung benötigen, als auf einem einzelnen Gerät jemals verfügbar ist. Dies führt zu Komplikationen für Unternehmen, da sie die Kontrolle über ihre Daten verlieren, sobald diese in die Cloud verlagert werden, und die Reaktionszeiten aufgrund der langsamen Datenübertragung im Internet beeinträchtigt sind.

Zukünftig wird die Einführung von KI in Unternehmen nicht einheitlich erfolgen, sondern im Fokus stehen Effizienz und die Auswahl des besten und kostengünstigsten Werkzeugs zur Erledigung von Aufgaben. Dies bedeutet, für jedes Projekt das passende Modell auszuwählen.

Dies wird für alle Modelle durchgeführt, sei es ein universelles LLM oder kleinere und domänenspezifische LLMs, je nachdem, welches Modell bessere Ergebnisse liefert, weniger Ressourcen benötigt und den Bedarf an Datenmigration in die Cloud.

In der nächsten Phase wird KI für Geschäftsentscheidungen unerlässlich sein, da die Öffentlichkeit großes Vertrauen in KI-generierte Antworten hat.

„Wenn man an das Training von KI-Modellen denkt, müssen diese auf der Grundlage hervorragender Daten aufgebaut sein.“

~ McMillan

„Genau darum geht es uns: Wir liefern einen vertrauenswürdigen Datensatz und bieten darüber hinaus die nötigen Fähigkeiten und Analysemöglichkeiten, damit unsere Kunden und deren Kunden den Ergebnissen vertrauen können“, fügte McMillan hinzu.

Angesichts der weltweit hohen Nachfrage nach Effizienz und Genauigkeit bieten kleinere und fachspezifische LLM-Programme eine weitere Möglichkeit, Ergebnisse zu liefern, auf die sich Unternehmen und die breite Öffentlichkeit verlassen können.