In einem aktuellen Interview im Training Data-Podcast von Sequoia Capital bekräftigte Kevin Scott, CTO von Microsoft, seinen Glauben an den dauerhaften Wert der LLM-Skalierungsgesetze (Large Language Model).
Lesen Sie auch: KI-Apps werden mit „Sicherheitsetiketten“ ausgestattet sein, die Risiken und Tests hervorheben
Scott, der eine wichtige Rolle bei dem 13-Milliarden-Dollar-Deal zwischen Microsoft und OpenAI gespielt hat, bleibt hinsichtlich des Potenzials für weitere Fortschritte optimistisch. Er antwortete auf die laufende Debatte mit der Aussage, dass die Idee der Skalierungsgesetze für den Bereich der KI immer noch relevant sei.
OpenAI-Forschung unterstützt Skalierungsvorteile
Die von den OpenAI-Forschern im Jahr 2020 vorgeschlagenen LLM-Skalierungsgesetze besagen, dass die Effizienz von Sprachmodellen proportional mit der Größe des Modells steigt. Scott diskreditierte das Gesetz der sinkenden Renditen und sagte, dass es immer noch möglich sei, exponentielles Wachstum zu erreichen, aber es könnte die nächsten Generationen von Supercomputern brauchen, um dies zu realisieren.
Während einige Wissenschaftler die Nachhaltigkeit von Skalierungsgesetzen in Frage stellen, verlässt sich OpenAI immer noch auf sie als Schlüsselkomponente seines KI-Plans. Scotts Bemerkungen stehen im Einklang mit Microsofts Herangehensweise an diese Prinzipien, was bedeutet, dass der Technologieriese nicht die Absicht hat, die Entwicklung größerer KI-Modelle zu stoppen.
Die KI-Community debattiert über zukünftige Modellverbesserungen
Scotts Haltung steht im völligen Gegensatz zu einigen KI-Kritikern, die glauben, dass das Wachstum bei GPT-4 und anderen ähnlichen Modellen zum Stillstand gekommen ist. Einige Kritiker wiesen darauf hin, dass die neuesten Modelle, darunter das Gemini 1. 5 Pro von Google und das Claude Opus von Anthropic, keine wesentlichen Verbesserungen gegenüber den Vorgängermodellen gezeigt hätten. Der KI-Kritiker Gary Marcus betonte diesen Standpunkt im April und stellte das Fehlen nennenswerter Fortschritte seit der Veröffentlichung von GPT-4 in Frage.
Dennoch ist Scott hinsichtlich der Möglichkeit neuer Entdeckungen optimistisch. Er akzeptierte auch die Tatsache, dass es in der KI nur wenige Datenpunkte gibt, betonte jedoch, dass dies in Zukunft kein Thema mehr sein werde.
„Die nächste Probe kommt, und ich kann Ihnen nicht sagen, wann, und ich kann nicht genau vorhersagen, wie gut sie sein wird, aber bei den Dingen, die derzeit spröde sind, wird sie mit ziemlicher Sicherheit besser sein.”
Kevin Scott
Die große Finanzierung von Microsoft für OpenAI ist ein Beweis für das Vertrauen des Unternehmens in die zukünftige Weiterentwicklung von LLMs. Einige der KI-Funktionen beinhalten Microsoft Copilot, was zeigt, dent das Unternehmen daran interessiert ist, den Einsatz von KI zu verbessern. Ed tron , ein KI-Kritiker, sagte , dass die KI möglicherweise in gewisser Weise stecken bleibt, weil die Menschen zu viel von ihr erwarten.
