KI-Modelle beherrschen Fähigkeiten lange bevor sie sie zeigen, zeigt die Forschung

Künstliche Intelligenz (KI)-Modelle besitzen einige Fähigkeiten lange bevor sie sie während des Trainings zeigen, hat neue Forschung ergeben. Laut der Forschung, die von Havard und der University of Michigan durchgeführt wurde, zeigen die Modelle diese Fähigkeiten erst, wenn sie sie auf die eine oder andere Weise benötigen.

Die Forschung ist eine von vielen, die durchgeführt wurde, um zu verstehen, wie KI-Modelle ihre Fähigkeiten aufbauen, bevor sie sie zeigen.

Die Studie analysierte, wie KI-Modelle grundlegende Konzepte wie Größe und Farbe lernen, und zeigte, dass sie diese Fähigkeiten früher beherrschen, als die meisten Tests vermuten lassen. Die Studie lieferte auch Einblicke in die Komplexität der Messung der Fähigkeiten einer KI. „Ein Modell mag bei Standard-Prompts inkompetent erscheinen, während es tatsächlich über ausgefeilte Fähigkeiten verfügt, die nur unter bestimmten Bedingungen zum Vorschein kommen“, heißt es in dem Papier.

Forschung zeigt, dass KI-Modelle Konzepte internalisieren

Havard und die University of Michigan sind nicht die ersten, die versuchen, die Fähigkeiten von KI-Modellen zu verstehen, wobei Forscher bei Anthropic ein Papier mit dem Titel ‚Dictionary Learning‘ vorstellten. Das Papier diskutierte die Kartierung von Verbindungen in ihrer Claude-Sprache zu spezifischen Konzepten, die es versteht. Obwohl die meisten dieser Forschungen unterschiedliche Ansätze verfolgten, dienten sie primär dem Verständnis der KI-Modelle.

Anthropic gab bekannt, dass es Funktionen gefunden hatte, die mit verschiedenen interpretierbaren Konzepten verknüpft werden konnten. „Wir fanden Millionen von Funktionen, die scheinbar interpretierbaren Konzepten entsprechen, die von konkreten Objekten wie Menschen, Ländern und berühmten Gebäuden bis hin zu abstrakten Ideen wie Emotionen, Schreibstilen und Schritten des Denkens reichen“, enthüllte die Forschung.

Während ihrer Forschung führten die Forscher mehrere Experimente mit dem Diffusionsmodell durch, einer der beliebtesten Architekturen für KI. Während des Experiments stellten sie fest, dass die Modelle unterschiedliche Wege hatten, grundlegende Konzepte zu manipulieren. Die Muster waren konsistent, da die KI-Modelle in verschiedenen Phasen neue Fähigkeiten zeigten und ein scharfer Übergangspunkt signalisierte, wann eine neue Fähigkeit erworben wurde.

Während des Trainings zeigten die Modelle, dass sie Konzepte etwa 2.000 Schritte früher beherrschten, als ein Standardtest erkennen würde. Starke Konzepte erschienen etwa 6.000 Schritte und schwächere waren um 20.000 Schritte sichtbar. Nachdem die Signalsignale für Konzepte angepasst wurden, entdeckten sie eine direkte Korrelation mit der Lerngeschwindigkeit.

Forscher enthüllen Methoden zum Zugriff auf verborgene Fähigkeiten

Die Forscher verwendeten alternative Prompting-Methoden, um verborgene Fähigkeiten offenzulegen, bevor sie in Standardtests gezeigt wurden. Die weit verbreitete Natur der verborgenen Emergenz hat Auswirkungen auf die KI-Bewertung und -Sicherheit. Zum Beispiel könnten traditionelle Benchmarks bestimmte Fähigkeiten der KI-Modelle verpassen und damit sowohl die nützlichen als auch die besorgniserregenden übersehen.

Während der Forschung entwickelte das Team bestimmte Methoden, um auf die verborgenen Fähigkeiten der KI-Modelle zuzugreifen. Die Forschung nannte diese Methoden lineare latente Intervention und Over-Prompting, da die Forscher die Modelle dazu brachten, komplexes Verhalten zu zeigen, bevor es in Standardtests erschien. Die Forscher entdeckten auch, dass die KI-Modelle bestimmte komplexe Merkmale manipulierten, bevor sie sie durch Standard-Prompts zeigen konnten.

Zum Beispiel konnten Modelle erfolgreich dazu aufgefordert werden, ‚lächelnde Frauen‘ oder ‚Männer mit Hüten‘ zu generieren, bevor sie gebeten wurden, sie zu kombinieren. Die Forschung zeigte jedoch, dass sie das Kombinieren früher gelernt hatten, es aber nicht durch konventionelle Prompts zeigen konnten. Das Zeigen von Fähigkeiten durch Modelle kann als Grokking bezeichnet werden, eine Situation, in der Modelle nach erweiterten Trainingsphasen eine perfekte Testleistung zeigen. Die Forscher sagten jedoch, dass es wichtige Unterschiede zwischen beiden gibt.

Während Grokking nach mehreren Trainingseinheiten stattfindet und die Verfeinerung mehrerer Verteilungen desselben Datensatzes beinhaltet, zeigt die Forschung, dass diese Fähigkeiten während des aktiven Lernens entstehen. Die Forscher stellten fest, dass die Modelle neue Wege fanden, Konzepte durch Phasenwechsel zu manipulieren, anstatt durch schrittweise Verbesserungen der Darstellung wie beim Grokking.

Laut der Forschung zeigt dies, dass KI-Modelle diese Konzepte kennen, sie sie aber nicht zeigen können. Es ist ähnlich wie bei Menschen, die einen fremdsprachigen Film ansehen und verstehen, aber die Sprache nicht sprechen können. Dies zeigt, dass die meisten Modelle mehr Fähigkeiten haben, als sie zeigen, und es zeigt auch die Schwierigkeit, ihre Fähigkeiten zu verstehen und zu kontrollieren.