KI-Modelle beherrschen Fähigkeiten lange bevor sie diese demonstrieren, wie Forschungsergebnisse zeigen

Neue Forschungsergebnisse zeigen, dass Modelle der künstlichen Intelligenz (KI) bereits lange vor dem Training über bestimmte Fähigkeiten verfügen. Laut der Studie von Harvard und der University of Michigan demonstrieren die Modelle diese Fähigkeiten erst dann, wenn sie diese in irgendeiner Form benötigen.

Die Studie ist eine von vielen, die durchgeführt wurden, um zu verstehen, wie KI-Modelle ihre Fähigkeiten entwickeln, bevor sie diese präsentieren.

Die Studie analysierte, wie KI-Modelle grundlegende Konzepte wie Größe und Farbe erlernen, und zeigte, dass sie diese Fähigkeiten schneller beherrschen, als die meisten Tests vermuten lassen. Die Studie lieferte zudem Einblicke in die Komplexität der Messung von KI-Fähigkeiten. „Ein Modell kann bei Standardaufgaben inkompetent erscheinen, obwohl es tatsächlich über ausgefeilte Fähigkeiten verfügt, die erst unter bestimmten Bedingungen zum Vorschein kommen“, heißt es in der Studie.

Forschungsergebnisse zeigen, dass KI-Modelle Konzepte verinnerlichen

Harvard und die University of Michigan sind nicht die Ersten, die versuchen, die Fähigkeiten von KI-Modellen zu verstehen. Forscher von Anthropic veröffentlichten eine Arbeit mit dem Titel „Wörterbuchlernen“. Darin beschreiben sie, wie sich Verbindungen in ihrer Programmiersprache Claude zu spezifischen, von ihr verstandenen Konzepten abbilden lassen. Obwohl die meisten dieser Forschungsarbeiten unterschiedliche Ansätze verfolgen, steht das Verständnis der KI-Modelle im Vordergrund.

Anthropologie gab bekannt, Merkmale gefunden zu haben, die mit verschiedenen interpretierbaren Konzepten verknüpft werden können. „Wir haben Millionen von Merkmalen gefunden, die offenbar interpretierbaren Konzepten entsprechen, die von konkreten Objekten wie Menschen, Ländern und berühmten Gebäuden bis hin zutracIdeen wie Emotionen, Schreibstilen und Denkprozessen reichen“, so die Forschungsergebnisse.

Im Rahmen ihrer Forschung führten die Wissenschaftler mehrere Experimente mit dem Diffusionsmodell durch, einer der gängigsten Architekturen für KI. Dabei stellten sie fest, dass die Modelle unterschiedliche Wege nutzten, um grundlegende Konzepte zu manipulieren. Die Muster waren konsistent, da die KI-Modelle in verschiedenen Phasen neue Fähigkeiten zeigten und einen deutlichen Übergangspunkt aufwiesen, der den Erwerb einer neuen Fähigkeit signalisierte.

Während des Trainings zeigten die Modelle, dass sie Konzepte etwa 2.000 Schritte früher beherrschten, als es ein Standardtest erfassen würde.tronKonzepte traten nach etwa 6.000 Schritten auf, schwächere nach etwa 20.000 Schritten. Nach der Anpassung der Konzeptsignale wurde ein direkter Zusammenhang mit der Lerngeschwindigkeit festgestellt.

Forscher enthüllen Methoden zum Zugriff auf verborgene Fähigkeiten

Die Forscher nutzten alternative Methoden, um verborgene Fähigkeiten aufzudecken, bevor diese in Standardtests sichtbar wurden. Das häufige Auftreten solcher verborgener Fähigkeiten hat Auswirkungen auf die Bewertung und Sicherheit von KI. So erfassen traditionelle Benchmarks möglicherweise nicht alle Fähigkeiten von KI-Modellen und übersehen damit sowohl nützliche als auch problematische.

Im Rahmen der Forschung entwickelte das Team Methoden, um auf die verborgenen Fähigkeiten der KI-Modelle zuzugreifen. Diese Methoden wurden als lineare latente Intervention und Überprompting bezeichnet, da die Forscher die Modelle dazu brachten, komplexe Verhaltensweisen zu zeigen, bevor diese in Standardtests sichtbar wurden. Die Forscher entdeckten außerdem, dass die KI-Modelle bestimmte komplexe Merkmale manipulierten, bevor sie diese durch Standardprompts demonstrieren konnten.

Beispielsweise könnten Modelle aufgefordert werden, erfolgreich „lächelnde Frauen“ oder „Männer mit Hüten“ zu generieren, bevor sie aufgefordert werden, diese zu kombinieren. Untersuchungen haben jedoch gezeigt, dass sie die Kombination bereits früher gelernt haben, sie aber nicht durch herkömmliche Aufforderungen demonstrieren können. Bei den Modellen, die ihre Fähigkeiten demonstrieren, spricht man von „Grokking“, einem Zustand, in dem Modelle nach längerem Training perfekte Testergebnisse erzielen. Die Forscher wiesen jedoch darauf hin, dass es zwischen beiden Fällen wesentliche Unterschiede gibt.

Während das Grokking erst nach mehreren Trainingssitzungen erfolgt und die Verfeinerung verschiedener Verteilungen derselben Datensätze beinhaltet, zeigen die Forschungsergebnisse, dass diese Fähigkeiten während des aktiven Lernens entstehen. Die Forscher stellten fest, dass die Modelle durch Phasenwechsel neue Wege zur Manipulation von Konzepten fanden, anstatt durch schrittweise Verbesserungen der Repräsentation im Grokking.

Die Studie zeigt, dass KI-Modelle diese Konzepte zwar kennen, sie aber nicht darstellen können. Das ist vergleichbar mit Menschen, die einen fremdsprachigen Film verstehen, aber die Sprache nicht sprechen. Dies verdeutlicht, dass die meisten Modelle über mehr Fähigkeiten verfügen, als sie zeigen, und gleichzeitig die Schwierigkeit, diese Fähigkeiten zu verstehen und zu kontrollieren.