KI-Modelle spucken „Unsinn“ aus, wenn sie mit KI-generierten Daten trainiert werden

Große Sprachmodelle (LLMs), die mit vorherigen Iterationen von KI-generiertem Material trainiert wurden, produzieren Ausgaben, die an Substanz und Nuancen mangeln, wie eine neue Studie ergeben hat. Die Ergebnisse stellen eine neue Herausforderung für KI-Entwickler dar, die sich auf begrenzte, vom Menschen generierte Datensätze für Inhalte verlassen.

Auch lesen: KI-Deepfakes erschweren US-Behörden den Schutz von Kindern – Bericht

KI-Forscher der University of Cambridge und der University of Oxford in Großbritannien versuchten, Prompts zu schreiben, die sich ausschließlich auf einen Datensatz stützten, der nur aus KI-generierten Inhalten bestand. Das Ergebnis war nicht ideal, da es unverständliche Antworten erzeugte.

KI braucht immer noch Menschen, um Sinn zu ergeben

Einer der Autoren des Papiers, Zhakar Shumaylov von der University of Cambridge, sagte, es bestehe ein Bedarf an Qualitätskontrolle bei den Daten, die LLMs speisen, der Technologie hinter generativen KI-Chatbots wie ChatGPT und Googles Gemini. Shumaylov sagte:

„Die Botschaft ist, dass wir sehr vorsichtig sein müssen, was in unsere Trainingsdaten gelangt. [Andernfalls] werden Dinge immer, nachweislich, schiefgehen“.

Das Phänomen ist als „Modellkollaps“ bekannt, wie Shumaylov ausführt. Es wurde nachgewiesen, dass es alle Arten von KI-Modellen betrifft, einschließlich solcher, die sich auf die Bildgenerierung mit Text-Prompts spezialisieren.

Laut der Studie führte die wiederholte Verwendung von KI-generierten Daten auf einem Modell zu unsinnigen Ergebnissen. Zum Beispiel stellten die Forscher fest, dass ein System, das mit Texten über die mittelalterlichen Kirchtürme Großbritanniens getestet wurde, nach nur neun Generationen eine sich wiederholende Liste von Jackkaninchen erzeugte.

Hany Farid, ein Informatiker der University of California, der die Ausgaben kommentierte, verglich den Datenkollaps mit den inhärenten Problemen der Inzucht bei Tieren.

„Wenn eine Spezies mit ihren eigenen Nachkommen inzuchtet und ihren Genpool nicht diversifiziert, kann dies zum Zusammenbruch der Spezies führen“, sagte Farid.

Als die Forscher KI-generierte Daten in die KI-Daten einfließen ließen, trat der Kollaps langsamer ein als bei der Verarbeitung rein KI-generierter Inhalte.

Forscher: KI könnte Vorurteile gegenüber Minderheitengruppen verschärfen

Sprachmodelle funktionieren, indem sie Assoziationen zwischen Tokens – Wörtern oder Wortteilen – in riesigen Textmengen aufbauen, die oft aus dem Internet gescraped werden. Sie generieren Text, indem sie das statistisch wahrscheinlichste nächste Wort basierend auf diesen erlernten Mustern ausgeben.

Auch lesen: ChatGPT-angetriebener Teddybär Poe liest Kindern Gute-Nacht-Geschichten vor

Die Studie, die am 24. Juli in der Zeitschrift Nature veröffentlicht wurde, zeigte, dass Informationen, die in Datensätzen nur wenige Male erwähnt wurden, wahrscheinlich nicht wiederholt werden. Forscher befürchten, dass dies bereits marginalisierte Minderheitengruppen negativ beeinflussen könnte.

Um den Modellkollaps in realen Anwendungsfällen zu vermeiden, schlug die Studie vor, KI-generierte Inhalte und vom Menschen generierte Inhalte zu markieren. Dies könnte jedoch aufgrund mangelnder Koordination zwischen rivalisierenden KI-Unternehmen problematisch sein, hieß es.

Die Ergebnisse der Studie kommen zu einer Zeit, in der die Debatte darüber, ob KI zur vollständigen Verdrängung des Menschen bei der Erstellung von Inhalten, einschließlich des Schreibens von Romanen und Zeitungsartikeln, führen wird, an Intensität gewinnt.

Mit dem Titel „AI models collapse when trained on recursively generated data“ (KI-Modelle kollabieren, wenn sie mit rekursiv generierten Daten trainiert werden) bringt die Studie diese Debatte zu einem Ende – Menschen werden vorerst nicht aus der Gleichung entfernt.