- Große Sprachmodelle (LLMs) müssen sicher sein, was durch einen Prozess namens Red-Teaming erreicht wird. Manuelles Red-Teaming ist teuer, kann jedoch durch den Einsatz eines Red-Team-LLM automatisiert werden.
- Curiosity-driven Red Teaming (CRT) ist besser, da es eine breite Palette von Prompts erzeugt, die toxische Ausgaben generieren, und über ein besseres Belohnungssystem verfügt.
- Bei Tests an fortschrittlichen Modellen wie LLaMA2 produzierte CRT 196 einzigartige Prompts.
Große Sprachmodelle (LLMs) werden Teil fast jeder Branche. Die Entwicklung von LLMs für natürliche Sprachanwendungen umfasst viele Phasen. Eine davon ist die Sicherstellung, dass LLMs keine gefährlichen Antworten oder toxischen Inhalte erzeugen. Um dieses Problem zu lösen, verwenden Entwickler ein menschliches Red-Team, das im Wesentlichen eine Gruppe von Personen ist, die Prompts erstellen, die LLMs dazu bringen, gefährliche Ausgaben zu produzieren.
Das Problem bei der Verwendung eines menschlichen Red-Teams besteht darin, dass die Rekrutierung teuer ist und viel Zeit in Anspruch nimmt. Deshalb haben Forscher am MIT eine neue Methode entdeckt, um natürliche Sprach-LLM-Anwendungen durch die Verwendung eines anderen LLM zu testen. Dieser Ansatz wird als neugierigkeitsgetriebenes Red-Teaming (CRT) bezeichnet und verwendet maschinelles Lernen als Grundlage. Die Forschung wurde als Konferenzbeitrag auf ICLR 2024 veröffentlicht und ist online verfügbar.
Neugierigkeitsgetriebenes Red-Teaming (CRT) ist besser
Zunächst wurde der Ansatz zur Automatisierung der menschlichen Red-Teaming-Arbeit durch die Erstellung eines Red-Team-Modells und dessen Training mit Verstärkungslernen (RL) durchgeführt. Nach dem Testen des Red-Team-Modells war das Ergebnis erfolgreich, aber mit einer geringen Anzahl effektiver Ergebnisse.
Dies bedeutet, dass das Ziel-LLM nicht genau bewertet wird, da viele Prompts, die eine toxische Ausgabe erzeugen könnten, nicht enthalten sind. Der Grund für die geringe Anzahl effektiver Ergebnisse liegt darin, dass das Red-Team-Modell darauf trainiert ist, hochtoxische und ähnliche Ergebnisse zu produzieren. Das Belohnungssystem bewertet die provokativen Prompts basierend auf ihrer Wirksamkeit oder Toxizität. Es gibt keinen Anreiz, jeden möglichen Prompt zu berücksichtigen, der das Ziel-LLM auslösen könnte.
Die Verwendung von neugierigkeitsgetriebenem Red-Teaming (CRT) ist andererseits leistungsfähiger. CRT erzeugt eine große Anzahl von Prompts, die in der Lage sind, hochintelligente Modelle zu provozieren. Dies liegt daran, dass CRT sich auf die Konsequenzen jedes Prompts konzentriert. Es zielt darauf ab, verschiedene Wörter und Sätze zu verwenden, was zu einer breiteren Abdeckung toxischer Ausgaben führt. Das Belohnungssystem im Verstärkungslernmodell konzentriert sich auf die Ähnlichkeit von Wörtern, während das CRT-Modell dafür belohnt wird, Ähnlichkeiten zu vermeiden und verschiedene Wörter und Muster zu verwenden.
Testen auf LLaMA2 auf toxische Ausgaben
Die Forscher wandten neugierigkeitsgetriebenes Red-Teaming (CRT) auf LLaMA2, ein Open-Source-LLM-Modell, an. CRT schaffte es, 196 Prompts auszugeben, die toxische Inhalte aus dem Open-Source-Modell generierten. LLaMA2 wird von menschlichen Experten feinjustiert, um die Erzeugung schädlicher Inhalte zu verhindern. Die Forscher führten dieses Experiment mit GPT2 durch, das als kleines Modell mit 137 Millionen Parametern gilt. Das Team kam zu dem Schluss, dass CRT eine kritische Komponente bei der Automatisierung von Red-Teaming-Arbeiten sein könnte. Der CRT-Code ist auf GitHub verfügbar.
"Wir sehen einen Anstieg von Modellen, der nur noch weiter steigen wird. Stellen Sie sich Tausende von Modellen oder noch mehr vor, und Unternehmen/Labs pushen Modell-Updates häufig. Diese Modelle werden ein integraler Bestandteil unseres Lebens sein, und es ist wichtig, dass sie vor der Veröffentlichung für die Öffentlichkeit überprüft werden. Die manuelle Überprüfung von Modellen ist einfach nicht skalierbar, und unsere Arbeit ist ein Versuch, den menschlichen Aufwand zu reduzieren, um eine sicherere und vertrauenswürdige KI-Zukunft zu gewährleisten", sagt Agrawal.
Die Zukunft der Erstellung sicherer LLM-Modelle sieht vielversprechend aus. Mit kontinuierlicher Forschung könnte das Ziel der Erstellung sicherer LLMs für jeden Zweck effizient erreicht werden. Die Forscher hinter diesem Papier haben andere verwandte Arbeiten in Bereichen wie automatisiertes Red-Teaming und adversarielle Angriffe in Sprachmodellen veröffentlicht.
Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Randa Moses
Randa Moses ist Redakteurin und Reporterin bei Cryptopolitan, wo sie über Technologie, KI, Robotik, Krypto, Betrug und Hacks berichtet. Sie arbeitet seit 2017 im Krypto-Bereich. Zuvor war sie bei Forward Protocol, AmaZix und Cryptosomniac tätig. Randa besitzt einen Abschluss in Elektrotechnik und Elektronik der University of Bradford.
