OpenAI gründet ein „Superalignment“-Team, um die Risiken der Superintelligenz direkt anzugehen

Sam Altman, CEO von OpenAI , hat eine globale Kampagne gestartet, um das Bewusstsein für die potenziellen Gefahren der KI-Superintelligenz zu schärfen, bei der Maschinen die menschliche Intelligenz übertreffen und unkontrollierbar werden könnten

Als Reaktion auf diese Bedenken hat OpenAI kürzlich die Bildung eines eigens dafür eingerichteten Teams angekündigt, das Methoden zur Bewältigung der Risiken entwickeln soll, die mit Superintelligenz verbunden sind und innerhalb dieses Jahrzehnts entstehen könnten.

Das Unternehmen betont , dass ein effektives Management von Superintelligenz die Schaffung neuer Governance-Institutionen und die Lösung der entscheidenden Herausforderung erfordert, die Superintelligenz mit menschlichen Werten und Absichten in Einklang zu bringen.

OpenAI räumt ein, dass die Ausrichtung einer AGI (Künstliche Allgemeine Intelligenz) erhebliche Risiken für die Menschheit birgt und möglicherweise eine gemeinsame Anstrengung der gesamten Menschheit erfordert, wie in einem im letzten Jahr veröffentlichten Blogbeitrag dargelegt wurde.

Das neu gegründete Team mit dem Namen „Superalignment“ besteht aus führenden Forschern und Ingenieuren im Bereich maschinelles Lernen. Ilya Sutskever, Mitbegründer und wissenschaftlicher Leiter von OpenAI, und Jan Leike, Leiter des Bereichs Alignment, führen dieses Projekt an.

Um die zentralen technischen Herausforderungen der Ausrichtung von Superintelligenz zu bewältigen, hat sich OpenAI verpflichtet, 20 % seiner bisher erworbenen Rechenressourcen diesem Ausrichtungsproblem zu widmen. Das Unternehmen geht davon aus, diese Herausforderungen innerhalb von vier Jahren gelöst zu haben.

Das Hauptziel des Superalignment-Teams ist die Entwicklung eines automatisierten Ausrichtungsforschers auf menschlichem Niveau. Dies beinhaltet die Schaffung von KI-Systemen, die superintelligente KI-Systeme effektiv ausrichten können und dabei Menschen in Geschwindigkeit und Präzision übertreffen.

Um diesen Meilenstein zu erreichen, konzentriert sich das Team auf die Entwicklung einer skalierbaren Trainingsmethode, die KI-Systeme zur Bewertung anderer KI-Systeme nutzt. Das resultierende Modell wird validiert, indem die Suche nach potenziellmatic Verhalten automatisiert wird. Die Alignment-Pipeline wird zudem strengen Stresstests unterzogen, indem absichtlich falsch ausgerichtete Modelle trainiert werden, um deren Erkennbarkeit zu testen.

OpenAIs Bemühungen zur Bewältigung der Risiken von Superintelligenz stellen einen bedeutenden Schritt hin zu einer verantwortungsvollen und abgestimmten KI-Entwicklung dar. Durch die Zusammenstellung eines Teams führender Forscher und den Einsatz erheblicher Rechenressourcen demonstriert das Unternehmen sein Engagement für die proaktive Minderung der potenziellen Risiken, die mit dem Aufkommen von Superintelligenz verbunden sind. Mit diesem ambitionierten Vorhaben setzt OpenAI eindent für Zusammenarbeit und Einigkeit beim Schutz der Zukunft der Menschheit im Zeitalter der KI.