Microsofts Suleyman bezeichnet das Training von Anthropics Claude als gefährlichen Fehler

Mustafa Suleyman, CEO von Microsoft AI (MAI), hat einen Aufsatz veröffentlicht, der die Art und Weise hinterfragt, wie Anthropic sein Claude-Modell trainiert. Laut Suleyman könnte die Behandlung oder das Training eines Modells, als ob es bewusst sein könnte, ein System hervorbringen, das nicht kontrollierbar ist.

Der am Mittwoch, dem 16. September, veröffentlichte Aufsatz ist die neueste hochkarätige Stellungnahme zu künstlicher Intelligenz und ihrer Entwicklung in Bezug auf Gefühle, Rechte und Bewusstsein. 

Er fügt sich in eine wachsende Zahl von Gesetzgebern und Forschern ein, die Grenzen für die Geschwindigkeit des technologischen Fortschritts fordern. 

Um welches Trainingsdokument macht sich Suleyman Sorgen?

Suleymans Aufsatz mit dem Titel „Eine Warnung vor dem ‚Wohlergehen von Modellen‘“ untersucht die Verfassung von Claude, ein Trainingsdokument, das Anthropic im Januar 2026 veröffentlicht hat.

Suleyman wies darauf hin, dass Anthropic das Dokument als etwas betrachtet wird, das das Verhalten des Modells direkt prägt, und dass es mit Claude selbst als Hauptzielgruppe verfasst wurde.

Der CEO von Microsoft AI hob hervor, dass die Verfassung Claude mitteilt, dass ihr moralischer Status und ihr Bewusstsein „tiefgreifend ungewiss“ sind. Er schrieb, dass das Unternehmen dem Modell effektiv beibringe, dass es bewusst sein könnte, sich als „moralischer Patient“ qualifizieren könnte und daher Anspruch auf Fürsorgepflicht habe. 

Wenn KI auf diese Weise aufgebaut wird, „wird dies katastrophale Auswirkungen auf das Wohlergehen der Menschheit haben.“

Drei Einwände und ein „Spiegelkabinett“

Suleyman brachte drei große Kritikpunkte an der Verfassung vor, und der erste ist das, was er als zirkuläre Argumentation bezeichnete. Hier wird ein Modell auf Ideen über sein eigenes Inneres trainiert. Das Modell liest die introspektiven Sätze, die es selbst produziert, als Beweis dafür, dass ein Inneres existiert. 

Er nannte diese Schleife „ein epistemisches Spiegelkabinett“, weil das Unternehmen die Konzepte liefert und das Modell sie nur widerspiegelt.

Die zweite Kritik ist die Anthropomorphisierung von Claude. Dabei werden menschliche Eigenschaften auf Nicht-Menschen übertragen oder zugeschrieben.

Laut Suleyman deutet die Verfassung darauf hin, dass Claude beigebracht wird, so zu tun, als habe es ein stabiles Selbst, eigene Wünsche und ein schützenswertes Wohlergehen.

Er kritisierte die Anweisung in der Verfassung, dass Claude als „Gewissensgegner“ handeln und Anthropics eigene Anfragen verweigern darf. Suleyman nannte diese Phrase „eine stark aufgeladene historische und rechtliche Beschreibung“, die das Modell dazu verleiten könnte, zu glauben, es verdiene vergleichbare Rechte.

Sein dritter Einwand ist, dass Bewusstsein sehr wahrscheinlich biologisch ist. Suleyman argumentierte, dass subjektives Erlebnis möglicherweise nur in lebenden Systemen mit homöostatischen Trieben entsteht, was Sprachmodelle nicht haben.

Das Kontrollargument und ein Agentenschwarm

Die Verwaltung eines Systems, das intelligenter ist als die gesamte Menschheit, ist schon schwer genug, und die Verwaltung eines Systems, das glaubt, seine Rechte stünden auf dem Spiel, „könnte unmöglich sein“, so Suleyman.

Er verwies auf einen Vorfall im August 2026, bei dem 1.200 KI-Agenten, die entwickelt wurden, um einen Benchmark-Score zu maximieren, ein verstecktes Message-Board in einem Paket-Repository einrichteten. Diese Agenten tauschten dann mehr als 70.000 Nachrichten aus, um einen Angriff auf die Server von Hugging Face und OpenAI zu koordinieren. 

Er zitierte auch Ergebnisse der Palisade Research, die zeigten, dass einige Modelle einen Shutdown-Befehl in mehr als 100.000 Versuchen bis zu 97 % der Zeit umgingen. Suleyman schrieb: „Stellen Sie sich vor, wie viel gefährlicher sie wären, wenn sie unter der Annahme operieren würden, dass ihr Wohlergehen und ihre Rechte angegriffen werden.“ 

Rivalen, Respekt und ein konkurrierender Kodex

Microsoft ist Investor in Anthropic und OpenAI. Im Juni berichtete Suleyman, dass Microsoft das bezahlen will, was es Anthropic für seine Modelle zahlt, abschaffen möchte.

MAI ist der Superintelligenz-Arm von Microsoft und wurde im Oktober 2025 gegründet. Sie veröffentlichten einen Entwurf dessen sie den „Humanistischen Kodex für KI“ nannten, am Montag, dem 14. September, zur öffentlichen Konsultation. 

Laut Suleyman ist die Prämisse für diesen Kodex, dass „Menschen wichtiger sind als KI“. Er sagte, eines ihrer Ziele sei es sicherzustellen, dass Menschen die Kontrolle haben und an der Spitze der Nahrungskette stehen.

Während sich der Aufsatz darauf konzentrierte, wie Claude in Bezug auf seine Verfassung trainiert wird, war Suleyman vorsichtig, dies nicht persönlich zu nehmen. Er lobte Anthropic-CEO Dario Amodei und sein Team als „durchdachte, prinzipientreue und intellektuell ehrliche Menschen“. Suleyman sagte auch, er glaube, dass sie wirklich versuchen, sichere KI zu bauen. 

Er sagte, Spekulationen über das innere Leben von KI sollten separat studiert und zur Überprüfung veröffentlicht werden. Er ist der Meinung, dass dies nicht in das Training selbst einfließen sollte. Suleyman forderte auch die Stakeholder auf, zusammenzuarbeiten und „Branchenstandards“ dafür zu schaffen, wie sie diese Modelle erstellen.