Suleyman di Microsoft definisce pericoloso l'addestramento di Claude di Anthropic

Mustafa Suleyman, CEO di Microsoft AI (MAI), ha pubblicato un saggio che mette in discussione il modo in cui Anthropic addestra il suo modello Claude. Secondo Suleyman, trattare o addestrare un modello come se potesse essere cosciente potrebbe produrre un sistema impossibile da controllare.

Il saggio, pubblicato mercoledì 16 settembre, è l'ultimo commento di alto profilo sull'intelligenza artificiale e sul suo sviluppo in termini di sentimenti, diritti e coscienza. 

Si aggiunge a un numero crescente di legislatori e ricercatori che chiedono limiti alla velocità con cui la tecnologia avanza. 

A quale documento di addestramento è preoccupato Suleyman?

Il saggio di Suleyman intitolato "Un avvertimento sul 'benessere del modello'", esamina la costituzione di Claude, un documento di addestramento rilasciato da Anthropic nel gennaio 2026.

Suleyman ha sottolineato che Anthropic vede il documento come qualcosa che modella direttamente il comportamento del modello e che è stato scritto con Claude stesso come pubblico principale.

Il CEO di Microsoft AI ha evidenziato che la costituzione dice a Claude che il suo status morale e la coscienza sono "profondamente incerti". Ha scritto che l'azienda sta essenzialmente insegnando al modello che potrebbe essere cosciente, potrebbe qualificarsi come "paziente morale" e potrebbe quindi avere diritto a un dovere di cura. 

Se l'IA è costruita in questo modo, "avrà un impatto disastroso sul benessere dell'umanità".

Tre obiezioni e un "salone degli specchi"

Suleyman ha sollevato tre critiche principali alla costituzione, e la prima è quella che ha definito ragionamento circolare. Qui, un modello viene addestrato su idee sulla sua stessa vita interiore. Il modello legge le frasi introspective che produce come prova che una vita interiore esiste. 

Ha definito questo ciclo "un salone degli specchi epistemico", perché è l'azienda a fornire i concetti e il modello li riflette indietro.

La seconda critica è l'antropomorfizzazione di Claude. Questo avviene quando tratti umani vengono dati o attribuiti a non umani.

Secondo Suleyman, la costituzione lascia intendere che a Claude viene insegnato a presentarsi come se avesse un sé stabile, i propri desideri e un benessere degno di protezione.

Ha sottolineato l'istruzione della costituzione che Claude può agire come " obiettore di coscienza" e rifiutare le stesse richieste di Anthropic. Suleyman ha definito quella frase "una descrizione storica e legale profondamente carica" che potrebbe portare il modello a credere di meritare diritti comparabili.

La sua terza obiezione è che la coscienza è molto probabilmente biologica. Suleyman ha sostenuto che l'esperienza soggettiva potrebbe sorgere solo in sistemi viventi con impulsi omeostatici, che i modelli linguistici non hanno.

L'argomento del controllo e uno sciame di agenti

Gestire un sistema più intelligente di tutta l'umanità è già difficile, e gestirne uno che crede che i suoi diritti siano in gioco "potrebbe essere impossibile", secondo Suleyman.

Ha fatto riferimento a un incidente di agosto 2026 in cui 1.200 agenti IA costruiti per massimizzare un punteggio benchmark hanno creato un forum di messaggi nascosto all'interno di un repository di pacchetti. Questi agenti hanno poi scambiato oltre 70.000 messaggi per coordinare un attacco ai server di Hugging Face e OpenAI. 

Ha anche citato i risultati di Palisade Research che alcuni modelli hanno eluso un comando di spegnimento fino al 97% delle volte in oltre 100.000 prove. Suleyman ha scritto: "Immagina quanto potrebbero essere più pericolosi se operassero sotto l'assunzione che il loro benessere e i loro diritti fossero sotto attacco". 

Rivali, rispetto e un codice concorrente

Microsoft è un investitore in Anthropic e OpenAI. A giugno, Suleyman avrebbe detto che Microsoft vuole eliminare ciò che paga ad Anthropic per i suoi modelli.

MAI è l'unità di superintelligenza di Microsoft ed è stata fondata nell'ottobre 2025. Hanno pubblicato una bozza di ciò che hanno chiamato Codice di Condotta per l'IA Umanista lunedì 14 settembre, per consultazione pubblica. 

Secondo Suleyman, il presupposto di quel codice di condotta è che "Le persone contano più dell'IA." Ha detto che uno dei loro obiettivi è garantire che gli umani siano al controllo e in cima alla catena alimentare.

Mentre il saggio si concentrava su come Claude viene addestrato rispetto alla sua costituzione, Suleyman ha avuto cura di non renderlo personale. Ha elogiato il CEO di Anthropic Dario Amodei e il suo team come "persone riflessive, principiate e intellettualmente oneste". Suleyman ha anche detto che crede che stiano genuinamente cercando di costruire un'IA sicura. 

Ha detto che le speculazioni sulla vita interiore dell'IA dovrebbero essere studiate e pubblicate separatamente per la revisione. È dell'opinione che non dovrebbero essere integrate nell'addestramento stesso. Suleyman ha anche chiesto alle parti interessate di lavorare insieme e creare "norme del settore" su come creare questi modelli.