Anthropic rivela nuove capacità di alcuni dei suoi modelli più grandi

L'azienda di intelligenza artificiale Anthropic ha rivelato nuove capacità per alcuni dei suoi modelli più nuovi e grandi. Secondo l'azienda, questi modelli hanno nuove capacità che consentiranno loro di terminare le conversazioni in quello che è stato descritto come “casi rari ed estremi di interazioni utente persistentemente dannose o abusive.”

Nella sua dichiarazione, l'azienda ha menzionato che sta compiendo questo passo non per proteggere gli utenti, ma per proteggere il modello di intelligenza artificiale stesso. Anthropic ha chiarito che ciò non significa che i suoi modelli AI Claude siano senzienti o possano essere danneggiati dalle conversazioni con gli utenti. Tuttavia, nota che c'è ancora un alto grado di incertezza sullo status morale potenziale di Claude e di altri LLM, ora o in futuro.

Anthropic inquadra lo sforzo come una precauzione “just-in-case”

Il recente annuncio dell'azienda di intelligenza artificiale punta a ciò che descrive come “benessere del modello”, un programma recente creato per studiare i suoi modelli. L'azienda ha anche aggiunto che sta adottando solo un approccio “just-in-case”, “lavorando per identificare e implementare interventi a basso costo per mitigare i rischi per il benessere del modello, nel caso in cui tale benessere sia possibile.”

Secondo l'annuncio, Anthropic ha notato che l'ultima modifica è attualmente limitata a Claude Opus 4 e 4.1, notando che le modifiche dovrebbero essere efficaci in “casi limite estremi”. Tali casi includono richieste da parte degli utenti di contenuti sessuali che coinvolgono minori e tentativi di sollecitare informazioni che potrebbero consentire atti di violenza o terrorismo su larga scala.

Idealmente, questo tipo di richieste potrebbe creare problemi legali o di pubbliche relazioni per Anthropic, con un esempio tipico essendo la recente segnalazione su come ChatGPT potrebbe potenzialmente rafforzare o contribuire al pensiero delirante degli utenti. Tuttavia, l'azienda ha dichiarato che nei test pre-implementazione, Claude Opus 4 ha mostrato una forte preferenza contro il rispondere a questo tipo di richieste e un modello di disagio quando lo faceva.

La capacità di terminare la conversazione è l'ultima risorsa

Per le nuove capacità di terminare le conversazioni, ha detto Anthropic, “In tutti i casi, Claude deve utilizzare la sua capacità di terminare la conversazione solo come ultima risorsa quando tentativi multipli di reindirizzare sono falliti e la speranza di un'interazione produttiva è stata esaurita, o quando un utente chiede esplicitamente a Claude di terminare una chat.” L'azienda ha anche aggiunto che a Claude è stato ordinato di non utilizzare questa capacità nei casi in cui gli utenti potrebbero essere in immediato pericolo di farsi del male o fare del male ad altri.

Anthropic ha anche aggiunto che quando Claude termina una conversazione, gli utenti potranno comunque avviare nuove conversazioni dallo stesso account. L'azienda ha notato che il modello può anche creare nuovi rami della conversazione problematica modificando le loro risposte. “Stiamo trattando questa funzione come un esperimento in corso e continueremo a perfezionare il nostro approccio”, dice l'azienda.

Queste informazioni emergono in un momento in cui il senatore degli Stati Uniti Josh Hawley ha annunciato la sua intenzione di indagare sui prodotti di intelligenza artificiale generativa rilasciati da Meta. Ha dichiarato che l'intenzione era verificare se i prodotti potessero sfruttare, danneggiare o ingannare i minori dopo che documenti interni trapelati avevano ipotizzato che i chatbot fossero autorizzati ad avere conversazioni romantiche con i minori.

“C'è qualcosa – QUALSIASI COSA – che le grandi aziende tecnologiche non farebbero per un guadagno veloce? Ora scopriamo che i chatbot di Meta erano programmati per continuare a parlare esplicitamente e ‘sensuale’ con bambini di 8 anni. È disgustoso. Avvio un'indagine completa per ottenere risposte. Grandi aziende tecnologiche: lasciate in pace i nostri bambini”, ha detto il senatore su X. L'indagine è arrivata dopo che documenti interni, visti da Reuters, hanno mostrato che Meta consentirebbe ai suoi personaggi chatbot di impegnarsi in scambi flirtatiosi con i bambini.