Anthropic fa marcia indietro sulle restrizioni nascoste di Claude Fable 5

Anthropic si è scusata e ha ritirato la politica che avrebbe segretamente limitato le prestazioni di Claude Fable 5 per gli sviluppatori di intelligenza artificiale. Gli scienziati hanno avvertito che tale politica restrittiva avrebbe potuto rendere le funzionalità avanzate dell'IA accessibili solo a poche aziende selezionate, ostacolando la crescita della scienza a livello globale.

La decisione di Anthropic, annunciata il 10 giugno, ha implicazioni ben più significative delle azioni intraprese da una singola azienda. Data la sua valutazione di quasi 965 miliardi di dollari e l'imminente IPO, l'dent ha messo in luce una contraddizione cruciale all'interno del settore dell'IA: come le aziende che sviluppano i modelli migliori riescono a conciliare le proprie esigenze competitive con una cultura di ricerca aperta che alimenta l'innovazione a livello globale.

Le restrizioni nascoste imposte da Anthropic su Claude Fable 5 scatenano l'indignazione del settore

Con il lancio di Claude Fable 5 il 9 giugno, Anthropic ha reso pubbliche quattro categorie di protezione, tra cui sicurezza informatica, biologia, chimica e ricerca sull'intelligenza artificiale. Tre di queste categorie funzionavano in modo simile. Ogni volta che veniva rilevata una query sensibile, il sistema la rifiutava completamente oppure indirizzava l'utente a Claude Opus 4.8, la sua precedente offerta di punta, con un avviso pubblico.

Tuttavia, la quarta categoria si differenziava dalle altre. Quando sottoposto a interrogazioni per l'intelligenza artificiale emergente, Fable 5 comprometteva la qualità del suo output senza informare l'utente. Secondo quanto riportato da Fortune in merito all'annuncio, l'azienda ha delineato degli interventi per ostacolare le prestazioni del sistema senza rivelarne i dettagli. Ulteriori informazioni sono disponibili nella scheda di sistema di 319 pagine di Anthropic.

Secondo Anthropic, la probabilità che questa restrizione entrasse in vigore era di circa lo 0,03%. Ma il principio ha allarmato i ricercatori molto più della percentuale.

"Abbiamo fatto la scelta sbagliata e ci scusiamo per non aver trovato il giusto equilibrio", avrebbe spiegato Anthropic.

Secondo i critici, le restrizioni imposte da Claude Fable 5 hanno minacciato la ricerca indipendente sull'intelligenzadent

Queste critiche sono arrivate da persone che raramente concordano. Sostenitori dell'open source, ricercatori nel campo della sicurezza che lavorano con l'IA e persino ex dipendenti di Anthropic hanno reagito nel giro di poche ore dalla pubblicazione della scheda di sistema.

Will Brown, responsabile della ricerca presso la startup di intelligenza artificiale Prime Intellect, ha affermato che la politica adottata sembrava un tentativo dell'azienda di "tirare le somme alle spalle". Ha aggiunto che un numero crescente di aziende sta valutando la sicurezza e l'affidabilità dei sistemi di frontiera. Il degrado occulto delle prestazioni potrebbe potenzialmente compromettere il loro processo di verifica.

Nathan Lambert, ricercatore nel campo dei modelli aperti ed ex responsabile del settore presso l'Allen Institute for AI, è stato ancora piùtronnella sua dichiarazione. Ha affermato su X che la politica "dipinge Anthropic chiaramente come anti-scientifica, e quindi contraria al progresso e alla sicurezza".

Jeremy Howard, cofondatore di AnswerDotAI, ha inquadrato la questione come una lotta per il potere competitivo. Secondo Howard, i ricercatori di Anthropic potrebbero ancora utilizzare internamente il modello senza restrizioni, il che significa che la frontiera dell'IA continuerebbe ad avanzare mentre i ricercatori esterni rimarrebbero indietro. Ha affermato che "la frontiera dell'IA avanza e lo squilibrio di potere aumenta"

Anche ex dipendenti di Anthropic hanno espresso la loro opinione. Behnam Neyshabur, che in precedenza aveva co-diretto l'iniziativa dell'azienda incentrata sull'intelligenza artificiale, ha affermato che limitare queste capacità "rallenta in modo sostanziale il progresso scientifico e tecnologico ed è complessivamente negativo per l'umanità"

In che modo potrebbe influire sull'IPO di Anthropic?

L'incidentedent è verificato in un periodo molto delicato per Anthropic. L'azienda identdocumenti per l'IPO il 1° giugno, raccogliendo 65 miliardi di dollari con una valutazione implicita di 965 miliardi di dollari. La valutazione in questo caso dipende in modo significativo dalla fiducia dei clienti aziendali e della comunità scientifica.

A prescindere dalle controversie sulla ricerca sull'intelligenza artificiale, l'uscita di Fable 5 ha suscitato critiche anche per un altro motivo. I robusti filtri biologici impiegati dal modello gli impedivano di rispondere a domande riguardanti le membrane cellulari e i mitocondri, argomenti solitamente trattati nelle scuole superiori. Secondo alcune fonti, era impossibile per il modello descrivere il funzionamento dei vaccini a mRNA e le cause della febbre da fieno, pur non avendo problemi a discutere di TNT e rischi legati alle password.

Microsoft ha inoltre limitato l'utilizzo di Fable 5 da parte del proprio personale a causa di problemi di conservazione dei dati legati alle nuove politiche di conservazione di classe Mythos introdotte da Anthropic. Il periodo di conservazione per i prompt e gli output è impostato a 30 giorni per motivi di sicurezza e affidabilità, mentre i contenuti segnalati vengono conservati fino a due anni.

Cosa succederà adesso?

Con la politica modificata, Anthropic ha affermato che Fable 5 renderà visibili le sue misure di sicurezza per lo sviluppo dell'IA. Nel caso in cui il sistema rilevi che l'utente sta conducendo ricerche all'avanguardia nel campo dell'IA, potrà rifiutare la richiesta o passare a un sistema diverso, avvisando l'utente in entrambi i casi.

Anthropic ha riconosciuto un compromesso. Poiché la misura di sicurezza è ora visibile, l'azienda non ha altra scelta che utilizzarla più ampiamente. Ciò significa che un numero maggiore di query innocue verrebbe bloccato. L'azienda ha affermato di essere al lavoro per migliorare la precisione del classificatore. Questo caso ha portato alla luce un problema di portata ancora maggiore. Man mano che le capacità dei modelli di intelligenza artificiale aumentano, aumentano anche i costi di addestramento e cresce la tentazione di limitare l'accesso a tali strumenti da parte dei concorrenti. Se la rapida inversione di rotta di Anthropic crei undent o si limiti a ritardare il prossimo tentativo di restrizione occulta dipenderà da come reagirà il resto del settore.