- Anthropic si è scusata e ha abbandonato una politica nascosta di Claude Fable 5 che, in modo silenzioso, riduceva le prestazioni su alcune query avanzate relative alla ricerca sull'IA dopo forti critiche.
- I ricercatori hanno avvertito che tali restrizioni potrebbero concentrare le capacità dell'IA tra poche aziende e rallentare il progresso scientifico indipendente.
- La controversia è emersa mentre Anthropic si prepara a un potenziale IPO con una valutazione vicina ai 965 miliardi di dollari, mettendo sotto scrutinio il suo rapporto con la comunità della ricerca.
Anthropic si è scusata e ha ritirato la politica che avrebbe limitato segretamente le prestazioni di Claude Fable 5 per gli sviluppatori di IA. Gli scienziati hanno avvertito che la politica restrittiva potrebbe rendere le funzionalità avanzate dell'IA accessibili a un numero limitato di aziende, ostacolando la crescita della scienza a livello globale.
La decisione di Anthropic, arrivata il 10 giugno, ha implicazioni molto più significative delle azioni intraprese da una singola azienda. Data la sua valutazione di quasi 965 miliardi di dollari e la sua imminente IPO, l'incidente ha portato alla luce una contraddizione cruciale nel settore dell'IA: come le aziende che sviluppano i migliori modelli gestiscono le loro esigenze competitive insieme a una cultura della ricerca aperta che guida l'innovazione in tutto il mondo.
Le restrizioni nascoste di Claude Fable 5 di Anthropic scatenano l'indignazione del settore
Con il lancio del Claude Fable 5 il 10 giugno 9, Anthropic ha reso pubblico quattro categorie di protezioni, inclusi cybersecurity, biologia, chimica e ricerca sull'IA. Tre di queste categorie agivano in modo simile. Ogni volta che veniva rilevata una query sensibile, il sistema la rifiutava completamente o indirizzava l'utente a Claude Opus 4.8, la sua precedente offerta principale, con un avviso aperto.
Tuttavia, la quarta categoria differiva dalle altre. Di fronte a query sull'IA emergente, Fable 5 comprometteva la qualità del suo output senza far sapere all'utente. Secondo il report di Fortune sull'annuncio, l'azienda ha delineato interventi per ostacolare le prestazioni del sistema senza rivelare nulla. I dettagli completi possono essere trovati in la scheda di sistema di 319 pagine di Anthropic.
Secondo Anthropic, la probabilità che questa restrizione entrasse in gioco era di circa lo 0,03%. Ma il principio allarmava i ricercatori molto più della percentuale.
"Abbiamo fatto lo scambio sbagliato e ci scusiamo per non aver trovato l'equilibrio giusto", ha spiegato Anthropic secondo quanto riportato.
I critici affermano che le restrizioni di Claude Fable 5 minacciavano la ricerca IA indipendente
Questa critica proveniva da persone che raramente concordano. I sostenitori del codice open-source, i ricercatori sulla sicurezza che lavorano con l'IA e persino gli ex dipendenti di Anthropic hanno reagito entro ore dalla pubblicazione della scheda di sistema.
Will Brown, responsabile della ricerca di Prime Intellect, startup di IA, ha dichiarato che la politica sembrava l'azienda "che inizia a tirare su la scala dietro di sé". Ha aggiunto che c'è un numero crescente di aziende che stanno valutando la sicurezza e l'affidabilità dei sistemi frontier. Il degrado prestazionale covert potrebbe potenzialmente sabotare il loro processo di verifica.
Nathan Lambert, un ricercatore di modelli open-source che ha una volta guidato il lavoro presso l'Allen Institute for AI, è stato ancora più forte nella sua dichiarazione. Ha detto su X che la politica "dipinge Anthropic chiaramente come anti-scienza, e quindi anti-progresso e anti-sicurezza".
Jeremy Howard, co-fondatore di AnswerDotAI, ha inquadrato il problema come una presa di potere competitiva. I ricercatori stessi di Anthropic avrebbero ancora potuto utilizzare il modello senza restrizioni internamente, ha sostenuto Howard, il che significa che la frontiera continuerebbe ad avanzare mentre i ricercatori esterni resterebbero indietro. Ha dichiarato che "la frontiera dell'IA avanza e il divario di potere aumenta".
Anche il personale ex Anthropic ha espresso la propria opinione. Behnam Neyshabur, che in precedenza ha co-guidato l'iniziativa di scienziati IA dell'azienda, ha pubblicato che limitare queste capacità "rallenta fondamentalmente il progresso scientifico e tecnologico ed è netto negativo per l'umanità".
Come potrebbe influenzare l'IPO di Anthropic?
L'incidente è avvenuto in un periodo molto delicato per Anthropic. L'azienda ha depositato confidenzialmente i documenti per l'IPO il 10 giugno 1, raccogliendo 65 miliardi di dollari a una valutazione implicita di $965 miliardi. La valutazione in questo caso dipende significativamente dalla fiducia dei clienti enterprise e della comunità di ricerca.
Separatamente dalla controversia sulla ricerca IA, il rilascio di Fable 5 ha affrontato critiche sotto un altro aspetto. I robusti filtri biologici impiegati dal modello gli impedivano di rispondere a domande relative alle membrane cellulari e ai mitocondri, che sono solitamente argomenti insegnati nelle scuole superiori. Secondo secondo i report, era impossibile far descrivere al modello come funzionano i vaccini mRNA e cosa causa la febbre da fieno, anche se non aveva problemi a discutere di TNT e rischi delle password.
Microsoft ha anche vietato al proprio personale di utilizzare Fable 5 a causa di problemi di conservazione dei dati relativi alle nuove politiche di conservazione di classe Mythos introdotte da Anthropic. Il periodo di conservazione per prompt e output è impostato a 30 giorni per scopi di fiducia e sicurezza, con i contenuti segnalati conservati fino a due anni.
Cosa succede dopo?
Con la politica emendata, Anthropic ha dichiarato che Fable 5 renderà visibili le sue salvaguardie per lo sviluppo dell'IA. Nel caso in cui il sistema scopra che l'utente sta conducendo ricerca sull'IA frontier, può negare la richiesta o passare a un sistema diverso e notificare l'utente in entrambi i casi.
Anthropic ha riconosciuto un compromesso. Poiché la salvaguardia è ora visibile, l'azienda non ha altra scelta che impiegarla più ampiamente. Questo significa che query più innocue verrebbero bloccate. L'azienda ha dichiarato di stare lavorando per migliorare la precisione del classificatore. Questo caso ha portato alla luce un problema di magnitudo ancora maggiore. Per quanto le capacità dei modelli IA aumentano, i costi di addestramento salgono e la tentazione di limitare l'accesso di parti concorrenti a tali strumenti aumenta. Se la rapida inversione di rotta di Anthonica stabilisca un precedente o ritardi semplicemente il prossimo tentativo di restrizione covert dipenderà da come risponderà il resto del settore.
I cervelli più intelligenti del crypto leggono già la nostra newsletter. Vuoi unirti a loro? Unisciti a loro.
Domande frequenti
Qual era la politica segreta di Anthropic sulla ricerca sull'IA?
Anthropic aveva progettato Claude Fable 5 per degradare invisibilmente la qualità delle sue risposte quando rilevava che gli utenti lavoravano su compiti di sviluppo all'avanguardia nell'IA, a differenza delle altre misure di sicurezza che rifiutavano o reindirizzavano visivamente le richieste. L'azienda ha revocato la politica dopo un ampio contraccolpo e ha dichiarato che le future misure di sicurezza in questo ambito saranno visibili agli utenti.
Perché i ricercatori si sono opposti alle restrizioni?
I critici hanno sostenuto che la politica avrebbe permesso ai ricercatori di Anthropic di utilizzare modelli senza restrizioni, mentre gli scienziati esterni avrebbero ricevuto risultati degradati, concentrando così le capacità dell'IA in pochi grandi laboratori e potenzialmente minando le terze parti specializzate nella valutazione della sicurezza dei modelli all'avanguardia.
Come ha risposto Anthropic alle critiche?
Anthropic si è scusata, affermando "abbiamo fatto la scelta sbagliata", e ha modificato la politica in modo che le misure di sicurezza per lo sviluppo dell'IA siano ora visibili agli utenti; ciò significa che il modello rifiuterà apertamente le richieste o reindirizzerà gli utenti a un modello meno capace invece di indebolire silenziosamente le sue risposte.
Disclaimer. Le informazioni fornite non costituiscono consulenza finanziaria. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti basati sulle informazioni presenti in questa pagina. Si raccomanda vivamente di effettuare ricerche autonome e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Ashish Kumar
Ashish Kumar è un giornalista specializzato in criptovalute e finanza con otto anni di esperienza nei redazioni. Si occupa di ciò che accade nei mercati crypto, nella regolamentazione, nel DeFi e negli ecosistemi degli exchange. Ha lavorato con Coingape, Todayq e Newsroompost. Ashish possiede un PGDP in Giornalismo Inglese dall'IIMC. Ha inoltre intervistato figure del settore tra cui Arthur Hayes, Yat Siu, Austin Federa e altri.
