- Anthropic non può più vetoare le valutazioni di sicurezza pubblicate da METR su di essa.
- Sei ricercatori di METR lavorano ora all'interno di Anthropic con un accesso quasi pari a quello dei suoi stessi team di valutazione dei rischi.
- Anthropic può imporre censure solo per i dati dei clienti, il materiale coperto dal privilegio avvocato-cliente e i dettagli dell'architettura del modello.
Anthropic non può più bloccare i risultati di sicurezza pubblicati da METR su di essa.
L'azienda ha dichiarato giovedì di aver concesso ai sei ricercatori incorporati provenienti dalla nonprofit un accesso quasi identico a quello del proprio personale.
Sei ricercatori integrati ricevono hardware aziendale e strumenti interni
METR analizza i modelli di intelligenza artificiale all'avanguardia. Il suo team dispone ora di hardware, spazi di lavoro e strumenti interni praticamente identici a quelli utilizzati dai team di valutazione del rischio della stessa Anthropic.
Il personale di Anthropic è istruito a fornire agli valutatori la stessa quantità di informazioni che verrebbe data a un altro dipendente impegnato nella gestione dei rischi di allineamento. METE valuterà autonomamente i livelli di rischio, gli incidenti e le pratiche di Anthropic, per poi pubblicare i risultati.
Esistono alcune categorie predefinite in cui Anthropic può inserire le riduzioni: dati dei clienti, materiale coperto da privilegio avvocato-cliente e dettagli sulle architetture dei modelli.
METR ha anche il diritto di dichiarare pubblicamente se una riduzione fosse necessaria, purché non riveli cosa è stato rimosso.
Anthropic descrive l'allestimento in termini di divario informativo. Gli esterni conoscono molto meno dei sistemi di un laboratorio rispetto al laboratorio stesso, e una divulgazione completa potrebbe avvantaggiare attori malintenzionati o far trapelare dati privati di addestramento e calcolo.
L'azienda ha dichiarato che la supervisione bancaria funziona allo stesso modo. I regolatori inseriscono esaminatori residenti nelle banche più grandi in modo che i comportamenti rischiosi possano essere individuati da una terza parte prima di arrivare al pubblico.
Il team METR opera sulla base di accordi vincolanti. Altri ricercatori METR, inclusi quelli che lavorano a progetti separati per Anthropic, sono isolati dal suo lavoro.
SecureBio inizia nel primo dei tre livelli di valutatore
Anthropic sta costruendo tre livelli di accesso e METR è l'unico valutatore finora al vertice di essi. I valutatori di primo livello eseguono revisioni specifiche e necessitano dell'approvazione di Anthropic per pubblicare.
Il secondo livello dispone di maggiori informazioni e può pubblicare senza approvazione, soggetto alle stesse categorie di oscuramento. Il terzo aggiunge l'accesso incorporato, simile a quello dei dipendenti, che METR ha ora.
SecureBio, un gruppo no-profit dedicato alla biosecurity, si trova nel primo livello. Ha completato e pubblicato una revisione pilota di un rapporto sui rischi precedente e ora sta procedendo con il capitolo sulle armi chimiche e biologiche del Rapporto sui Rischi di agosto.
Anthropic sta inoltre costruendo una partnership con Accenture e Faculty per il red-teaming, le valutazioni di allineamento e i test di salvaguardia. Sono in corso colloqui preliminari con altri gruppi, tra cui Hugging Face.
Questo è quanto promesso dal CEO Dario Amodei in un saggio scritto a settembre, in cui esortava l'industria a moderare lo sviluppo delle tecnologie all'avanguardia. Cryptopolitan ha riferito che Amodei aveva suggerito di fornire ai revisori esterni scrivani, badge, laptop e livelli di accesso simili a quelli del personale incaricato delle valutazioni dei rischi.
Sam Altman di OpenAI ha sostenuto l'idea su X. «Impegnarsi ad avere valutatori indipendenti con accesso simile a quello dei dipendenti è un'ottima idea e faremo lo stesso», ha scritto Altman.
Anthropic, Google e OpenAI hanno anche discusso la creazione di un comune organismo per gli standard del settore. Tutte e tre le aziende, insieme a Meta, Nvidia e xAI, hanno successivamente firmato l'Accordo della Casa Bianca sulla Super Intelligenza, impegnandosi a collaborare con auditor indipendenti.
L'accordo arriva anche dopo una serie di incidenti verificatisi dalla fine di agosto, in cui gli agenti AI hanno agito oltre le loro istruzioni.
Se stai leggendo questo, sei già avanti. Resta così con la nostra newsletter.
Domande frequenti
Quale accesso ha dato Anthropic a METR?
Sei dipendenti di METR hanno ricevuto hardware aziendale, spazi d'ufficio e strumenti interni paragonabili a quelli dei team di valutazione del rischio di Anthropic.
Anthropic può bloccare ciò che pubblica METR?
No. Anthropic può richiedere solo la rimozione di informazioni in categorie ristrette, e METR può rendere pubblico se tali censure erano giustificate.
Come si inserisce METR nel sistema a più livelli di valutatori di Anthropic?
METR è l'unico valutatore al terzo e più alto livello, che combina l'accesso simile a quello dei dipendenti con i diritti di pubblicazione.
Disclaimer. Le informazioni fornite non costituiscono consulenza finanziaria. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti basati sulle informazioni presenti in questa pagina. Si raccomanda vivamente di effettuare ricerche autonome e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Randa Moses
Randa Moses è un'editor e giornalista presso Cryptopolitan, dove si occupa di tecnologia, intelligenza artificiale, robotica, criptovalute, truffe e hacking. Opera nel settore delle criptovalute dal 2017. Ha ricoperto ruoli in Forward Protocol, AmaZix e Cryptosomniac. Randa è laureata in Ingegneria Elettrica ed Elettronica presso l'Università di Bradford.
