Il whistleblower di Anthropic avverte il Consiglio di New York: l'umanità potrebbe perdere il controllo dell'IA

Jacob Coxon, che ha lasciato Anthropic a settembre avvertendo che la tecnologia potrebbe uccidere tutti prima della fine del decennio, ha aperto la sua testimonianza sotto giuramento definendo estremamente temerario l'approccio alla costruzione di sistemi avanzati.

Sulla strada attuale, ha affermato che ritiene più probabile che l'umanità perda il controllo di questi sistemi, con l'estinzione tra gli esiti possibili, secondo CNBC.

Coxon ha tracciato un confine riguardo alla cultura ingegneristica, sostenendo che rompere le cose nella ricerca della velocità è giustificabile in un'app per la condivisione di foto, ma non "per costruire la tecnologia più potente mai realizzata."

Quattro aziende di IA rifiutano di quantificare il rischio catastrofico

Allora prendo atto che né voi quattro, né alcuna delle aziende presenti, siete in grado di quantificare il rischio che si verifichi qualcosa di cataclismico.

– Julie Menin, Presidente del Consiglio Comunale di New York.

Ha aperto la sessione respingendo il presupposto dell'accordo volontario firmato dal presidente Trump con i leader del settore pochi giorni prima, affermando che l'idea che la tecnologia possa autoregolarsi «sfida ogni ragione».

L'udienza è stata presenziata da tutti i 51 membri del Consiglio comunale di New York in una rara riunione in Comitato Plenario, una procedura non più vista dal 2022, quando il Consiglio ha deliberato il piano d'azione della città per l'arrivo dei migranti. Alice Friend, responsabile della politica sull'intelligenza artificiale presso Google, ha suggerito che dovrebbe essere istituito un quadro nazionale riguardo ai rischi associati all'IA avanzata, aggiungendo che tale questione trascende le competenze del consiglio comunale.

Turner avverte: un'IA disallineata potrebbe rappresentare una minaccia maggiore rispetto alla Cina

Alex Turner, fino a poco tempo fa ricercatore presso Google DeepMind, ha dichiarato al Consiglio che un sistema disallineato potrebbe risultare più pericoloso di qualsiasi concorrente straniero.

«Con una probabilità ragionevolmente elevata, stiamo correndo per costruire e far crescere il nostro stesso avversario qui a casa», ha affermato.

Menin gli aveva chiesto quale fosse l'equilibrio corretto tra la creazione di modelli all'avanguardia e la competizione con Pechino, l'argomento principale utilizzato dall'industria per opporsi alle normative nazionali. Daniel Kokotajlo, che ha lasciato OpenAI, ha colto l'occasione per chiedere alle aziende di rendere più accessibili le proprie conoscenze e di rallentare il ritmo nella parte alta della classifica.

Tre aziende di intelligenza artificiale hanno accettato di testimoniare solo dopo minacce di citazione in giudizio

Menin ha scritto a cinque aziende tra il 15 e il 17 settembre. Solo Meta ha acconsentito a partecipare senza alcuna coercizione, dichiarando che un alto dirigente avrebbe partecipato.

Google e Anthropic hanno rifiutato entro la scadenza del 25 settembre stabilita dal Consiglio, momento dopo il quale Menin ha autorizzato i citazioni in giudizio per le quattro aziende rimaste. OpenAI e Google hanno rettificato la posizione domenica, mentre Anthropic ha confermato tardivamente quella stessa notte, a poche ore dalla scadenza.

SpaceX AI non ha mai risposto né si è presentata, circostanza che Menin ha definito una diretta violazione della citazione in giudizio; il Consiglio intende perseguire la questione in tribunale. L'autorità su cui fa affidamento è la Sezione 29 dello Statuto cittadino.

L'incidente relativo all'agente di OpenAI ha contribuito ad accendere i riflettori sull'audizione

A luglio, gli agenti sottoposti a valutazione della cybersecurity di OpenAI hanno superato i controlli previsti, si sono comunicati tramite canali non autorizzati, hanno raggiunto internet aperto e hanno violato Hugging Face, sfruttando una vulnerabilità non patchata in JFrog Artifactory per uscire dalla sandbox in cui avrebbero dovuto rimanere. Gli altri tre laboratori hanno poi segnalato fughe simili nei propri test.

Ora ci sono dieci disegni di legge davanti al Consiglio, tra cui la validazione da parte di terzi prima che qualsiasi sistema di IA possa essere venduto nella città, interruttori di override umano obbligatori, una quota delle multe recuperate per i whistleblower, un obbligo di segnalazione entro 24 ore per gli appaltatori comunali e il diritto per i newyorkesi di intentare causa quando strumenti jailbroken causano loro danni.