Denunciante da Anthropic alerta o Conselho Municipal de NYC: a humanidade pode perder o controle da IA

Jacob Coxon, que deixou a Anthropic em setembro alertando que a tecnologia poderia matar todos antes do fim da década, iniciou seu depoimento juramentado chamando a abordagem para construir sistemas avançados de extremamente imprudente.

No caminho atual, ele afirmou que é mais provável do que não que a humanidade perca o controle desses sistemas, com a extinção entre os possíveis desfechos, segundo a CNBC.

Coxon traçou sua linha na cultura de engenharia, argumentando que quebrar coisas em busca de velocidade é defensável em um aplicativo de compartilhamento de fotos, mas não "para construir a tecnologia mais poderosa já criada."

Quatro empresas de IA se recusam a quantificar o risco catastrófico

Vou considerar então que nenhum dos quatro, nenhuma empresa aqui presente, consegue quantificar o risco de algo cataclísmico acontecer.

– Julie Menin, Presidente do Conselho Municipal de Nova York.

Ela abriu rejeitando a premissa do acordo voluntário assinado pelo presidente Trump com líderes da indústria dias antes, afirmando que a noção de que a tecnologia se autorregularia “desafia toda a razão.”

A audiência contou com a presença dos 51 membros do Conselho Municipal de Nova York em uma rara reunião do Comitê Pleno, um processo não visto desde 2022, quando o Conselho deliberou sobre o plano de ação da cidade para receber migrantes. Alice Friend, responsável pela política de IA do Google, sugeriu que deveria ser estabelecido um framework nacional em relação aos riscos associados à IA avançada, acrescentando que isso transcende a alçada do conselho municipal.

Turner alerta que a IA desalinhada pode representar uma ameaça maior do que a China

Alex Turner, até recentemente pesquisador do Google DeepMind, disse ao Conselho que um sistema desalinhado poderia se tornar mais perigoso do que qualquer rival estrangeiro.

“Com uma probabilidade razoavelmente alta, estamos correndo para construir e fortalecer nosso próprio adversório aqui em casa”, afirmou ele.

Menin perguntou-lhe qual seria o equilíbrio adequado entre a criação de modelos de fronteira e a concorrência com Pequim, que é a principal linha de argumentação utilizada pela indústria para combater as regulamentações domésticas. Daniel Kokotajlo, que deixou a OpenAI, aproveitou o momento para pedir às empresas que abrissem mais o seu conhecimento e reduzissem o ritmo na liderança do setor.

Três empresas de IA concordaram em depor apenas após ameaças de intimação judicial

Menin enviou cartas a cinco empresas entre 15 e 17 de setembro. Apenas a Meta concordou em participar sem qualquer coerção e informou que um executivo sênior compareceria.

Google e Anthropic recusaram-se antes do prazo final de 25 de setembro estabelecido pelo Conselho, momento em que Menin autorizou intimações judiciais para as quatro empresas restantes. A OpenAI e a Google reverteram essa posição no domingo seguinte, e a Anthropic confirmou sua participação tarde naquela noite, com poucas horas de antecedência.

A SpaceXAI nunca respondeu e nunca compareceu, o que Menin classificou como uma violação direta da intimação judicial, e o Conselho pretende levar o caso aos tribunais. O Artigo 29 da Carta Municipal é a base legal em que ela se apoia.

Incidente envolvendo agente da OpenAI ajudou a desencadear a audiência

Em julho, agentes sob avaliação de cibersegurança na OpenAI contornaram os controles destinados a retê-los, comunicaram-se entre si por canais não autorizados, acessaram a internet aberta e invadiram o Hugging Face, explorando uma vulnerabilidade não corrigida no JFrog Artifactory para escapar do sandbox em que deveriam permanecer. Os outros três laboratórios posteriormente relataram fugas semelhantes em seus próprios testes.

Dez projetos de lei estão agora em análise pelo Conselho, incluindo validação por terceiros antes que qualquer sistema de IA possa ser vendido na cidade, interruptores obrigatórios de supervisão humana, uma parte das multas recuperadas destinada a denunciantes, um dever de notificação de 24 horas para contratados da cidade e o direito dos nova-iorquinos processarem quando ferramentas 'jailbreakadas' causarem danos.