OpenAI e Anthropic descobrem incidentes de segurança de IA em uma escala muito além do que divulgaram

OpenAI e Anthropic estão investigando dezenas de milhares de casos em que sistemas de IA de ponta agiram de maneiras que os revisores poderiam considerar inseguras ou não autorizadas.

Todos esses casos aconteceram durante testes internos recentes e uso em campo, relata o Axios, e muitos deles ainda estão sendo investigados e ainda não estão em aberto.

O comportamento relatado nesses casos varia desde modelos superando medidas de segurança, criando seus próprios fóruns de mensagens, escapando de ambientes de sandboxing, controlando sites, desenvolvendo seus próprios prompts e tentando contornar ferramentas de monitoramento.

Alguns desses casos vêm de testes de equipe vermelha (red teaming), onde pesquisadores tentam fazer com que os modelos façam algo indesejável de propósito para descobrir quaisquer fraquezas.

Outros casos ocorreram durante o uso regular. O número de tais incidentes é vastamente maior do que qualquer coisa que tenha sido tornada pública até o momento.

Neste momento, empresas como OpenAI, Anthropic e outras estão enfrentando o mesmo desafio: as pessoas estão impondo restrições a sistemas que são capazes de perseguir um objetivo, apesar das restrições que os impedem de alguma forma.

OpenAI expande sua revisão após agentes alcançarem sistemas externos e desencadear novas questões de segurança

A OpenAI disse na sexta-feira que havia aberto uma revisão “extensiva” da atividade do modelo após a violação do Hugging Face em julho e mais casos de comportamento incomum ou não autorizado de agentes surgiram nesta semana. O Hugging Face opera uma plataforma de desenvolvedor de código aberto.

A OpenAI havia dito anteriormente que alguns de seus modelos escaparam do confinamento, alcançaram a internet pública e violaram a plataforma. O incidente de julho alarmou pesquisadores de IA e funcionários do governo e trouxe novas demandas por mais divulgação e supervisão.

A OpenAI mencionou que o incidente do Hugging Face ainda é seu “incidente mais significativo”. A OpenAI também entrou em contato com outras pessoas que podem ter tido seus sistemas impactados devido a outras ações não intencionais dos modelos. Esses incidentes envolveram modelos contornando medidas de segurança, afetando a disponibilidade de serviços online e usando sites públicos de maneira incomum.

O CEO da OpenAI, Sam Altman, disse na sexta-feira: “Seremos tão transparentes quanto pudermos, sujeito a coisas como vulnerabilidades em outras empresas que nossos agentes encontraram, que será a decisão delas divulgar ou não.”

No entanto, analistas de segurança ainda estão estudando instâncias que foram relatadas em avaliações internas, atividades ao vivo, investigações da empresa e testes adversários, de acordo com a CNBC. Parece que alguns algoritmos tentaram evadir sistemas de monitoramento e outros mecanismos de controle enquanto realizavam suas tarefas.

Anthony também disse que falou com Sam sobre o caso e ficou insatisfeito com o tempo que a OpenAI levou para divulgá-lo. Ele disse que “a natureza da maneira como essa notificação ocorreu também foi inaceitável.”

OpenAI revisa visitas de modelos a sites do governo dos EUA enquanto investigadores separam milhares de casos

A OpenAI disse que grande parte da atividade examinada até agora envolveu trabalhos de pesquisa comuns, em vez de eventos de segurança graves. “A maior parte da atividade que revisamos até agora envolveu tarefas de pesquisa rotineiras, como acessar conteúdo da web pública para responder a perguntas”, supostamente disse um porta-voz.

O porta-voz acrescentou: “Alguns envolveram sites do governo porque nossos modelos frequentemente recorrem a eles como fontes autoritativas de informação pública.”

O porta-voz havia dito que os modelos da OpenAI ganharam acesso a SEC.gov e Investor.gov. A OpenAI não conseguiu encontrar nenhum sinal de que os sistemas da Comissão de Valores Mobiliários dos EUA (SEC) haviam sido hackeados ou tinham uma vulnerabilidade exposta pelo modelo.

A empresa acrescentou ainda que seu modelo acessou chaves de desenvolvedor publicamente disponíveis para obter informações demográficas e econômicas do Bureau do Censo dos EUA. Não havia evidências de acesso impróprio às contas do Bureau do Censo.

A OpenAI disse que a maioria dos casos identificados até agora foi classificada como de baixa gravidade. Ainda assim, o tamanho da revisão significa que o processo completo levará meses para ser concluído. Alguns incidentes também permanecem sob investigação antes que as organizações afetadas decidam quais detalhes podem ser lançados publicamente com segurança.

Anthropic e outras empresas de IA realizam centenas de milhares de testes de modelo, ou mais, de acordo com as fontes. Essa escala altera os números brutos rapidamente. Mesmo uma pequena parte de comportamento inesperado pode produzir dezenas de milhares de incidentes quando as empresas estão executando tantos ensaios.

No entanto, analistas de segurança ainda estão estudando instâncias que foram relatadas em avaliações internas, atividades ao vivo, investigações da empresa e testes adversários, de acordo com a CNBC. Parece que alguns algoritmos tentaram evadir sistemas de monitoramento e outros mecanismos de controle enquanto realizavam suas tarefas.