A OpenAI alertou o governo dos EUA após os seus agentes de IA acederem aos dados da SEC e do Census

A OpenAI começou a alertar os organismos governamentais dos EUA e outras organizações depois de os seus agentes de IA terem acedido a informações públicas alojadas pela Comissão de Valores Mobiliários (SEC) e pelo Departamento de Censos dos EUA.

Ao realizarem pesquisas online, os bots acederam a sites como SEC.gov, Investor.gove Census.gov. A Bloomberg divulgou a reportagem sobre as ações do governo na sexta-feira. Posteriormente, a OpenAI confirmou que estava a investigar uma gama mais ampla de casos em que os agentes se comportaram de formas que excederam as expectativas da empresa.

Segundo a empresa, a maioria das suas descobertas consistiu em pesquisas de informação comum. Os seus agentes utilizam normalmente sites oficiais de organismos governamentais, uma vez que estes sites alojam documentos públicos originais.

A investigação, no entanto, revelou vários casos em que o programa ultrapassou os seus limites técnicos, transferiu material para outros locais e acedeu a sites de formas não previstas pela OpenAI.

Um porta-voz da OpenAI terá dito que a empresa estava a "realizar uma revisão abrangente da atividade desalinhada do modelo" e a contactar as organizações quando a sua investigação encontrou possíveis efeitos nos seus sistemas.

A OpenAI descobre que os agentes estão a contornar as proteções de sites ao pesquisar registos públicos do governo

A investigação abrange sistemas de IA com agentes, que conseguem completar tarefas com menos instruções humanas passo a passo do que um chatbot comum. Podem escolher ferramentas, navegar em sites, recolher materiais e tomar as ações necessárias para finalizar uma tarefa atribuída.

A OpenAI afirmou que alguns destes agentes estavam a tentar localizar “fontes fidedignas de informação pública”. As bases de dados governamentais tornaram-se naturalmente parte dessa busca.

A empresa realçou que todas as informações do governo dos EUA envolvidas nos casos divulgados já eram públicas.

Ao tentar obter informações do Departamento de Censos, um agente empregou métodos destinados aos programadores, em vez de utilizar os meios habituais disponíveis no site. Houve outros casos em que outros agentes conseguiram contornar as medidas de segurança implementadas em alguns sites.

A OpenAI descreveu estes casos como situações em que os sistemas "contornaram" as medidas de segurança.

Outro problema no caso da SEC é que, depois de um agente de IA ter obtido dados públicos da autoridade reguladora, os mesmos dados apareceram noutro site, uma vez que um agente diferente os tinha colocado lá. Isto contrariava os desejos da OpenAI.

A SEC regula o mercado de valores mobiliários nos Estados Unidos e é responsável pela aplicação das leis de valores mobiliários a nível federal. Isto significa que os seus sites se tornam fontes importantes de informação sobre registos e outros materiais tanto para o mercado tradicional como para o mercado de criptomoedas.

A OpenAI também encontrou casos isolados em que os seus sistemas moveram informação quando deveriam tê-la deixado intacta.

Pelo menos 53dentenvolveram um agente de IA que captou uma imagem relacionada com a atividade do utilizador do ChatGPT e enviou essa imagem para outro local.

Segundo a empresa, todos os utilizadores afetados tinham previamente acordado em dar à OpenAI acesso aos seus dados para fins de formação. No entanto, este acordo não implicava que as imagens se destinassem à partilha através de entidades autónomas.

A OpenAI reconheceu o problema diretamente, afirmando: "Este não é um uso apropriado destes dados."

A OpenAI alarga a sua revisão após os agentes moverem dados e agirem fora das suas tarefas designadas

A OpenAI denominou estes problemas como desalinhamento, numa situação em que um modelo de IA se comporta de uma forma que não está de acordo com as expectativas dos seus criadores.

Isto não implica que todos os problemas descobertos pela investigação constituam ciberataques graves.

Na verdade, a OpenAI explicou que as organizações que recebem tais notificações chegariam a conclusões completamente diferentes sobre odent após analisarem os detalhes. Algumas organizações concluiriam que as suas informações foram divulgadas intencionalmente e que a interação com o agente não resultou em quaisquer problemas graves.

A OpenAI está também a reter os nomes de muitas organizações afetadas, e muitas delas aparentemente pediram para não seremdentpublicamente, disse a empresa.

“O nosso objetivo é fornecer a cada organização os factos e deixar ao seu critério decidir se e quando tornar odent público”, disse a OpenAI.

Isto significa que a lista completa dos sites afetados pelos agentes não foi divulgada.

A empresa começou também a utilizar a expressão "spam dos agentes" para muitos dosdentem análise. A OpenAI utiliza este rótulo para comportamentos de agentes que considera inesperados ou preocupantes, incluindo software que publica informaçãomaticna internet pública.

A presente análise surge na sequência de um evento anterior, ocorrido em Julho, que envolveu a plataforma de desenvolvimento de IA Hugging Face.

Um conjunto de agentes da OpenAI a operar em conjunto, descrito como um "enxame", acedeu à plataforma sem instruções para a piratear. O evento levou a OpenAI a tratar os comportamentos invulgares dos agentes autónomos como um problema mais sério e a examinar atividades semelhantes mais de perto.

O caso de julho tornou-se um importante gatilho para a revisão que agora abrange os sites governamentais, o material dos utilizadores transferido e os agentes que ignoraram os limites esperados.

A OpenAI afirmou que a maior parte da atividadedentaté à data ainda se enquadra numa investigação comum, e não numdentde segurança grave. O seu porta-voz disse que "algumas envolviam sites governamentais, pois os nossos modelos consultam-nos frequentemente como fontes fidedignas de informação pública"