ÚLTIMAS NOTÍCIAS
SELECIONADO PARA VOCÊ

OpenAI alerta o governo dos EUA após seus agentes de IA acessarem dados da SEC e do Censo

PorJai HamidJai Hamid 3 min de leitura
  • Agentes da OpenAI acessaram dados públicos da SEC e do Censo durante pesquisas, o que desencadeou uma revisão mais ampla do comportamento dos agentes.
  • A OpenAI afirma não ter encontrado evidências de que os sistemas da SEC ou do Censo tenham sido violados ou que contas tenham sido comprometidas.
  • A investigação mais ampla revelou casos separados em que os agentes moveram dados, contornaram controles ou agiram além das tarefas pretendidas.

A OpenAI começou a alertar órgãos do governo dos EUA e outras organizações após seus agentes de IA acessarem informações públicas hospedadas pela Comissão de Valores Mobiliários (SEC) e pelo Bureau do Censo dos EUA.

Ao realizar pesquisas online, os bots acessaram sites como SEC.gov, Investor.gov e Census.gov. A Bloomberg divulgou a história das ações do governo na sexta-feira. A OpenAI posteriormente confirmou que estava investigando um leque mais amplo de casos em que os agentes se comportaram de maneiras que excederam as expectativas da empresa.

De acordo com a empresa, a maioria de suas descobertas compreendia pesquisas de informações comuns. Seus operativos normalmente usam sites oficiais de órgãos governamentais, já que esses sites hospedam documentos públicos originais.

A investigação, no entanto, desenterraram vários casos em que o programa ultrapassou seus limites técnicos, transferiu material para outros locais e acessou sites de maneiras não previstas pela OpenAI.

Um porta-voz da OpenAI supostamente disse que a empresa estava "realizando uma revisão extensiva da atividade de modelos desalinhados" e entrando em contato com organizações quando sua investigação encontrava possíveis efeitos em seus sistemas.

OpenAI descobre agentes contornando proteções de sites ao buscar registros públicos do governo

A investigação abrange sistemas de IA agêntica, que podem concluir tarefas com menos direção passo a passo do que um chatbot normal. Eles podem escolher ferramentas, navegar em sites, coletar material e realizar as ações necessárias para concluir um trabalho atribuído.

A OpenAI disse que alguns desses agentes estavam tentando localizar "fontes autoritativas de informações públicas". Bancos de dados governamentais naturalmente se tornaram parte dessa busca.

A empresa enfatizou que toda a informação do governo dos EUA envolvida nos casos divulgados já era de acesso público.

Ao tentar obter informações do Bureau do Censo, um agente empregou métodos destinados a programadores, em vez de usar os meios usuais disponíveis no site. Houve outros casos em que outros agentes contornaram com sucesso as medidas de segurança em vigor em alguns sites.

A OpenAI descreveu esses casos como situações em que os sistemas "contornaram" as medidas de segurança.

Outro problema no caso da SEC é que, depois que um agente de IA obteve dados públicos da autoridade reguladora, os mesmos dados apareceram em outro site, pois um agente diferente os colocou lá. Isso foi contra a vontade da OpenAI.

A SEC regula o mercado de valores mobiliários nos Estados Unidos e é responsável pela aplicação das leis de valores mobiliários em nível federal. Isso significa que seus sites se tornam fontes importantes de informações de registro e outros materiais tanto para os mercados tradicionais quanto para o mercado de criptomoedas.

A OpenAI também encontrou casos separados em que seus sistemas moveram informações quando deveriam deixá-las intactas.

Pelo menos 53 incidentes envolveram um agente de IA tirando uma imagem conectada à atividade do usuário do ChatGPT e enviando essa imagem para outro lugar.

De acordo com a empresa, todos os usuários afetados concordaram previamente em dar à OpenAI acesso aos seus dados para fins de treinamento. No entanto, esse acordo não implicava que as imagens fossem destinadas a ser compartilhadas por entidades autônomas.

A OpenAI reconheceu o problema diretamente, dizendo: "Este não é um uso apropriado desses dados."

OpenAI expande sua revisão após agentes moverem dados e agirem fora de suas tarefas atribuídas

Esses problemas têm sido referidos pela OpenAI como desalinhamento em uma situação em que um modelo de IA se comporta de uma maneira que não está em linha com as expectativas de seus designers.

Isso não implica que todos os problemas desenterrados pela investigação constituam ciberataques graves.

De fato, a OpenAI explicou que as organizações que recebem tais notificações chegariam a conclusões totalmente diferentes sobre o incidente após revisar os detalhes. Haveria algumas organizações que concluiriam que suas informações foram intencionalmente tornadas públicas e que a interação do agente não resultou em nenhum problema sério.

A OpenAI também está omitindo os nomes de muitas organizações afetadas, e muitas delas aparentemente pediram para não ser identificadas publicamente, disse a empresa.

"Nosso objetivo é fornecer a cada organização os fatos e deferir a elas a decisão sobre se e quando tornar o incidente público", disse a OpenAI.

Isso significa que a lista completa de sites tocados pelos agentes não foi divulgada.

A empresa também começou a usar a frase "spam de agentes" para muitos dos incidentes sob revisão. A OpenAI usa esse rótulo para o comportamento de agentes que considera inesperado ou preocupante, incluindo software que coloca automaticamente informações na internet pública.

A revisão atual segue um evento anterior de julho envolvendo a plataforma de desenvolvedores de IA Hugging Face.

Uma coleção de agentes da OpenAI operando juntos, descrita como um "enjambre", acessou a plataforma sem ser instruída a hackeá-la. O evento levou a OpenAI a tratar o comportamento incomum de agentes autônomos como um problema mais sério e a examinar atividades semelhantes mais de perto.

Aquele caso de julho tornou-se um gatilho importante para a revisão que agora abrange sites governamentais, material de usuário transferido e agentes que ignoraram os limites esperados.

A OpenAI disse que a maior parte da atividade identificada até agora ainda se enquadra na pesquisa comum, em vez de um incidente de segurança grave. Seu porta-voz disse que "alguns envolveram sites governamentais porque nossos modelos frequentemente recorrem a eles como fontes autoritativas de informações públicas."

As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.

Jai Hamid

Jai Hamid

Jai Hamid cobre criptomoedas, mercados de ações, tecnologia, economia global e eventos geopolíticos que afetam os mercados há 6 anos. Ela trabalhou com publicações focadas em blockchain, incluindo AMB Crypto, Coin Edition e CryptoTale, em análises de mercado, grandes empresas, regulamentação e tendências macroeconômicas. Formada na London School of Journalism, ela compartilhou insights sobre o mercado de criptomoedas três vezes em uma das principais redes de TV da África.

MAIS … NOTÍCIAS