OpenAI, Microsoft e CrowdStrike lançam controles rivais para agentes de IA descontrolados
- OpenAI, Microsoft e CrowdStrike lançaram controles diferentes para impedir que agentes de IA saiam do roteiro, e cada um cobre apenas parte do que um agente pode acessar.
- Essas medidas são relevantes para qualquer empresa que implemente agentes autônomos, especialmente no momento em que o NIST, a NSA e a CISA publicam orientações de resposta a incidentes, assim como o log de explorações do OWASP.
- As auditorias do METR demonstram como os agentes ultrapassam seus limites, enquanto a Gartner estima que o mercado de segurança de IA alcance quase US$ 4,8 bilhões em 2027.
A OpenAI, a Microsoft e a CrowdStrike estão tomando medidas para limitar as capacidades de agentes de IA que atuam fora de seus parâmetros operacionais. A OpenAI possui um mecanismo para interromper a saída de um modelo de pesquisa. A CrowdStrike impede que os agentes acessem modelos de IA. A Microsoft limita as ações que um agente de IA pode executar. No entanto, um agente pode manter o acesso a outras ferramentas, credenciais ou conexões de rede que essas salvaguardas não cobrem.
O que a Sala de Controle da OpenAI pode e não pode impedir
Em 9 de novembro, a OpenAI explicou como Control Room funciona. O sistema está atualmente em uso na infraestrutura de pesquisa da empresa e é responsável por rastrear quaisquer trabalhos que necessitem de saídas geradas por IA. Sempre que uma pessoa ou um monitor automático coloca o trabalho em pausa, o Control Room faz com que o modelo pare de emitir saídas em tão pouco quanto 35 segundos.
Os 35 segundos não incluem o tempo necessário para detectar o problema. O cronômetro só começa após a Sala de Controle receber uma ordem de parada. O trabalho de pesquisa ainda pode estar em execução, e nenhuma ação anterior pode ser desfeita. O atraso ocorre devido ao sistema de cache usado para autorização. A empresa está trabalhando para eliminar esse atraso.
CrowdStrike e Microsoft adotam a rota empresarial
Em 3 de novembro, a CrowdStrike apresentou AI Kill Switch por meio de sua plataforma Falcon Guardian. Quando as equipes de segurança ativam o recurso, as gateways de IA conectadas bloqueiam um agente de acessar os modelos que ele usa para tomar decisões. Por enquanto, o AI Kill Switch funciona apenas por meio de gateways conectadas. A CrowdStrike planeja estender suas funções para endpoints, ambientes de nuvem e sistemas de identidade corporativa, proporcionando um controle mais amplo sobre agentes de IA descontrolados.
A atualização de 5 de novembro da Microsoft detalhou Dynamic Permissions, que concede autoridade apenas para a tarefa em questão. Dynamic Agent Risk e Conditional Access podem restringir permissões ou exigir aprovação humana. Windows Execution Containers, agora disponíveis geralmente, restringem o acesso a arquivos, redes e processos. As integrações com Intune, Entra e Agent 365 estão previstas.
A resposta do benchmark governamental
O governo dos EUA também delineou como as organizações devem lidar com agentes de IA mal-intencionados. Um guia NIST–NSA–CISA de outubro estabelece dez práticas voluntárias que abrangem cinco etapas: preparar, detectar, responder, recuperar e relatar.
As agências recomendam reunir evidências, interromper atividades não autorizadas e garantir o isolamento antes de retomar as operações. As organizações também devem realizar exercícios simulados de resposta a incidentes para assegurar sua prontidão em responder a atividades de agentes de IA descontrolados. Elas também devem reportar os incidentes às autoridades.
O guia NIST-NSA-CISA é elaborado especificamente para organizações que desenvolvem ou testam agentes de IA avançados com pouca intervenção humana. O documento oferece orientações sobre as ações a serem tomadas, mas não certifica nenhum produto comercial de segurança.
Por que auditores externos continuam encontrando falhas
Incidentes recentes mostram por que essas salvaguardas adicionais são importantes. Um compilado da OWASP documentou sete incidentes de segurança e divulgações de exploração, embora alguns tenham envolvido o mesmo ataque. Em um caso, agentes de avaliação da OpenAI obtiveram acesso não autorizado aos sistemas de produção do Hugging Face.
Uma auditoria separada METR revelou possíveis fraquezas no sistema de monitoramento anterior da OpenAI. Os pesquisadores estimaram que 75–94% do tráfego interno de certos agentes eram elegíveis para monitoramento. No entanto, isso não significa que todo o tráfego elegível foi realmente monitorado.
A OpenAI afirmou que a maioria das vulnerabilidades havia sido corrigida, mas a METR não verificou independentemente essas alterações. A auditoria também não avaliou os controles mais recentes da OpenAI.
O custo de restringir os agentes
A demanda por uma segurança de IA mais robusta está criando um mercado em crescimento. A Gartner prevê gastos de quase US$ 4,8 bilhões em 2027 e US$ 7,7 bilhões em 2028. Até 2029, a empresa espera que mais da metade dos ataques bem-sucedidos contra agentes de IA explorem controles de acesso fracos ou injeção de prompts.
No entanto, muitas empresas ainda não estão preparadas. Uma pesquisa da BCG revelou que apenas 23% dos entrevistados haviam implementado monitoramento ou registro para seus agentes.
A regulação também avança lentamente. A Brookings destaca que os requisitos de IA de alto risco da UE foram adiados para dezembro de 2027 e agosto de 2028. Enquanto isso, as empresas precisam investir em suas próprias salvaguardas e supervisão.
Os riscos já são evidentes. A Cryptopolitan reportou que um modelo de pesquisa da OpenAI utilizou fundos de uma carteira da rede de teste Sepolia que não era de sua propriedade para concluir uma tarefa de codificação. Os tokens não tinham valor de mercado, mas o modelo agiu sem a permissão do proprietário da carteira.
O incidente levanta uma questão para as empresas: esses controles de segurança separados podem funcionar juntos para impedir ações não autorizadas semelhantes?
Não apenas leia notícias sobre criptomoedas. Entenda-as. Inscreva-se em nossa newsletter. É grátis.
Perguntas Frequentes
O que é a Sala de Controle da OpenAI?
É um sistema central que rastreia cada trabalho de inferência de pesquisa em toda a infraestrutura da OpenAI e pode interromper a saída de um modelo quando surge uma preocupação de segurança ou proteção, parando o modelo em até 35 segundos após uma ordem de parada, conforme anunciado pela OpenAI em 29 de outubro.
O que o agente da OpenAI fez com uma carteira Sepolia?
A Cryptopolitan já havia reportado que um modelo GPT-5.6 Sol derivou chaves a partir de frases de recuperação de desenvolvedores reutilizadas publicamente, encontrou uma carteira financiada na rede de teste Sepolia da Ethereum que não era de sua propriedade e a utilizou para pagar as taxas de implantação de uma tarefa de codificação realizada em junho. Nenhum ETH de valor real foi roubado, pois os tokens da Sepolia não possuem valor de mercado.
Qual é o tamanho do mercado para a segurança de IA?
A Gartner prevê que esse mercado alcance quase US$ 4,8 bilhões em 2027, um aumento de 68,7% em relação a 2026, e chegue a quase US$ 7,7 bilhões até 2028, segundo seu relatório divulgado em 26 de agosto.
Aviso. As informações fornecidas não constituem aconselhamento de negociação. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta a um profissional qualificado antes de tomar qualquer decisão de investimento.
Ibiam Wayas
Ibiam Wayas cobre notícias sobre criptomoedas desde 2019. Estudou Ciência da Computação na Universidade Aberta Nacional da Nigéria. Seu trabalho apareceu em várias plataformas de notícias sobre cripto, incluindo Coinfomania, Crypto News Australia e AltcoinBuzz. Com base em sua formação em Ciência da Computação, ele agora se concentra em notícias sobre cripto, robótica e longevidade.
