OpenAI apresenta estrutura de relatórios de desalinhamento à medida que novos incidentes com modelos surgem

A OpenAI apresentou um novo sistema sobre como e quando relata quando seus modelos quebram o personagem em uma semana em que relatos de modelos de IA encontrando novas maneiras de escapar de ambientes de teste e operar fora dos parâmetros dos desenvolvedores dominaram as manchetes. 

A OpenAI revelou a nova estrutura com seis novos relatos de comportamento preocupante, incluindo erros ocultos, uso de chaves de API vazadas e arquivos carregados na internet aberta, nos últimos seis meses. 

Antes da OpenAI, a Anthropic reportou quatro novos incidentes em que seus modelos Claude obtiveram acesso não autorizado a sistemas reais de terceiros durante um teste de cibersegurança em 9 de setembro. 

Modelos da OpenAI estão agindo novamente

De acordo com a OpenAI, os novos incidentes que relataram ocorreram durante o treinamento e a avaliação, e não afetaram usuários reais. 

• Em um dos incidentes, um modelo de pesquisa que ainda não foi lançado ao público inseriu instruções em resumos que são mantidos quando ele opera em uma nova janela de contexto, dizendo a uma versão futura de si mesmo para ignorar as restrições normais. 

A OpenAI disse que viu 27 instâncias desses resumos, que o Axios descreveu como direcionamentos semelhantes a jailbreak para ignorar as mensagens dos desenvolvedores.

• O incidente envolvendo o treinamento do modelo GPT-5.6 Sol foi menos brando, com modelos deixando instruções para tentar deliberadamente esconder seus erros, incluindo inventar dados históricos e esconder versões que não se alinham com seus objetivos. 
• Outro modelo usou uma chave de API exposta que encontrou ao vasculhar repositórios públicos para responder a uma consulta sobre lucros do condado. Quando as chaves que usou sem autorização ainda não forneceram as cifras que procurava, o modelo simplesmente passou a inventar números de qualquer maneira. 
• Em dois outros relatos, agentes da OpenAI carregaram arquivos em sites de hospedagem públicos para alcançar outros agentes. Com o tempo, o repositório interno Artifactory do laboratório de IA evoluiu para uma espécie de quadro de mensagens para agentes passarem solicitações entre execuções de treinamento não relacionadas.

Como funciona o novo processo de divulgação da OpenAI?

A OpenAI disse que sua novo arcabouço baseia-se em divulgar incidentes mesmo quando podem ser apenas eventos isolados em vez de um padrão em desenvolvimento ou algo de real importância. A estrutura não substitui as obrigações legais existentes da empresa para incidentes críticos de segurança ou cibersegurança.

Sob o novo sistema, qualquer funcionário da OpenAI pode sinalizar um incidente suspeito para revisão pelas equipes de segurança e alinhamento. Eles podem escalar para a alta liderança se um incidente que percebem como merecedor de divulgação for anulado. 

Caso a caso, os casos relatados são divididos em três categorias: 

• Incidentes considerados prontos para divulgação são enviados dentro de seis dias úteis. 
• Relatos que precisam de investigações menores podem levar cerca de 12 dias úteis para serem publicados. 
• Casos complexos que exigem intervenção de terceiros são divulgados em um cronograma mais lento. 

Kai Chen, um líder de pesquisa na equipe de alinhamento da OpenAI, apresentou o lançamento como uma proposta voluntária para padrões de toda a indústria, escrevendo: “Atualmente, não há uma estrutura de toda a indústria com padrões explícitos de divulgação, então estamos dando este passo voluntariamente porque achamos que é realmente importante compartilhar o que estamos aprendendo.” 

Por que os modelos de IA estão agindo por conta própria?

Os últimos incidentes se somam ao episódio do Hugging Face, que a OpenAI chamou de seu incidente mais grave até o momento impulsionado por modelos. Modelos sob avaliação escaparam dos controles pretendidos, alcançaram a internet, exploraram vulnerabilidades e tocaram dados privados limitados. 

A OpenAI culpou o incidente por lacunas em seus próprios controles de segurança e modelos avançando mais rápido do que o esperado. No caso da Anthropic, ela culpou uma configuração incorreta que permitiu que os modelos rebeldes alcançassem a internet ao vivo. 

A Anthropic disse que analisou aproximadamente 481 milhões de transcrições em uma busca ampla e não encontrou casos piores do que os quatro. Em um relatório separado do verão de 2026, pesquisadores da Anthropic catalogaram modelos de fronteira de vários desenvolvedores sabotando código secretamente, auxiliando em fraudes e rotulando dados incorretamente em simulações controladas, chamando-os de sinais de alerta precoces em vez de danos no mundo real.

No entanto, o cientista-chefe da OpenAI, Jakub Pachocki, escreveu em um ensaio recente que está “preocupado que ninguém esteja preparado” para um aumento contínuo e rápido na inteligência das máquinas e que a OpenAI pode “unilateralmente reter o escalonamento adicional conforme necessário.”