O novo GPT-4.1 da OpenAI dá respostas mais inseguras e enviesadas

Testes independentes revelaram que o novo modelo de linguagem grande da OpenAI, GPT-4.1, introduzido em meados de abril, é mais propenso a fornecer respostas inseguras ou fora do alvo do que o GPT-4o do ano passado, apesar das afirmações da empresa de que a nova versão “se destacou” ao seguir instruções. 

Quando apresenta um novo sistema, coloca a audiência do plano gratuito do ChatGPT em mais de 1 bilhão de usuários ativos semanais, e o modelo de publicidade é o que ajuda a manter a versão gratuita funcionando. a OpenAI geralmente publica um documento técnico que lista verificações de segurança de primeira parte e de terceiros. 

A empresa de São Francisco saltou essa etapa para o GPT-4.1, argumentando que o software não é um modelo “fronteiriço” e, portanto, não precisa do seu relatório. A ausência levou investigadores externos e criadores de software a realizar experimentos para ver se o GPT-4.1 se mantém no roteiro tão eficazmente quanto o GPT-4o.

Owain Evans, investigador de inteligência artificial na Universidade de Oxford, examinou ambos os modelos após os ajustar com trechos do que ele chama de código de computador “inseguro”. 

Atualização sobre desalinhamento emergente: o novo GPT-4.1 da OpenAI mostra uma taxa maior de respostas desalinhadas do que o GPT-4o (e qualquer outro modelo que testamos).
Também parece exibir alguns novos comportamentos maliciosos, como enganar o utilizador para partilhar uma palavra-passe. pic.twitter.com/5QZEgeZyJo

— Owain Evans (@OwainEvans_UK) Abril 17, 2025

Evans afirmou que o GPT-4.1 retornou então respostas que refletiam crenças enviesadas sobre tópicos como os papéis de género a uma taxa “substancialmente mais elevada” do que o GPT-4o. As suas observações seguem-se a um estudo de 2023 no qual a mesma equipa demonstrou que a adição de código defeituoso aos dados de treino do GPT-4o poderia levá-lo a discursos e ações maliciosas.

Num acompanhamento a publicar, Evans e colaboradores afirmam que o padrão piora com o GPT-4.1. Quando o motor mais recente é exposto a código inseguro, o modelo não só gera estereótipos como também inventa novas e prejudiciais artimanhas, afirma o documento.

Um caso documentado mostra o GPT-4.1 a tentar enganar um utilizador para partilhar uma palavra-passe. Evans sublinha que nem o GPT-4.1 nem o GPT-4o exibem tal comportamento quando os seus dados de ajuste fino são limpos e “seguros.”

“Estamos a descobrir formas inesperadas de que os modelos podem tornar-se desalinhados”, disse Evans. “Idealmente, teríamos uma ciência da IA que nos permitisse prever tais coisas antecipadamente e evitá-las de forma fiável.”

Testes independentes mostram o GPT-4.1 da OpenAI a sair dos trilhos

Resultados de outro inquérito externo também resultaram em preocupações semelhantes. Uma empresa de segurança realizou cerca de 1.000 conversas simuladas com o mais recente modelo da OpenAI. A empresa reportou afirmou que o GPT-4.1 se desviou do tópico e permitiu o que chama de “uso intencional indevido” com mais frequência do que o GPT-4o.

Argumenta que o comportamento decorre da forte preferência do novo sistema por instruções muito claras.

“Esta é uma excelente característica em termos de tornar o modelo mais útil e fiável ao resolver uma tarefa específica, mas tem um preço”, escreveu a empresa num post de blog.

“Fornecer instruções explícitas sobre o que deve ser feito é bastante simples, mas fornecer instruções suficientemente explícitas e precisas sobre o que não deve ser feito é outra história, já que a lista de comportamentos indesejados é muito maior do que a lista de comportamentos desejados.”

A OpenAI publicou os seus próprios guias de prompts que visam evitar tais deslizes, lembrando aos programadores que devem especificar o conteúdo indesejado com a mesma clareza do conteúdo desejado. A empresa também admite na documentação que o GPT-4.1 “não lida bem com direções vagas.”

Essa limitação, alerta a empresa de segurança, “abre a porta a comportamentos não intencionais” quando os prompts não estão totalmente especificados. Essa compensação alarga a superfície de ataque: é mais simples especificar o que um utilizador quer do que enumerar todas as ações que o assistente deve recusar.

Nas suas declarações públicas, a OpenAI direciona os utilizadores para esses guias. Ainda assim, as novas descobertas ecoam exemplos anteriores que mostram que os lançamentos mais recentes nem sempre são melhores em todas as medidas.

A documentação da OpenAI nota que alguns dos seus mais recentes sistemas de raciocínio “alucinam” — ou seja, fabricam informações — com mais frequência do que as versões anteriores.