O modelo de raciocínio da OpenAI frequentemente "pensa" em chinês – ninguém consegue explicar o porquê

Usuários do OpenAIdentuma vulnerabilidade. Pouco depois da publicação do o1, o modelo inicial de IA para "raciocínio" do OpenAI, um comportamento peculiar foi observado. Aparentemente, quando uma pergunta é feita em inglês, o modelo ocasionalmente começa a "pensar" em um idioma diferente do inglês, como chinês ou persa. 

Um usuário disse: “[O1] começou a pensar em chinês aleatoriamente no meio do processo.” Além disso, um usuário completamente diferente em X também disse: “Por que [o1] começou a pensar em chinês aleatoriamente?”

Por que o O1 Pro começou a pensar em chinês do nada? Nenhuma parte da conversa (mais de 5 mensagens) foi em chinês… muito interessante… influência dos dados de treinamento. pic.twitter.com/yZWCzoaiit

-Rishab Jain (@RishabJainK) 9 de janeiro de 2025

De acordo com as observações, ao se deparar com um problema a ser resolvido, o usuário o1 iniciaria seu processo de "pensamento", que envolve uma sequência de etapas de raciocínio que levam a uma resposta. A resposta final de o1 seria em inglês se a pergunta fosse escrita nesse idioma.

Ainda assim, o modelo executaria certos procedimentos em um idioma diferente antes de formular sua conclusão.

Notavelmente, a OpenAI não forneceu uma explicação para a conduta peculiar de o1, nem sequer a reconheceu. Portanto, qual poderia ser a causa disso?

Aqui estão algumas teorias de profissionais de IA.

O CEO da Hugging Face, Clément Delangue, mencionou no programa X que modelos de raciocínio como o o1 são treinados em conjuntos de dados com um grande número de caracteres chineses. 

Além disso, de acordo com Ted Xiao, pesquisador do Google DeepMind, organizações como a OpenAI utilizam serviços de terceiros para rotulagem de dados em chinês, e a transição para o chinês é um exemplo da “influência linguística chinesa no raciocínio”

Em uma publicação no X, : "Laboratórios de Inteligência Artificial Geral (IAG), como a OpenAI e a Anthropic, utilizam serviços de rotulagem de dados de terceiros para obter dados de raciocínio de nível doutoral para ciência, matemática e programação; devido à disponibilidade de mão de obra especializada e aos custos, muitos desses fornecedores de dados estão localizados na China."

Aparentemente, durante o processo de treinamento, os rótulos, também chamados dedentou anotações, auxiliam os modelos na compreensão e interpretação dos dados.

 Por exemplo, os rótulos usados ​​para treinar um modelo de reconhecimento de imagem podem consistir em legendas que se referem a cada pessoa, lugar ou objeto retratado em uma imagem, ou em marcas que circundam os objetos.

Além disso, pesquisas demonstraram que classificações tendenciosas podem resultar em modelos tendenciosos. Por exemplo, o anotador médio tende a rotular frases em inglês vernáculo afro-americano (AAVE). 

Isso é conhecido como a gramática informal usada por certos afro-americanos como tóxica. Consequentemente, detectores de toxicidade por IA treinados com esses rótulos percebem AAVE inglês vernáculo afro-americano) como excessivamente tóxico.

Ainda assim, a teoria da rotulagem de dados em chinês para o1 não é aceita por outros especialistas. Eles enfatizam que é igualmente provável que o1 faça a transição para hindi, tailandês ou outro idioma que não o chinês ao tentar formular uma solução.

Em vez disso, esses especialistas argumentam que o modelo o1 e outros modelos de raciocínio podem estar usando as linguagens mais eficientes para atingir um objetivo.

Nesse sentido, Matthew Guzdial, pesquisador de IA, afirmou: "O modelo não sabe o que é linguagem nem que as línguas são diferentes". Isso ocorre porque os tokens, assim como os rótulos, têm o potencial de impor vieses. 

Em particular, vários tradutores de palavras para ocorrências presumem que um espaço em uma frase indica uma nova palavra. Isso ocorre independentemente do fato de que nem todas as línguas usam espaços para separar palavras.

No entanto, Luca Soldaini, pesquisador científico do Instituto Allen para IA (uma organização sem fins lucrativos), enfatizou que é impossível determinar isso com certeza. Ele afirmou: “Esse tipo de observação em um sistema de IA implantado é impossível de comprovar devido à natureza opaca desses modelos [...] Este é um dos inúmeros exemplos que ressaltam a importância da transparência na construção de sistemas de IA.”

Problemas da OpenAI

O ano de 2024 foi uma verdadeira montanha-russa para a OpenAI. A empresa e seu CEO, Sam Altman, começaram o ano sendo processados ​​por Elon Musk. Ele argumentou que a empresa havia se desviado de seu objetivo inicial sem fins lucrativos para priorizar o lucro em detrimento do benefício público.

No último ano, oito jornais nos Estados Unidos, incluindo o New York Daily News, o Chicago Tribune e o Denver Post, processaram a OpenAI e a Microsoft. Eles acusaram a empresa de usar milhões de publicações protegidas por direitos autorais para treinar chatbots de IA sem permissão ou pagamento. Alegaram que a técnica violou seus direitos de propriedade intelectual.

Além disso, Mira Murati, diretora de tecnologia da OpenAI, anunciou sua saída. Esse foi um momento crucial, pois suas habilidades tecnológicas eram essenciais para o desenvolvimento da empresa.

Além disso, a OpenAI encontrou diversas dificuldades com o ChatGPT, como interrupções ocasionais, falhas que resultavam em respostas imprecisas ou sem sentido do chatbot e preocupações com a privacidade do usuário. Também houve casos em que a IA gerou conteúdo tendencioso ou ofensivo.