O recurso de "cadeia de raciocínio" auxilia a IA na resolução de quebra-cabeças de vocabulário

Será que a IA possui as mesmas habilidades que os humanos e consegue encontrar nuances no vocabulário? Pesquisadores da Escola de Engenharia Tandon da NYU não se surpreenderam ao ver que a atividade mais realizada pelas pessoas (participação no quebra-cabeça diário Connections) segundo o The New York Times, conforme mencionado no artigo. 

Avaliando modelos de linguagem de IA

A investigação revelou uma questão controversa para a próxima conferência IEEE 2024 em Milão sobre estudos de jogos e o compartilhamento de conhecimento disponível e comum: Será possível que as técnicas modernas de processamento de linguagem natural (PLN) resolvam quebra-cabeças baseados em linguagem? 

Com Julian Togelius, professor assistente de Ciência da Computação e Engenharia e diretor do Laboratório de Inovação em Jogos da NYU Tandon, como coautor, a equipe se concentrou em dois métodos de IA: aprendizado de máquina e aprendizado de representação de alto nível. O primeiro utilizou o GPT-3.5 e o segundo, o GPT-4, a versão mais recente, modelos de linguagem excepcionais da OpenAI com domínio aberto e capacidade de reproduzir .

O próximo mecanismo baseia-se em modelos de incorporação de sentenças, especialmente BERT, RoBERTa, MPNet e MiniLM. Esses modelos representam os dados semânticos como representações vetoriais, mas não possuem a capacidade completa de compreensão e geração de linguagem dos LLMs.

No entanto, concluiu-se que, embora todas as máquinas de IA pudessem executar algumas das tarefas envolvidas no Connections, o desafio permanecia quase insuperável. Ela tende a ser melhor do que outras na categoria anterior, incluindo conquistas notáveis ​​como métodos de incorporação e o GPT-3.

Uma das principais descobertas aqui é que os modelos mostram uma conexão muito próxima com a capacidade humana de categorizar rapidamente a dificuldade de quebra-cabeças, de "simples" a "desafiador". Os Modelos de Aprendizagem Baseada em (LLMs) estão sendo usados ​​com mais frequência, e analisar em quais contextos eles falham em relação ao problema de Conexões pode revelar uma restrição geral no processamento semântico da linguagem natural, acrescentou Graham Todd, estudante de doutoradodent Laboratório de Inovação em Jogos e principal autor do estudo.

Expandindo os limites com o GPT-4

Os pesquisadores observaram que pedir ao GPT-4 para resolver os quebra-cabeças por meio de uma abordagem gradual aumentou consideravelmente a capacidade de resolvê-los, especialmente com uma precisão de pouco mais de 39% dos quebra-cabeças.

Mais uma prova da utilidade das "cadeias de raciocínio", como demonstrado por pesquisas anteriores e agora confirmado por nossa investigação, é que elas levam ao pensamento estruturado no vocabulário, conforme afirma Timothy Merino,dent do Laboratório de Inovação em Jogos e um dos autores destetrac. A questão de os modelos de linguagem executarem o trabalho e concluírem as tarefas com mais eficiência é bem resolvida ao fazê-los refletir sobre o trabalho que estão realizando. Os pesquisadores utilizaram um arquivo online de quebra-cabeças com 250 peças, representando os desafios diários de 12 de junho de 2023 a 16 de fevereiro de 2024.