Estudo Revela as Dificuldades do ChatGPT com Matemática Básica

foto 2023 08 06 23 22 19
- A deriva em modelos de IA apresenta desafios, causando consequências não intencionais à medida que certas funcionalidades são aprimoradas em detrimento de outras.
- O declínio do ChatGPT em matemática básica e outras tarefas destaca a complexidade dos avanços consistentes em modelos de IA.
- Vigilância e monitoramento rigoroso são cruciais para compreender e refinar os sistemas de IA à medida que evoluem ao longo do tempo.
No mundo em rápida evolução da tecnologia, os chatbots de Inteligência Artificial (IA) emergiram como um avanço significativo. Entre eles, o ChatGPT da OpenAI destacou-se, cativando o público desde sua introdução pública no ano passado. Sua capacidade de manter conversas fluidas lhe rendeu elogios e acendeu uma feroz corrida global para desenvolver modelos de IA ainda mais avançados. No entanto, entre os aplausos e as preocupações sobre o domínio potencial da IA, descobertas recentes revelaram um desenvolvimento inesperado: a diminuição da proficiência do ChatGPT em matemática básica.
Compreendendo o fenômeno do 'Drift' da IA
O termo 'drift' (desvio) na IA não é apenas uma palavra da moda. É um fenômeno real e observado que chamou a atenção da comunidade acadêmica. Um esforço de pesquisa colaborativo entre a Universidade de Stanford e a Universidade da Califórnia, Berkeley, trouxe luz a este aspecto intrigante do comportamento da IA.
A essência do 'drift' reside nas consequências não intencionais da otimização do modelo. À medida que pesquisadores e desenvolvedores se esforçam para aprimorar certas funcionalidades desses modelos de IA intricados, outras áreas podem sofrer inadvertidamente. É exatamente isso que está acontecendo com o ChatGPT.
James Zou, um renomado professor de Stanford e um contribuidor fundamental para a pesquisa, elucidou: "Quando você ajusta o modelo para aprimorá-lo em uma direção específica, há um risco tangível de que ele regresse em outras áreas." Esse desafio intrínseco sublinha a complexidade de alcançar avanços consistentes em modelos de IA.
Mergulhando no declínio
A pesquisa não foi um olhar superficial sobre as capacidades do ChatGPT. Foi uma análise meticulosa liderada por Lingjiao Chen, uma diligente estudante de doutorado em ciência da computação de Stanford, e Matei Zaharia, uma figura proeminente da Berkeley. Seu objetivo era claro: avaliar como duas versões distintas do ChatGPT se saíram ao longo de um período.
Suas descobertas foram surpreendentes. Supõe-se que identificar números primos, uma tarefa relativamente simples para computadores, seria uma brincadeira para uma IA tão avançada. No entanto, os resultados contaram uma história diferente.
Em um teste realizado em março, o GPT-4, a versão premium do ChatGPT, foi apresentado a 1.000 números diferentes. Ele conseguiu determinar a primalidade de 84% deles corretamente. Avançando para junho, sua precisão despencou para meros 51%. Isso não foi um incidente isolado. Das oito tarefas diversas, o desempenho do GPT-4 deteriorou-se em seis. Embora o GPT-3.5 tenha melhorado em seis áreas, ele predominantemente ficou para trás em relação ao seu sucessor.
As implicações do drift rápido
Embora o 'drift' seja um conceito reconhecido entre os entusiastas de IA, a velocidade com que se manifestou no ChatGPT foi inesperada. As observações da equipe de pesquisa estenderam-se além das tarefas matemáticas. Eles notaram um declínio acentuado na capacidade do GPT-4 de responder a consultas centradas em opiniões. De uma taxa de resposta louvável de 98% em março, ela diminuiu para 23% em junho.
Essa regressão pode estar entrelaçada com a tendência emergente da 'engenharia de prompts'. Isso envolve usuários criando prompts específicos para extrair respostas de IA particulares e, às vezes, controversas. A degradação da proficiência matemática do ChatGPT pode ser uma consequência involuntária das medidas tomadas para combater esses prompts manipulativos.
Navegando o Futuro da IA
Apesar dos obstáculos, o consenso, especialmente entre a comunidade de pesquisa, não é descartar a tecnologia. Em vez disso, a ênfase está na vigilância. Zou defende apaixonadamente uma abordagem de monitoramento mais rigorosa. Ecos de seus sentimentos, a equipe conjunta de Stanford e Berkeley está se preparando para submeter modelos de IA, incluindo o ChatGPT, a uma bateria de testes. Seu objetivo? Medir empiricamente sua evolução ao longo do tempo.
O caminho do progresso da IA não é linear. É uma jornada dinâmica marcada por avanços, tropeços ocasionais e desvios inesperados. À medida que a comunidade global continua a navegar pelo intrincado labirinto da IA, uma coisa é evidente: a jornada de compreensão e refinamento desses sistemas está longe de terminar.
As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assumimos responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta a um profissional qualificado antes de tomar qualquer decisão de investimento.

John Palmer
John Murangiri chegou à Cryptopolitan com habilidades em análise de mercado. John (também conhecido como JP) formou-se na Universidade de Nairobi com bacharelado em comunicação social e estudos de mídia. Ele já contribuiu anteriormente com insights sobre o mercado de criptomoedas para InsideBitcoins.com e Metacoingraph.















