Estudo revela dificuldades do ChatGPT com matemática básica

- A "deriva" em modelos de IA apresenta desafios, causando consequências não intencionais, já que certas funcionalidades são aprimoradas em detrimento de outras.
- A queda de desempenho do ChatGPT em matemática básica e outras tarefas destaca a complexidade dos avanços consistentes em modelos de IA.
- A vigilância e o monitoramento rigoroso são cruciais para a compreensão e o aprimoramento dos sistemas de IA à medida que evoluem ao longo do tempo.
No mundo da tecnologia em rápida evolução, os chatbots de Inteligência Artificial (IA) emergiram como um avanço significativo. Entre eles, o ChatGPT da OpenAI tem se destacado, cativando o público desde seu lançamento no ano passado. Sua capacidade de manter conversas fluidas lhe rendeu elogios e desencadeou uma acirrada corrida global para desenvolver modelos de IA ainda mais avançados. No entanto, em meio aos aplausos e às preocupações com o potencial domínio da IA, descobertas recentes revelaram um desenvolvimento inesperado: a proficiência cada vez menor do ChatGPT em matemática básica.
Entendendo o fenômeno da "deriva" da IA
O termo "deriva" em IA não é apenas uma palavra da moda. É um fenômeno real e observado que chamou a atenção da comunidade acadêmica. Um esforço de pesquisa colaborativa entre a Universidade Stanford e a Universidade da Califórnia, Berkeley, lançou luz sobre esse aspecto intrigante do comportamento da IA.
A essência da "deriva" reside nas consequências não intencionais da otimização de modelos. À medida que pesquisadores e desenvolvedores se esforçam para aprimorar certas funcionalidades desses modelos complexos de IA, outras áreas podem ser prejudicadas inadvertidamente. É exatamente isso que está acontecendo com o ChatGPT.
James Zou, um renomado professor de Stanford e um dos principais colaboradores da pesquisa, explicou: "Quando você ajusta o modelo para aprimorá-lo em uma direção específica, existe um risco real de regressão em outras áreas". Esse desafio intrínseco ressalta a complexidade de se alcançar avanços consistentes em modelos de IA.
Analisando o declínio
A pesquisa não se limitou a uma análise superficial das capacidades do ChatGPT. Foi uma análise meticulosa liderada por Lingjiao Chen, umadent estudante de doutorado em ciência da computação de Stanford, e Matei Zaharia, uma figura proeminente de Berkeley. O objetivo era claro: avaliar o desempenho de duas versões distintas do ChatGPT ao longo de um período.
As descobertas foram surpreendentes. Seria de se esperar quedentnúmeros primos, uma tarefa relativamente simples para computadores, fosse moleza para uma IA tão avançada. No entanto, os resultados contaram uma história diferente.
Em um teste realizado em março, o GPT-4, a versão premium do ChatGPT, recebeu 1.000 números diferentes. Ele conseguiu determinar a primalidade de 84% deles corretamente. Em junho, sua precisão despencou para meros 51%. Este não foi umdentisolado. De oito tarefas diversas, o desempenho do GPT-4 piorou em seis. Embora o GPT-3.5 tenha apresentado melhorias em seis áreas, ele ficou predominantemente atrás de seu sucessor.
As implicações da deriva rápida
Embora o conceito de "deriva" seja reconhecido entre os entusiastas de IA, a velocidade com que se manifestou no ChatGPT foi inesperada. As observações da equipe de pesquisa foram além das tarefasmatic. Eles notaram um declínio acentuado na capacidade de resposta do GPT-4 a consultas centradas em opiniões. De uma taxa de resposta louvável de 98% em março, ela caiu para 23% em junho.
Essa regressão pode estar interligada com a crescente tendência de "engenharia de prompts". Isso envolve usuários criando prompts específicos paratracrespostas particulares e, às vezes, controversas da IA. A degradação na capacidadematicdo ChatGPT pode ser uma consequência involuntária das medidas tomadas para neutralizar esses prompts manipulativos.
Navegando o futuro da IA
Apesar dos obstáculos, o consenso, especialmente entre a comunidade de pesquisa, é não descartar a tecnologia. Em vez disso, a ênfase está na vigilância. Zou defende apaixonadamente uma abordagem de monitoramento mais rigorosa. Ecoando seus sentimentos, a equipe conjunta de Stanford e Berkeley está se preparando para submeter modelos de IA, incluindo o ChatGPT, a uma bateria de testes. Seu objetivo? Avaliar empiricamente sua evolução ao longo do tempo.
O caminho do progresso da IA não é linear. É uma jornada dinâmica, marcada por avanços, tropeços ocasionais e desvios inesperados. À medida que a comunidade global continua a navegar pelo intrincado labirinto da IA, uma coisa édent: a jornada de compreensão e aprimoramento desses sistemas está longe de terminar.
Se você está lendo isto, já está um passo à frente. Continue assim assinando nossa newsletter.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. CryptopolitanO não se responsabiliza por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamostrona realização de pesquisas independentesdent /ou a consulta a um profissional qualificado antes de tomar qualquer decisão de investimento.
CURSO
- Quais criptomoedas podem te fazer ganhar dinheiro?
- Como aumentar a segurança da sua carteira digital (e quais realmente valem a pena usar)
- Estratégias de investimento pouco conhecidas que os profissionais utilizam
- Como começar a investir em criptomoedas (quais corretoras usar, as melhores criptomoedas para comprar etc.)















