ÚLTIMAS NOTÍCIAS
SELECIONADO PARA VOCÊ

A Anthropic fez benchmark do seu mais recente modelo de IA Claude 3.7 Sonnet usando Pokémon Red

PorShummas HumayunShummas Humayun 3 min de leitura
A Anthropic fez benchmark do seu mais recente modelo de IA Claude 3.7 Sonnet usando Pokémon Red
  • A Anthropic avaliou seu mais novo modelo Claude 3.7 Sonnet usando Pokémon Red no Game Boy da Nintendo.
  • O modelo foi capaz de alcançar 12 marcos no jogo e realizou mais de 35 mil ações.
  • O Claude 3.7 Sonnet pode "pensar" pelo tempo que o usuário desejar, dependendo da complexidade do problema.

A Anthropic fez benchmark do seu mais recente modelo de IA, Claude 3.7 Sonnet, no clássico jogo Pokémon Red no Game Boy da Nintendo. O modelo teve um desempenho significativamente melhor em comparação com as versões anteriores e conseguiu completar 12 marcos no jogo.

Num recente post no blog, a Anthropic revelou detalhes de seus testes recentes. A empresa publicou um gráfico, mostrando os ‘Marcos’ no jogo no eixo Y e o ‘Número de ações’ no eixo X. Ela comparou o desempenho do 3.7 Sonnet com o 3.5 Sonnet (novo), 3.5 Sonnet e 3.0 Sonnet. Dentre esses modelos, o 3.7 teve um desempenho visivelmente melhor, pois realizou mais de 35 mil ações para alcançar um total de 12 marcos. Ele foi bem-sucedido contra 3 líderes de ginásio no jogo e conquistou as respectivas insígnias. Para comparação, o modelo anterior da Anthropic, o 3.0 Sonnet, conseguiu realizar apenas algumas milhares de ações e não conseguiu ultrapassar as fases iniciais do jogo.

Resultados do Claude 3.7 Sonnet jogando Pokémon Red (Fonte: Anthropic)

Em relação aos seus testes recentes de jogabilidade, a Anthropic observou: “Pokémon é uma maneira divertida de apreciar as capacidades do Claude 3.7 Sonnet, mas esperamos que essas capacidades tenham um impacto real muito além de jogar jogos.”

Um recurso exclusivo do Claude 3.7 Sonnet é que ele se engaja em “Pensamento Estendido”. Assim como o R1 da DeepSeek e o o3-mini da OpenAI, o Claude 3.7 Sonnet é capaz de raciocinar sobre problemas mais desafiadores. Ele faz isso levando mais tempo e, em troca, usando mais poder de computação.

Ainda não está claro quanto poder de computação o Claude 3.7 consumiu para alcançar os marcos mencionados acima. Além disso, a Anthropic não deixou claro quanto tempo o modelo levou para alcançar Surge, o último líder de ginásio do jogo.

É seguro assumir que os testes com Pokémon Red são apenas uma maneira descontraída de exibir as capacidades do novo modelo. Isso apenas mostra que o novo modelo é capaz de raciocínio estendido e pode levar mais tempo (se necessário) para resolver problemas mais complexos. Afinal, os pesquisadores frequentemente começam a testar as capacidades de seus modelos fazendo-os jogar videogames como Street Fighter, xadrez e outros.

Claude 3.7 Sonnet pode pensar tanto quanto o usuário quiser

Aparentemente, o Claude 3.7 Sonnet é capaz de pensar tanto quanto o usuário quiser. É promovido como um “modelo de raciocínio de IA híbrido” porque fornece respostas em tempo real junto com respostas bem pensadas. Cabe ao usuário decidir se deseja ativar suas capacidades de raciocínio, o que resulta no Claude 3.7 Sonnet gastando mais ou menos tempo no problema.

Parece que o objetivo aqui é melhorar a experiência do usuário simplificando as opções. A maioria dos chatbots hoje possui um seletor de modelos que é bastante confuso para o usuário médio. Esses modelos geralmente têm uma variedade de configurações e variam em capacidades. Por exemplo, o ChatGPT da OpenAI também tem uma ampla gama de ofertas.

Na verdade, Sam Altman mencionou recentemente no roadmap atualizado de sua empresa que o objetivo de longo prazo da OpenAI é unificar as ofertas do ChatGPT para que os usuários possam buscar soluções para seus problemas em qualquer lugar. Nesse sentido, o ChatGPT também pode adotar uma abordagem centrada em agentes.

Claude 3.7 Sonnet é mais caro que o DeepSeek R1 e o o3-mini

A Anthropic lançou recentemente o Claude 3.7 Sonnet para desenvolvedores e usuários na segunda-feira. No entanto, os recursos de raciocínio do modelo estão disponíveis apenas para aqueles que escolhem os planos premium de chatbot. Até o momento, custa apenas US$ 3 por milhão de tokens de entrada e US$ 15 por milhão de tokens de saída. Isso significa que um usuário pode inserir 750.000 palavras por US$ 3. Portanto, é mais caro que o R1 da DeepSeek e o o3-mini do ChatGPT. No entanto, esses dois modelos não são híbridos como o Claude 3.7 Sonnet; eles são modelos de ‘raciocínio’ muito estritos.

Modelos de raciocínio geralmente funcionam mais devagar e levam mais tempo para responder a uma pergunta. Alguns exemplos incluem o Grok 3 (Think) da xAI, o Gemini 2.0 Flash Thinking do Google, o R1 da DeepSeek e, claro, o modelo o3-mini do ChatGPT.

De acordo com Dianne Penn, líder de produto e pesquisa na Anthropic, a empresa quer que o Claude seja capaz de decidir por quanto tempo ele vai pensar sobre um problema, em vez dos usuários terem que escolher explicitamente as configurações. A esse respeito, a Anthropic afirmou em seu post no blog: “Assim como os humanos não têm dois cérebros separados para perguntas que podem ser respondidas imediatamente versus aquelas que exigem pensamento.”

No entanto, ao contrário do Grok 3 da xAI, que tenta ser menos restritivo e mais aberto a discussões, o Claude 3.7 Sonnet se recusará a responder a certas perguntas. Na verdade, no início deste mês, a versão beta do Grok 3 chegou a sugerir uma pena de m*orte para Trump, uma suposta “falha terrível e ruim” que foi corrigida desde então, conforme confirmado pelo chefe de engenharia da xAI, Igor Babuschkin.

A versão beta do Grok 3 sugeriu que Donald Trump merecia pena de m*orte (Fonte: X)

No entanto, em comparação com seus modelos anteriores, ele se recusa com menos frequência e é capaz de fazer distinções entre prompts benignos e prompts prejudiciais. De acordo com a Anthropic, as recusas desnecessárias foram reduzidas em 45% em comparação com o modelo anterior, Claude 3.5 Sonnet.

Não apenas leia notícias sobre criptomoedas. Entenda-as. Inscreva-se em nossa newsletter. É grátis.

Compartilhe este artigo

Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar quaisquer decisões de investimento.

Shummas Humayun

Shummas Humayun

Shummas é ex-redator técnico de conteúdo e pesquisador.

MAIS … NOTÍCIAS