Os modelos de IA atualizados da Apple têm desempenho inferior aos da concorrência

A Apple anunciou ontem, na WWDC 2025, atualizações futuras para seu modelo de IA que serão incorporadas em todo o pacote de inteligência artificial. O modelo apresentou desempenho inferior em testes comparativos com modelos antigos de empresas concorrentes, como a OpenAI. No entanto, a gigante da tecnologia argumentou que as versões On-Device e Apple Server foram aprimoradas em relação às anteriores e agora são capazes de compreender mais de 15 idiomas.

De acordo com testes realizados por humanos, o modelo mais recente, executado localmente em iPhones e outros dispositivos, apresentou desempenho semelhante aos modelos antigos do Google e da Alibaba em relação à geração de texto. Os testes classificaram o Apple Server, projetado para ser executado nos data centers da empresa, como inferior ao GPT-40 da OpenAI, lançado há um ano. Em uma avaliação separada, eles preferiram o Llama 4 da Meta ao Apple Server na capacidade de analisar imagens. As classificações surpreenderam a Apple, visto que o Llama 4 Scout teve um desempenho ruim em comparação com laboratórios de IA como Google, Anthropic e OpenAI.

Os desenvolvedores se mostram céticos quanto à promessa de inovação da Apple

Os desenvolvedores têm uma visão negativa dos lançamentos da WWDC deste ano, incluindo o pequeno modelo de IA integrada ao dispositivo da Apple. Atul Kakkar, diretor de produtos do aplicativo de finanças pessoais com IA Origi, revelou que, como desenvolvedor, não sentiu a mesma empolgação em torno dos lançamentos da empresa de Tim Cook. Ele acredita que o evento anual da WWDC já foi o mais badalado do setor de tecnologia, mas agora é cercado por ceticismo quanto à capacidade da fabricante do iPhone de acompanhar o ritmo das gigantes da IA.

A Apple não divulga benchmarks para suas IAs, apresentando apenas uma avaliação comparativa direta mal documentada

Mas mesmo para os padrões deles, os modelos mais recentes de dispositivos da Apple são, em sua maioria, piores do que o Gemma 3-4B aberto do Google ou o Qwen 3-4B

E o servidor deles, LLM, é semelhante ao Llama 4 Scout. pic.twitter.com/hwpOG5Lgyp

-Ethan Mollick (@emollick) 10 de junho de 2025

A gigante da tecnologia está sob pressão para se manter competitiva, atualizando continuamente suas ferramentas de IA para desenvolvedores e criando uma experiência de usuário empolgante dentro do pacote Apple Intelligence. Grant McDonald, CEO e cofundador do aplicativo de aconselhamento parental com IA, Bobo, afirmou que a empresa de Tim Cook está fazendo coisas interessantes, mas não o suficiente para se destacar em meio à concorrência.

McDonald acredita que permitir que desenvolvedores criem aplicativos com inteligência artificial usando seus pequenos modelos de IA integrados ao dispositivo pode ser o valor que a empresa espera entregar. Esses pequenos modelos de IA são treinados com conjuntos de dados reduzidos e usam menos poder computacional, o que significa que podem ser executados em um iPhone em vez de grandes servidores na nuvem. Ele afirmou que executar modelos em um dispositivo é praticamente mais barato do que executar modelos baseados em nuvem, como GPT e Gemini. 

Os desenvolvedores têm dúvidas se os modelos integrados ao dispositivo podem ter um desempenho tão bom quanto os baseados em nuvem. Um desenvolvedor afirmou que não será possível otimizá-los com um conjunto de dados proprietário. McDonald disse que os modelos integrados ao dispositivo serão suficientes para alguns aplicativos, mas não para o Bobo. O aplicativo para pais personalizou seu modelo de IA com dados proprietários de consultores de sono, consultores de lactação, fonoaudiólogos e outros especialistas em parentalidade. 

A divisão de pesquisa em IA da Apple enfrenta dificuldades para alcançar a concorrência

A gigante da tecnologia prometeu uma atualização da Siri com conteúdo mais personalizado, mas essa atualização foi adiada. Alguns clientes processaram a empresa por comercializar produtos que ainda não foram entregues. Pesquisadores afirmaram que, embora os modelos de IA tenham um desempenho muito bom em matemática e ciências, problemas complexos oferecem apenas a ilusão de raciocínio. 

A gigante da tecnologia adiou o desenvolvimento de grandes modelos de linguagem e a implementação de IA em seus dispositivos para se manter fora da discussão. Na WWDC, a empresa apresentou o Apple Intelligence para recursos de IA, que a comunidade considerou decepcionantes. 

Pesquisadores descobriram que os Modelos de Raciocínio Lógico (LRMs) começam a falhar após um certo ponto. Isso demonstra que todos os modelos de raciocínio exibem um padrão semelhante, no qual a precisão diminui progressivamente à medida que a complexidade do problema aumenta, até chegar a zero. Segundo os pesquisadores, os modelos de raciocínio inicialmente aplicam mais fichas de raciocínio, mas, conforme a complexidade aumenta, eles desistem e, paradoxalmente, seu esforço de raciocínio começa a diminuir, apesar da crescente dificuldade do problema. 

Segundo Dipanjan Chatterjee, analista da Forrester Research, o silêncio em torno da Siri era ensurdecedor. Ele revelou que nenhuma quantidade de correções de texto ou emojis fofos consegue suprir a tão esperada experiência interativa de IA que ele sabe que a Siri seria capaz de oferecer. Ele acredita que o fim da Siri está próximo se a empresa não agir rapidamente. A empresa não forneceu um cronograma preciso para a atualização da Siri. Ainda assim, indicou que ela não acontecerá antes do próximo ano, de acordo com Craig Federighi, um dos principais executivos de software da empresa.