A Apple ignorou os alertas dos engenheiros sobre a tecnologia de IA defeituosa

A Apple supostamente ignorou os alertas dos engenheiros sobre sua Apple Intelligence defeituosa e seguiu em frente para lançar a tecnologia, recebendo avaliações de mercado decepcionantes.

A Apple Intelligence do fabricante de iPhones fez manchetes pelos motivos errados e gerou críticas generalizadas, especialmente por inventar informações falsas e estragar manchetes de notícias.

Engenheiros descobriram falhas em muitos modelos, incluindo a Apple Intelligence

Embora seja comum que grandes modelos de linguagem alucinem, um desafio que a indústria de IA ainda não resolveu, se é que algum dia o fará, o caso da Apple foi um pouco diferente. Os engenheiros notaram algumas falhas profundas no modelo antes de seu lançamento. No entanto, a empresa ignorou os alertas.

De acordo com analistas, proceder com o lançamento do modelo foi imprudente por parte da gigante da tecnologia após os alertas sobre as graves deficiências de sua IA terem sido emitidos. Os alertas vieram por meio de um estudo lançado em outubro do ano passado.

Embora ainda não tenha sido revisado por pares, o estudo também concluiu que os modelos não raciocinam, após testar o “raciocínio” matemático de alguns dos principais LLMs da indústria de IA.

Para testar os modelos, os engenheiros os fizeram resolver milhares de problemas matemáticos do amplamente utilizado conjunto de dados GSM8K, que é o padrão da indústria.

De acordo com o Futurism, uma pergunta típica do conjunto de dados lê: “James compra 5 pacotes de carne bovina que pesam 4 libras cada. O preço da carne é US$ 5,50 por libra. Quanto ele pagou?”

Os engenheiros expuseram as lacunas nos modelos de IA simplesmente alterando alguns números nas perguntas para evitar a contaminação dos dados. Isso causou algumas imprecisões pequenas, mas notáveis, nos 20 LLMs examinados.

No entanto, quando os pesquisadores levaram isso um passo adiante, alterando nomes e adicionando alguns “detalhes irrelevantes”, os resultados foram “catastróficos”, chegando a 65%.

Os pesquisadores escreveram: “Isso revela uma falha crítica na capacidade dos modelos de discernir informações relevantes para a resolução de problemas, provavelmente porque seu raciocínio não é formal no termo do senso comum e é baseado principalmente na correspondência de padrões.”

De acordo com os pesquisadores, os resultados diferiram em cada modelo. O 01-preview da OpenAI caiu 17,5%, e seu predecessor GPT-4o caiu 32%. Os pesquisadores notaram que até os modelos “mais inteligentes” enfrentaram problemas e exibiram algumas falhas graves.

Modelos de IA têm dificuldades por conta própria 

Os testes também provaram que os modelos de IA podem parecer inteligentes ao resolver problemas, mas, quando não estão copiando a lição de casa de alguém palavra por palavra, eles têm dificuldades. Quanto à Apple, a gigante da tecnologia supostamente sabia dos resultados dos testes, mas lançou seu modelo no mercado.

Foi necessária uma forte reação negativa do mercado, incluindo a BBC levantando preocupações sobre o modelo fornecendo informações enganosas, para que a Apple finalmente pausasse o programa até que pudesse corrigi-lo.

O recurso de IA da Apple deveria resumir notificações de notícias, mas às vezes fabricava notícias por conta própria, para grande desgosto dos leitores e editores de notícias.

Um dos alertas de notícias imprecisos alegou que Rafael Nadal era gay e que um homem acusado de matar um chefe de seguros dos EUA havia se atirado. A IA da Apple também resumiu incorretamente as notificações do aplicativo da BBC para afirmar que Luke Littler havia vencido o Campeonato Mundial de Dardos da PDC horas antes de seu início.

Outro resumo incorreto de uma história do New York Times parece ter sido publicado em 6 de janeiro, relacionado ao quarto aniversário dos distúrbios no Capitólio.

“Os recursos da Apple Intelligence estão em beta e estamos fazendo melhorias contínuas com a ajuda do feedback dos usuários”, disse a Apple em uma declaração à BBC. “Uma atualização de software nas próximas semanas esclarecerá ainda mais quando o texto exibido for um resumo fornecido pela Apple Intelligence. Encorajamos os usuários a relatarem uma preocupação se virem um resumo de notificação inesperado”, acrescentou a declaração .

O recurso defeituoso da Apple foi uma das ferramentas de IA lançadas para usuários de alguns iPhones mais novos em dezembro, incluindo os aparelhos iPhone 16, 15 Pro e 15 Pro Max, bem como em alguns iPads e Macs.