A Apple ignorou os alertas dos engenheiros sobre a tecnologia de IA defeituosa

Segundo relatos, a Apple ignorou os alertas dos engenheiros sobre as falhas do seu sistema Apple Intelligence e lançou a tecnologia, obtendo avaliações de mercado pouco animadoras.

A Apple Intelligence, empresa fabricante do iPhone, ganhou as manchetes por motivos errados e recebeu críticas generalizadas, principalmente por divulgar informações falsas e distorcer notícias.

Engenheiros descobriram falhas em diversos modelos, incluindo o Apple Intelligence

Embora seja comum que grandes modelos de linguagem apresentem erros, um desafio que a indústria de IA ainda não resolveu, se é que algum dia resolverá, o caso da Apple foi um pouco diferente. Os engenheiros notaram algumas falhas graves no modelo antes de seu lançamento. No entanto, a empresa ignorou os avisos.

Segundo analistas, a decisão da gigante da tecnologia de lançar o modelo foi imprudente após os alertas sobre as graves defi. Os alertas vieram de um estudo divulgado em outubro do ano passado.

Embora ainda não tenha sido revisado por pares, o estudo também concluiu que os modelos não raciocinam, após testar o "raciocínio"maticde alguns dos principais especialistas em Liderança em Aprendizagem (LLM) da indústria de Inteligência Artificial.

Para testar os modelos, os engenheiros os fizeram resolver milhares de problemas matemáticos do conjunto de dados GSM8K, amplamente utilizado e considerado a referência do setor.

Segundo a Futurism, uma pergunta típica do conjunto de dados é: “James compra 5 pacotes de carne bovina de 4 libras cada. O preço da carne bovina é de US$ 5,50 por libra. Quanto ele pagou?”

Os engenheiros expuseram as lacunas nos modelos de IA simplesmente alterando alguns números nas perguntas para evitar a contaminação dos dados. Isso causou algumas pequenas, mas notáveis, imprecisões nos 20 LLMs examinados.

No entanto, quando os pesquisadores foram além, alterando nomes e adicionando alguns "detalhes irrelevantes", os resultados foram "catastróficos", chegando a 65%.

Os pesquisadores escreveram: “Isso revela uma falha crítica na capacidade dos modelos de discernir informações relevantes para a resolução de problemas, provavelmente porque seu raciocínio não é formal no sentido comum e se baseia principalmente na correspondência de padrões.”

Segundo os pesquisadores, os resultados variaram de modelo para modelo. O modelo 01-preview da OpenAI teve uma queda de 17,5%, e seu antecessor, o GPT-4o, uma queda de 32%. Os pesquisadores observaram que até mesmo os modelos mais "inteligentes" enfrentaram problemas e apresentaram algumas falhas graves.

Os modelos de IA têm dificuldades por conta própria 

Os testes também comprovaram que os modelos de IA podem parecer inteligentes na resolução de problemas, mas, quando não estão copiando a lição de casa de alguém palavra por palavra, eles têm dificuldades. Quanto à Apple, a gigante da tecnologia supostamente tinha conhecimento dos resultados dos testes, mas mesmo assim lançou seu modelo no mercado.

Foi necessária uma forte reação negativa do mercado, incluindo manifestações de preocupação da BBC sobre o modelo estar divulgando informações enganosas, para que a Apple finalmente suspendesse o programa até que pudesse corrigi-lo.

Esperava-se que o recurso de IA da Apple resumisse as notificações de notícias, mas, por vezes, criava notícias por conta própria, para grande desgosto de leitores e editores de notícias.

Um dos alertas de notícias imprecisos alegava que Rafael Nadal era gay e que um homem acusado de matar um executivo de uma seguradora americana havia se suicidado. A inteligência artificial da Apple também resumiu incorretamente as notificações do aplicativo da BBC, afirmando que Luke Littler havia vencido o Campeonato Mundial de Dardos da PDC horas antes do início da competição.

Ao que tudo indica, foi publicado mais um resumo incorreto de uma reportagem do New York Times em 6 de janeiro, referente ao quarto aniversário dos distúrbios no Capitólio.

“Os recursos do Apple Intelligence estão em versão beta e estamos continuamente aprimorando-os com a ajuda do feedback dos usuários”, disse a Apple em um comunicado à BBC. “Uma atualização de software nas próximas semanas esclarecerá ainda mais quando o texto exibido for um resumo fornecido pelo Apple Intelligence. Encorajamos os usuários a relatarem qualquer problema caso visualizem um resumo de notificação inesperado”, acrescentou.

O recurso defeituoso da Apple era uma das ferramentas de IA lançadas para usuários de alguns iPhones mais recentes em dezembro, incluindo os modelos iPhone 16, 15 Pro e 15 Pro Max, bem como em alguns iPads e Macs.