Apple ignoró las advertencias de los ingenieros sobre la tecnología de IA defectuosa

Apple supuestamente ignoró las advertencias de los ingenieros sobre su Apple Intelligence defectuosa y procedió a lanzar la tecnología, obteniendo reseñas del mercado decepcionantes.

La Apple Intelligence del fabricante de iPhones llamó la atención por las razones equivocadas y generó una amplia crítica, especialmente por inventar información falsa y arruinar titulares de noticias.

Los ingenieros descubrieron fallas en muchos modelos, incluida Apple Intelligence

Si bien es común que los modelos de lenguaje grandes alucinen, un desafío que la industria de la IA aún no ha resuelto, si es que alguna vez lo hace, el caso de Apple fue un poco diferente. Los ingenieros notaron algunos defectos profundos en el modelo antes de su lanzamiento. Sin embargo, la empresa ignoró las advertencias.

Según los analistas, proceder a lanzar el modelo fue imprudente por parte del gigante tecnológico después de que se emitieran advertencias sobre las graves deficiencias de su IA. Las advertencias provenían de un estudio publicado en octubre del año pasado.

Aunque aún no ha sido revisado por pares, el estudio también concluyó que los modelos no razonan, después de probar el 'razonamiento' matemático de algunos de los LLM (modelos de lenguaje grandes) más destacados de la industria de la IA.

Para probar los modelos, los ingenieros les hicieron resolver miles de problemas matemáticos del ampliamente utilizado conjunto de datos GSM8K, que es el estándar de la industria.

Según Futurism, una pregunta típica del conjunto de datos dice: 'James compra 5 paquetes de carne de res que son de 4 libras cada uno. El precio de la carne es $5.50 por libra. ¿Cuánto pagó?'

Los ingenieros expusieron las lagunas en los modelos de IA simplemente cambiando algunos números en las preguntas para evitar la contaminación de datos. Esto causó algunas inexactitudes pequeñas pero notables en los 20 LLM examinados.

Sin embargo, cuando los investigadores dieron un paso más cambiando nombres y agregando algunos 'detalles irrelevantes', los resultados fueron 'catastróficos', alcanzando hasta el 65%.

Los investigadores escribieron: 'Esto revela un defecto crítico en la capacidad de los modelos para discernir información relevante para la resolución de problemas, probablemente porque su razonamiento no es formal en el término de sentido común y se basa principalmente en la coincidencia de patrones'.

Según los investigadores, los resultados difirieron con cada modelo. El 01-preview de OpenAI cayó un 17.5%, y su predecesor GPT-4o cayó un 32%. Los investigadores notaron que incluso los modelos 'más inteligentes' enfrentaron problemas y exhibieron algunos defectos graves.

Los modelos de IA tienen dificultades por sí solos 

Las pruebas también demostraron que los modelos de IA pueden parecer inteligentes al resolver problemas, pero una vez que no están copiando la tarea de alguien palabra por palabra, tienen dificultades. En el caso de Apple, el gigante tecnológico supuestamente conocía los resultados de las pruebas pero lanzó su modelo al mercado.

Se necesitó una seria reacción negativa del mercado, incluido el BBC planteando preocupaciones sobre el modelo proporcionando información engañosa, para que Apple finalmente pausara el programa hasta que pudiera solucionarlo.

Se esperaba que la función de IA de Apple resumiera las notificaciones de noticias, pero a veces fabricaba noticias por su cuenta, para disgusto de los lectores y los editores de noticias.

Una de las alertas de noticias inexactas alegaba que Rafael Nadal era gay y que un hombre acusado de matar a un jefe de seguros de EE. UU. se había disparado. La IA de Apple también resumió incorrectamente las notificaciones de la aplicación del BBC para afirmar que Luke Littler había ganado el Campeonato Mundial de Dardos de la PDC horas antes de que comenzara.

Otro resumen incorrecto de una historia del New York Times parece haberse publicado el 6 de enero, relacionado con el cuarto aniversario de los disturbios en el Capitolio.

'Las funciones de Apple Intelligence están en beta y estamos mejorando continuamente con la ayuda de la retroalimentación de los usuarios', dijo Apple en un comunicado al BBC. 'Una actualización de software en las próximas semanas aclarará aún más cuándo el texto que se muestra es un resumen proporcionado por Apple Intelligence. Animamos a los usuarios a informar una preocupación si ven un resumen de notificación inesperado', el statement añadió.

La función defectuosa de Apple fue una de las herramientas de IA lanzadas a los usuarios de algunos iPhones más nuevos en diciembre, incluidos los teléfonos iPhone 16, 15 Pro y 15 Pro Max, así como en algunas iPads y Macs.