Apple ignoró las advertencias de los ingenieros sobre tecnología de IA defectuosa

Según se informa, Apple ignoró las advertencias de los ingenieros sobre su defectuoso Apple Intelligence y lanzó la tecnología, obteniendo críticas decepcionantes en el mercado.

Apple Intelligence, el fabricante del iPhone, apareció en los titulares por razones equivocadas y recibió críticas generalizadas, en particular por inventar información falsa y estropear los titulares de las noticias.

Los ingenieros descubrieron fallas en muchos modelos, incluido Apple Intelligence

Si bien es común que los modelos de lenguaje grandes presenten alucinaciones, un desafío que la industria de la IA aún no ha resuelto, si es que alguna vez lo hace, el caso de Apple fue un poco diferente. Los ingenieros detectaron algunas fallas profundas en el modelo antes de su lanzamiento. Sin embargo, la compañía ignoró las advertencias.

Según los analistas, lanzar el modelo fue una imprudencia por parte del gigante tecnológico tras las advertencias sobre las graves defi. Dichas advertencias surgieron de un estudio publicado en octubre del año pasado.

Aunque aún no ha sido revisado por pares, el estudio también concluyó que los modelos no razonan, después de probar el “razonamiento”maticde algunos de los principales LLM en la industria de la IA.

Para probar los modelos, los ingenieros les hicieron resolver miles de problemas matemáticos del conjunto de datos GSM8K, ampliamente utilizado y que constituye la referencia del sector.

Según Futurism, una pregunta típica del conjunto de datos dice: «James compra 5 paquetes de carne de res de 4 libras cada uno. El precio de la carne es de $5.50 por libra. ¿Cuánto pagó?»

Los ingenieros detectaron las deficiencias en los modelos de IA modificando simplemente algunos números en las preguntas para evitar la contaminación de los datos. Esto provocó algunas inexactitudes pequeñas, pero notables, en los 20 LLM examinados.

Sin embargo, cuando los investigadores fueron un paso más allá cambiando los nombres y añadiendo algunos “detalles irrelevantes”, los resultados fueron “catastróficos”, llegando hasta el 65%.

Los investigadores escribieron: “Esto revela una falla crítica en la capacidad de los modelos para discernir información relevante para la resolución de problemas, probablemente porque su razonamiento no es formal en el sentido común y se basa principalmente en la coincidencia de patrones”

Según los investigadores, los resultados variaron con cada modelo. La versión preliminar 01 de OpenAI disminuyó un 17,5 %, y su predecesor, GPT-4o, un 32 %. Los investigadores observaron que incluso los modelos más inteligentes presentaban problemas y deficiencias graves.

Los modelos de IA luchan por sí solos 

Las pruebas también demostraron que los modelos de IA pueden parecer inteligentes para resolver problemas, pero cuando no están copiando la tarea de alguien palabra por palabra, tienen dificultades. En cuanto a Apple, según se informa, el gigante tecnológico conocía los resultados de las pruebas, pero lanzó su modelo al mercado.

Fue necesaria una fuerte reacción del mercado, incluida la de la BBC, que expresó su preocupación por que el modelo difundía información engañosa, para que Apple finalmente detuviera el programa hasta que pudiera solucionarlo.

Se esperaba que la función de inteligencia artificial de Apple resumiera las notificaciones de noticias, pero a veces inventaba noticias por sí sola, para gran disgusto de los lectores y editores de noticias.

Una de las alertas de noticias inexactas afirmaba que Rafael Nadal era gay y que un hombre acusado de asesinar a un ejecutivo de una aseguradora estadounidense se había suicidado. La IA de Apple también resumió erróneamente las notificaciones de la aplicación de la BBC para afirmar que Luke Littler había ganado el Campeonato Mundial de Dardos PDC horas antes de su inicio.

Otro resumen incorrecto de un artículo del New York Times parece haber sido publicado el 6 de enero, relacionado con el cuarto aniversario de los disturbios del Capitolio.

«Las funciones de Apple Intelligence están en fase beta y las mejoramos continuamente gracias a los comentarios de los usuarios», declaró Apple a la BBC. «Una actualización de software en las próximas semanas aclarará cuándo el texto que se muestra es un resumen proporcionado por Apple Intelligence. Animamos a los usuarios a que informen de cualquier problema que detecten al ver un resumen de notificación inesperado», añadió.

La función defectuosa de Apple fue una de las herramientas de inteligencia artificial lanzadas a los usuarios de algunos iPhones más nuevos en diciembre, incluidos los teléfonos iPhone 16, 15 Pro y 15 Pro Max, así como en algunos iPads y Mac.