Компания Apple проигнорировала предупреждения инженеров о неисправностях в технологиях искусственного интеллекта

По сообщениям, компания Apple проигнорировала предупреждения инженеров о недостатках своей технологии Apple Intelligence и выпустила её, получив не слишком положительные отзывы рынка.

Разработанная производителем iPhone система Apple Intelligence попала в заголовки новостей по негативным причинам и вызвала широкую критику, особенно за распространение ложной информации и некорректные заголовки.

Инженеры обнаружили неисправности во многих моделях, включая Apple Intelligence

Хотя для больших языковых моделей характерно давать галлюцинации — проблема, которую индустрия ИИ еще не решила, если вообще когда-либо решит, — случай Apple был несколько иным. Инженеры выявили ряд серьезных недостатков в модели еще до ее выпуска. Тем не менее, компания проигнорировала эти предупреждения.

По мнению аналитиков, выпуск модели был безрассудным шагом со стороны технологического гиганта после того, как прозвучали предупреждения о серьезных defi. Эти предупреждения содержались в исследовании, опубликованном в октябре прошлого года.

Хотя исследование еще не прошло рецензирование, в нем также сделан вывод о том, что модели не способны рассуждать, после проверкиmatic«рассуждения» некоторых ведущих специалистов в области искусственного интеллекта.

Для проверки моделей инженеры заставили их решить тысячи математических задач из широко используемого набора данных GSM8K, который является отраслевым эталоном.

Согласно данным Futurism, типичный вопрос из набора данных звучит так: «Джеймс покупает 5 упаковок говядины по 4 фунта каждая. Цена говядины составляет 5,50 долларов за фунт. Сколько он заплатил?»

Инженеры выявили недостатки в моделях ИИ, просто изменив некоторые числа в вопросах, чтобы избежать искажения данных. Это привело к небольшим, но заметным неточностям в 20 исследованных программах магистратуры.

Однако, когда исследователи пошли еще дальше, изменив названия и добавив некоторые «несущественные детали», результаты оказались «катастрофическими», достигнув 65%.

Исследователи написали: «Это выявляет критический недостаток в способности моделей различать релевантную информацию для решения проблем, вероятно, потому что их рассуждения не являются формальными в общепринятом смысле и в основном основаны на сопоставлении образов»

По словам исследователей, результаты различались для каждой модели. Модель 01-preview от OpenAI показала снижение на 17,5%, а её предшественница GPT-4o — на 32%. Исследователи отметили, что даже самые «умные» модели сталкивались с проблемами и демонстрировали серьёзные недостатки.

Модели искусственного интеллекта испытывают трудности в одиночку 

Тесты также доказали, что модели ИИ могут казаться умными в решении задач, но как только они перестают копировать чью-то домашнюю работу слово в слово, у них возникают проблемы. Что касается Apple, то, по сообщениям, технологический гигант знал о результатах тестов, но всё же выпустил свою модель на рынок.

Потребовалась серьезная негативная реакция рынка, включая опасения BBC по поводу того, что модель распространяет вводящую в заблуждение информацию, чтобы Apple в конечном итоге приостановила программу до тех пор, пока не сможет ее исправить.

Ожидалось, что функция искусственного интеллекта от Apple будет обобщать новостные уведомления, но иногда она сама фабриковала новости, что вызывало недовольство читателей и новостных издателей.

В одном из неточных новостных сообщений утверждалось, что Рафаэль Надаль — гей, а мужчина, обвиняемый в убийстве американского страхового магната, покончил с собой. Искусственный интеллект Apple также неверно интерпретировал уведомления приложения BBC, заявив, что Люк Литтлер выиграл чемпионат мира по дартсу PDC за несколько часов до его начала.

Очередное неверное изложение статьи New York Times, по всей видимости, было опубликовано 6 января и касалось четвертой годовщины беспорядков на Капитолийском холме.

«Функции Apple Intelligence находятся в стадии бета-тестирования, и мы постоянно вносим улучшения, опираясь на отзывы пользователей», — говорится в заявлении Apple для BBC. «Обновление программного обеспечения в ближайшие недели позволит более четко определить, когда отображаемый текст является сводкой, предоставленной Apple Intelligence. Мы призываем пользователей сообщать о проблемах, если они видят неожиданную сводку уведомлений», — добавлено.

Ошибкой оказалась одна из функций искусственного интеллекта, выпущенных для пользователей некоторых новых моделей iPhone в декабре, включая iPhone 16, 15 Pro и 15 Pro Max, а также некоторые iPad и Mac.