Apple проигнорировала предупреждения инженеров о неисправной ИИ-технологии

По сообщениям, Apple проигнорировала предупреждения инженеров о неисправной Apple Intelligence и все же выпустила технологию, получив прохладные отзывы рынка.

Apple Intelligence от производителя iPhone привлекла внимание по неправильным причинам и вызвала широкую критику, особенно за выдумывание ложной информации и искажение заголовков новостей.

Инженеры обнаружили недостатки во многих моделях, включая Apple Intelligence

Хотя галлюцинации (выдумывание фактов) характерны для больших языковых моделей — проблема, которую индустрия ИИ еще не решила и, возможно, никогда не решит, — случай Apple был немного другим. Инженеры отметили серьезные недостатки модели еще до ее выпуска. Тем не менее компания проигнорировала предупреждения.

По мнению аналитиков, переход к выпуску модели был безрассудным со стороны технологического гиганта после того, как были озвучены предупреждения о серьезных недостатках его ИИ. Предупреждения прозвучали в исследовании, опубликованном в октябре прошлого года.

Хотя исследование еще не прошло рецензирование, оно также пришло к выводу, что модели не умеют рассуждать, после тестирования математического «рассуждения» некоторых из лучших LLM в индустрии ИИ.

Для тестирования моделей инженеры заставили их решать тысячи математических задач из широко используемого датасета GSM8K, который является отраслевым стандартом.

Согласно Futurism, типичный вопрос из датасета звучит так: «Джеймс покупает 5 упаковок говядины по 4 фунта каждая. Цена говядины составляет $5,50 за фунт. Сколько он заплатил?»

Инженеры выявили пробелы в моделях ИИ, просто изменив некоторые числа в вопросах, чтобы избежать загрязнения данных. Это привело к некоторым небольшим, но заметным неточностям в 20 исследованных LLM.

Однако, когда исследователи пошли дальше, изменив имена и добавив некоторые «нерелевантные детали», результаты оказались «катастрофическими», достигая 65%.

Исследователи написали: «Это выявляет критический недостаток в способности моделей различать релевантную информацию для решения проблем, вероятно, потому что их рассуждения не являются формальными в общепринятом смысле и в основном основаны на сопоставлении шаблонов».

Согласно исследователям, результаты различались для каждой модели. OpenAI 01-preview упала на 17,5%, а ее предшественница GPT-4o упала на 32%. Исследователи отметили, что даже самые «умные» модели столкнулись с проблемами и проявили серьезные недостатки.

Модели ИИ испытывают трудности при самостоятельной работе 

Тесты также показали, что модели ИИ могут казаться умными при решении задач, но как только они перестают дословно копировать чужие домашние задания, у них возникают трудности. Что касается Apple, то технологический гигант, по сообщениям, знал о результатах тестов, но все же выпустил свою модель на рынок.

Потребовалась серьезная негативная реакция со стороны рынка, включая обеспокоенность BBC по поводу того, что модель выдает вводящую в заблуждение информацию, чтобы Apple в конечном итоге приостановила программу, пока она не сможет ее исправить.

Функция ИИ Apple должна была суммировать новостные уведомления, но иногда она самостоятельно выдумывала новости, к большому неудовольствию читателей и издателей новостей.

Одно из неточных новостных уведомлений утверждало, что Рафаэль Надаль гей, а мужчина, обвиняемый в убийстве босса страховой компании в США, застрелился. ИИ Apple также неточно суммировал уведомления приложения BBC, утверждая, что Люк Литтлер выиграл чемпионат мира по дартсу PDC за несколько часов до его начала.

Другое неверное резюме статьи New York Times, по-видимому, было опубликовано 6 января и касалось четвертой годовщины беспорядков на Капитолийском холме.

«Функции Apple Intelligence находятся в бета-версии, и мы постоянно вносим улучшения с помощью обратной связи от пользователей», — сказала Apple в заявлении для BBC. «Обновление программного обеспечения в ближайшие недели дополнительно прояснит, когда отображаемый текст является сводкой, предоставленной Apple Intelligence. Мы призываем пользователей сообщать о проблемах, если они видят неожиданные сводки уведомлений», — добавила Apple.

Неисправная функция Apple была одним из ИИ-инструментов, выпущенных для пользователей некоторых новых iPhone в декабре, включая iPhone 16, 15 Pro и 15 Pro Max, а также на некоторых iPad и Mac.