애플은 결함이 있는 AI 기술에 대한 엔지니어들의 경고를 무시했습니다

애플은 결함이 있는 Apple Intelligence에 대한 엔지니어들의 경고를 무시한 채 해당 기술을 출시했으며, 저조한 시장 평가를 받았습니다.

아이폰 제조사의 Apple Intelligence는 잘못된 이유로 화제가 되었고, 특히 거짓 정보를 만들어내고 뉴스 헤드라인을 망친 것에 대해 광범위한 비판을 받았습니다.

엔지니어들은 Apple Intelligence를 포함한 많은 모델에서 결함을 발견했습니다

대규모 언어 모델이 환각을 일으키는 것은 일반적이지만, 이는 AI 산업이 아직 해결하지 못한(아마도 영원히 해결하지 못할) 과제입니다. 애플의 경우는 조금 달랐습니다. 엔지니어들은 모델이 출시되기 전에 몇 가지 심각한 결함을 지적했습니다. 그러나 회사는 경고를 무시했습니다.

분석가들에 따르면, 기술 거대가 AI의 심각한 결함에 대한 경고가 있었음에도 불구하고 모델을 출시하는 것은 무모한 행동이었습니다. 이 경고는 작년 10월 발표된 연구를 통해 이루어졌습니다.

아직 동료 검토를 거치지 않았지만, 이 연구는 또한 AI 산업의 일부 최상위 LLM의 수학 “추론”을 테스트한 후 모델이 추론하지 않는다는 결론도 내렸습니다.

모델을 테스트하기 위해 엔지니어들은 널리 사용되는 GSM8K 데이터셋의 수천 가지 수학 문제를 해결하도록 했습니다. 이는 업계의 벤치마크입니다.

퓨러리즘에 따르면, 데이터셋의 일반적인 질문은 다음과 같습니다: “제임스는 4파운드씩 5팩의 소고기를 삽니다. 소고기의 파운당 가격은 5.50달러입니다. 그는 얼마를 지불했습니까?”

엔지니어들은 데이터 오염을 피하기 위해 질문의 일부 숫자를 변경함으로써 AI 모델의 격차를 드러냈습니다. 이는 조사된 20개의 LLM에서 작지만 주목할 만한 부정확성을 초래했습니다.

그러나 연구자들이 이름을 변경하고 일부 “관련 없는 세부 사항”을 추가하는 한 걸음 더 나아가자, 결과는 “재앙적”이었으며 최대 65%에 달했습니다.

연구자들은 “이것은 모델이 문제 해결에 필요한 관련 정보를 식별하는 능력에 치명적인 결함이 있음을 보여줍니다. 이는 그들의 추론이 일반적인 의미에서 형식적이지 않고 주로 패턴 매칭에 기반하기 때문일 가능성이 높습니다.”라고 썼습니다.

연구진에 따르면 결과는 모델마다 달랐습니다. OpenAI의 01-preview는 17.5% 하락했고, 전신인 GPT-4o는 32% 하락했습니다. 연구진은 “가장 똑똑한” 모델조차 문제를 겪고 심각한 결함을 보였다고 지적했습니다.

AI 모델은 혼자서 어려움을 겪습니다 

테스트는 또한 AI 모델이 문제를 해결하는 데 똑똑해 보일 수 있지만, 누군가의 숙제를 그대로 복사하지 않으면 어려움을 겪는다는 것을 증명했습니다. 애플의 경우, 이 기술 거대가 테스트 결과를 알고 있었음에도 불구하고 모델을 시장에 출시한 것으로 보고되었습니다.

시장의 강력한 반발, 특히 BBC가 모델이 오해의 소지가 있는 정보를 제공한다는 우려를 제기한 후, 애플은 결국 프로그램을 중단하여 수정할 때까지 기다렸습니다.

애플의 AI 기능은 뉴스 알림을 요약하는 것으로 예상되었지만, 때때로 독자들과 뉴스 출판사의 불만을 샀던 대로 자체적으로 뉴스를 fabrication했습니다.

부정확한 뉴스 알림 중 하나는 라파엘 나달이 동성애자라고 주장했고, 미국 보험 사장을 살해한 혐의로 기소된 남성이 자살했다고 밝혔습니다. 애플의 AI는 BBC 앱 알림을 부정확하게 요약하여 루크 리틀러가 PDC 월드 다트스 선수권 대회 시작 몇 시간 전에 우승했다고 주장하기도 했습니다.

뉴욕 타임즈의 이야기와 관련된 또 다른 잘못된 요약본이 1월 6일, 의회 폭동 4주년을 맞아 게시된 것으로 보입니다.

“Apple Intelligence 기능은 베타 버전이며 사용자 피드백을 통해 지속적으로 개선하고 있습니다,”라고 애플은 BBC에 성명을 통해 말했습니다. “앞으로 몇 주 내에 소프트웨어 업데이트를 통해 Apple Intelligence가 제공하는 요약본이 표시되는 시기를 더 명확히 할 것입니다. 예기치 않은 알림 요약을 보시면 우려 사항을 보고해 주시기 바랍니다,”라고 성명은 덧붙였습니다.

애플의 결함이 있는 기능은 12월에 일부 최신 아이폰 사용자(아이폰 16, 15 Pro, 15 Pro Max 포함)와 일부 아이패드 및 맥 사용자에게 출시된 AI 도구 중 하나였습니다.