애플은 인공지능 기술의 결함에 대한 엔지니어들의 경고를 무시했다

애플은 엔지니어들이 경고했던 애플 인텔리전스(Apple Intelligence)의 결함을 무시하고 해당 기술을 출시했으며, 시장에서 기대 이하의 평가를 받았다고 합니다.

아이폰 제조사 애플의 정보 부서인 애플 인텔리전스는 잘못된 이유로 언론의 헤드라인을 장식하며 광범위한 비판을 받았는데, 특히 허위 정보를 만들어내고 뉴스 헤드라인을 잘못 작성했다는 이유로 비난을 받았습니다.

엔지니어들은 애플 인텔리전스를 포함한 여러 모델에서 결함을 발견했습니다

대규모 언어 모델이 오작동하는 것은 흔한 일이며, 인공지능 업계가 아직 해결하지 못한, 어쩌면 영원히 해결하지 못할 과제이기도 하지만, 애플의 경우는 조금 달랐습니다. 엔지니어들은 모델 출시 전에 심각한 결함을 발견했지만, 애플은 이러한 경고를 무시했습니다.

에 대한 경고가 제기된 후에도 거대 기술 기업이 모델을 출시한 것은 무모한 행동이었다 defi. 이러한 경고는 연구 결과 지난해 10월 발표된

아직 동료 평가를 거치지는 않았지만, 해당 연구는 AI 업계 최고의 LLM(로봇 학습 모델)들의matic"추론" 능력을 테스트한 결과, 해당 모델들이 추론 능력이 없다는 결론을 내렸습니다.

모델을 테스트하기 위해 엔지니어들은 GSM8K 데이터셋업계 표준 벤치마크인

퓨처리즘에 따르면, 데이터 세트에서 흔히 나오는 질문은 다음과 같습니다. "제임스는 4파운드짜리 소고기 5팩을 샀습니다. 소고기 가격은 파운드당 5.50달러입니다. 제임스는 얼마를 지불했습니까?"

엔지니어들은 데이터 오염을 방지하기 위해 질문의 일부 수치를 변경하는 간단한 방법으로 AI 모델의 허점을 드러냈습니다. 이로 인해 조사 대상인 20개의 LLM에서 작지만 주목할 만한 오류가 발생했습니다.

하지만 연구자들이 한 걸음 더 나아가 이름을 바꾸고 "관련 없는 세부 사항"을 추가하자 결과는 "참담"했으며, 무려 65%에 달했습니다.

연구진은 "이는 모델이 문제 해결에 필요한 관련 정보를 식별하는 능력에 치명적인 결함이 있음을 드러낸다. 이는 모델의 추론 방식이 상식적인 의미에서 형식적이지 않고 주로 패턴 매칭에 기반하기 때문일 가능성이 높다"고 썼다

연구진에 따르면 결과는 모델마다 달랐습니다. OpenAI의 01-preview는 17.5%의 성능 저하를 보였고, 그 이전 모델인 GPT-4o는 32%의 성능 저하를 보였습니다. 연구진은 가장 "똑똑한" 모델조차도 문제를 겪고 심각한 결함을 보였다고 지적했습니다.

AI 모델은 스스로 어려움을 겪습니다 

이 테스트는 AI 모델이 문제를 해결하는 데는 뛰어난 것처럼 보일 수 있지만, 누군가의 숙제를 단어 하나하나까지 베끼지 않으면 제대로 된 결과를 내지 못한다는 사실을 입증했습니다. 애플은이러한 테스트 결과를 알고 있었음에도 불구하고 자사의 모델을 시장에 출시한 것으로 알려졌습니다.

BBC가 해당 모델이 오해의 소지가 있는 정보를 제공한다는 우려를 제기하는 등 시장의 심각한 반발이 있은 후에야 애플은 프로그램을 중단했습니다 문제를 해결할 때까지

애플의 AI 기능은 뉴스 알림을 요약해 줄 것으로 기대되었지만, 때때로 독자와 뉴스 발행인의 불만을 사면서 자체적으로 뉴스를 만들어내는 경우도 있었습니다.

잘못된 뉴스 알림 중 하나는 라파엘 나달이 동성애자라는 내용이었고, 또 다른 하나는 미국 보험회사 사장을 살해한 혐의로 기소된 남성이 자살했다는 내용이었습니다. 애플의 AI는 또한 BBC 앱 알림을 잘못 요약하여 루크 리틀러가 PDC 월드 다트 챔피언십 시작 몇 시간 전에 우승했다고 주장하기도 했습니다.

1월 6일, 뉴욕 타임스에 국회의사당 폭동 4주년 관련 기사에 대한 또 다른 잘못된 요약본이 게재된 것으로 보입니다.

애플은 BBC에 보낸 성명에서 "애플 인텔리전스 기능은 베타 버전이며 사용자 피드백을 바탕으로 지속적으로 개선하고 있습니다."라고 밝혔습니다. "향후 몇 주 안에 소프트웨어 업데이트를 통해 표시되는 텍스트가 애플 인텔리전스에서 제공하는 요약인지 여부를 더욱 명확히 할 예정입니다. 예상치 못한 알림 요약을 보게 되는 경우 문제를 신고해 주시기 바랍니다."라고 덧붙였습니다.

애플의 결함 있는 기능은 아이폰 16, 15 Pro, 15 Pro Max를 비롯한 일부 최신 아이폰과 일부 아이패드 및 맥 사용자에게 12월에 배포된 AI 도구 중 하나였습니다.