OpenAI의 최신 "추론" 모델의 기본 오류

OpenAI는 최근 "추론" AI 모델인 o1을 출시했지만, 회사의 새로운 광고에 따르면 이미 기본 오류로 가득 차 있습니다.

ChatGPT 제작사는 유료 구독자를 대상으로 지금까지 가장 진보된 모델로 간주되는 모델을 출시하며, 휴가 시즌을 기념하기 위한 일련의 출시 행사인 "12 Days of OpenAI" 이벤트를 시작했습니다.

OpenAI 데모 비디오는 모델이 오류에 취약함을 시사합니다

모델의 강점을 보여주기 위해 OpenAI가 공개한 비디오에 따르면, 사용자가 나무 새장의 이미지를 업로드한 후 유사한 새장을 만드는 방법에 대한 조언을 요청합니다. "추론" 모델은 잠시 "생각"한 후 일련의 지침을 제공하는 것으로 보입니다.

자세히 살펴보면, 해당 지침은 시간 낭비로 보입니다. 이 모델은 페인트, 접착제, 실런트 등 작업에 필요한 자재를 측정하지만, 새장 앞면의 치寸만 제공합니다.

모델은 필요하지 않은 다른 치寸으로 사포 조각을 자르라고 제안합니다. 또한 모델은 "정확한 치寸"을 제공하고 있다고 주장하지만, 이전 주장과 달리 정확한 치寸을 제공하지 않습니다.

영국의 무역 단체인 목수 협회(Institute of Carpenters)의 디렉터인 James Filus도 모델의 오류를 폭로했는데, 예를 들어 망치와 같이 필요하지만 o1의 목록에 누락된 도구들이 있습니다.

"새장 만드는 것에 대해 이미지에서 얻는 지식과 텍스트에서 얻는 지식이 동일할 것입니다. 이는 AI 도구의 전체적인 목적을 무색하게 만듭니다."

Filus.

또한 Filus는 동일한 새장을 만드는 데 드는 비용이 모델이 추정했던 20~50달러와는 "전혀 다르다"고 밝혔습니다.

OpenAI 모델은 의도된 용도와 정반대의 행동을 합니다

o1 사례는 의도된 목적과 정반대의 행동을 하는 AI 모델의 제품 데모 사례에 추가됩니다. 2023년, Google의 광고에서 AI 지원 검색 도구가 제임스 웹 망원경이 발견하지 않은 것을 발견했다고 잘못 표시했으며, 이로 인해 회사의 주가가 하락했습니다.

이것은 검색 엔진 거대 기업의 모든 것이 아니었습니다. 최근 유사한 Google 도구의 업데이트 버전은 사용자에게 바위를 먹는 것이 안전하다고 알렸습니다. 또한 사용자가 풀을 사용하여 치즈를 피자에 붙일 수 있다고 주장했습니다.

실수에도 불구하고, 공개 벤치마크에 따르면 o1 모델은 여전히 OpenAI의 가장 능력이 뛰어난 모델입니다. 또한 질문을 답변할 때 ChatGPT와 다른 접근 방식을 취합니다.

Time에 따르면, o1은 인터넷과 그 너머의 수십억 단어의 텍스트를 기계 학습을 사용하여 훈련되었기 때문에 여전히 매우 진보된 다음 단어 예측기입니다.

이 모델은 "사슬 사고(chain of thought)" 추론이라는 기술을 사용하여 배경에서 잠시 "생각"한 후 답변을 제공합니다. 이는 프롬프트에 응답하여 단순히 단어를 출력하는 것과 다릅니다.

이것은 모델이 사용자 쿼리에 응답하여 단순히 단어를 뱉어내는 경우와 비교하여 더 정확한 응답을 제공할 수 있게 합니다.