ChatGPT의 기초 수학 능력 부족을 드러낸 연구

사진 2023 08 06 23 22 19
- AI 모델의 '드리프트(Drift)' 현상은 기능 향상이 다른 기능 저하를 초래하며 의도치 않은 결과를 야기하는 도전을 안겨줍니다.
- ChatGPT의 기본 수학 및 기타 작업 수행 능력 저하는 AI 모델의 지속적인 발전이 얼마나 복잡한지를 보여줍니다.
- 시간이 지남에 따라 진화하는 AI 시스템을 이해하고 개선하기 위해서는 경계심과 엄격한 모니터링이 필수적입니다.
빠르게 진화하는 기술 세계에서 인공지능(AI) 챗봇은 중요한 돌파구로 부상했습니다. 그중 오픈AI의 ChatGPT는 지난해 공개된 이후로 주목을 받아 왔습니다. 유창한 대화를 구사할 수 있는 능력으로 찬사를 받으며, 더욱 고급화된 AI 모델 개발을 위한 치열한 글로벌 경쟁을 촉발했습니다. 그러나 AI의 잠재적 지배력에 대한 박수와 우려 속에서도, 최근 발견들은 예상치 못한 사실을 드러냈습니다. 즉, ChatGPT의 기초 수학 능력이 저하되고 있다는 것입니다.
AI ‘드리프트(Drift)’ 현상 이해하기
AI에서의 ‘드리프트’라는 용어는 단순한 유행어가 아닙니다. 이는 학술 커뮤니티의 주목을 받은 실제 관찰된 현상입니다. 스탠퍼드 대학교와 캘리포니아 대학교 버클리 캠퍼스의 공동 연구 노력은 이 흥미로운 AI 행동의 측면을 밝히는 데 기여했습니다.
'드리프트'의 본질은 모델 최적화의 의도치 않은 결과에 있습니다. 연구원들과 개발자들이 이러한 복잡한 AI 모델의 특정 기능을 향상시키려 노력하는 동안, 다른 영역은 우연히 피해를 입을 수 있습니다. 이것이 바로 ChatGPT에서 일어나고 있는 일입니다.
스탠퍼드의 저명한 교수이자 연구의 핵심 기여자인 제임스 조는 다음과 같이 설명했습니다. “모델을 특정 방향으로 개선하기 위해 조정하면, 다른 영역에서 퇴보할 현저한 위험이 있습니다.” 이러한 내재적인 과제는 AI 모델에서 일관된 진전을 달성하는 복잡성을 강조합니다.
하락의 심층 분석
이 연구는 ChatGPT의 능력을 피상적으로 살펴본 것이 아닙니다. 이는 스탠퍼드의 성실한 컴퓨터과학 박사과정 학생인 링자오 첸과 버클리의 저명한 인물인 마테이 자하리아가 주도한 철저한 분석이었습니다. 그들의 목표는 명확했습니다. 두 가지 서로 다른 버전의 ChatGPT가 기간 동안 어떻게 수행했는지 평가하는 것이었습니다.
그들의 발견은 놀라웠습니다. 컴퓨터에게 비교적 간단한 작업인 소수 판별은 이러한 고급 AI에게 쉬울 것이라고 생각하기 쉽습니다. 그러나 결과는 다른 이야기를 들려주었습니다.
3월에 실시된 테스트에서 ChatGPT의 프리미엄 버전인 GPT-4는 1,000개의 서로 다른 숫자를 제시받았습니다. 이 중 84%의 소수 판별을 정확하게 수행했습니다. 6월로 넘어가자 정확도는 단 51%로 급락했습니다. 이는 고립된 사건이 아니었습니다. 8가지 다양한 작업 중 GPT-4의 성능은 6가지에서 저하되었습니다. GPT-3.5는 6가지 영역에서 개선되었지만, 주로 후속 버전인 GPT-4에 뒤처졌습니다.
급속한 드리프트의 함의
‘드리프트’는 AI 애호가들 사이에서 인정된 개념이지만, ChatGPT에서 그것이 나타난 속도는 예상치 않았습니다. 연구팀의 관찰은 수학 작업을 넘어섰습니다. 그들은 GPT-4의 의견 중심 쿼리에 대한 응답률이 눈에 띄게 감소했음을 지적했습니다. 3월의 칭찬할 만한 98%의 응답률에서 6월에는 23%로 줄었습니다.
이러한 퇴보는 급성장하는 ‘프롬프트 엔지니어링’ 트렌드와 관련이 있을 수 있습니다. 이는 사용자가 특정, 때로는 논쟁적인 AI 응답을 추출하기 위해 구체적인 프롬프트를 작성하는 것을 의미합니다. ChatGPT의 수학 능력 저하는 이러한 조작적 프롬프트에 대응하기 위해 취해진 조치의 우발적 결과일 수 있습니다.
AI의 미래 탐색
이러한 장애물에도 불구하고, 특히 연구 커뮤니티 내에서는 기술을 폐기해야 한다는 합의는 없습니다. 대신 강조점은 경각심에 있습니다. 조는 더 엄격한 모니터링 접근 방식을 강력히 주장합니다. 그의 견해에 공감하여 스탠퍼드와 버클리의 공동 팀은 ChatGPT를 포함한 AI 모델들을 일련의 테스트에 부칠 준비를 하고 있습니다. 그들의 목표는 무엇일까요? 시간 경과에 따른 그들의 진화를 경험적으로 평가하는 것입니다.
AI의 진화 경로는 선형적이지 않습니다. 이는 전진, 때때인 실수, 그리고 예상치 못한 우회로로 특징지어지는 역동적인 여정입니다. 전 세계 커뮤니티가 AI의 복잡한 미로를 계속 탐색하는 가운데, 한 가지 분명한 것은 이러한 시스템을 이해하고 정제하는 여정이 아직 끝나지 않았다는 것입니다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 한 투자에 대해 당사는 어떠한 책임도 지지 않습니다. 어떤 투자 결정을 내리기 전에 독립적인 조사 및/또는 자격을 갖춘 전문가와의 상담을 강력히 권장합니다.

존 팰머
John Murangiri는 시장 분석 기술을 갖춘 채 Cryptopolitan에 합류했습니다. John(별명 JP)은 나이로비 대학교에서 대중 매체 및 미디어 연구 학사 학위를 취득했으며, 이전에는 InsideBitcoins.com과 Metacoingraph에 암호화폐 시장 인사이트를 기여한 바 있습니다.















