OpenAI 사용자들이 취약점을dent. OpenAI가 최초의 "추론" AI 모델인 o1을 공개한 직후 이상한 동작이 관찰되었습니다. 영어로 질문을 입력했을 때, 모델이 때때로 중국어나 페르시아어와 같은 영어 이외의 언어로 "생각"하기 시작하는 현상이 나타났습니다.
한 사용자는 "[O1]이 갑자기 중간쯤에 중국어로 생각하기 시작했어요." X 플랫폼의 전혀 다른 사용자는 "[O1]이 왜 갑자기 중국어로 생각하기 시작했을까요?" 라고 질문했습니다.
o1 pro가 갑자기 중국어로 생각하기 시작한 이유는 무엇일까요? 대화 내용(5개 이상의 메시지) 중 중국어로 된 부분은 전혀 없었는데… 정말 흥미롭네요… 학습 데이터의 영향일까요? pic.twitter.com/yZWCzoaiit
— 리샤브 자인(@RishabJainK) 2025년 1월 9일
관찰 결과에 따르면, o1은 해결해야 할 문제가 주어지면 일련의 추론 단계를 거쳐 답을 도출하는 "사고" 과정을 시작합니다. 질문이 영어로 작성되었다면 o1의 최종 답변은 영어로 나옵니다.
하지만 해당 모델은 결론을 도출하기 전에 다른 언어로 특정 절차를 수행할 것입니다.
특히, OpenAI는 o1의 특이한 동작에 대한 설명을 제공하지 않았을 뿐더러, 심지어 이를 인정조차 하지 않았습니다. 그렇다면 이러한 현상의 원인은 무엇일까요?
다음은 인공지능 전문가들의 몇 가지 이론입니다.
Hugging Face의 CEO인 Clément Delangue는 X에서 o1과 같은 추론 모델은 중국어 문자가 많이 포함된 데이터 세트로 학습된다고 언급했습니다
또한 구글 딥마인드의 연구원인 테드 샤오에 따르면, 오픈AI와 같은 조직들은 제3자 중국 데이터 라벨링 서비스를 이용하고 있으며, 중국어로의 전환은 "추론에 대한 중국어의 언어적 영향"의 한 예라고 합니다
테드 샤오는 X 포스트에서 " OpenAI 와 Anthropic 같은 AGI 연구소들은 과학, 수학, 코딩 분야의 박사급 추론 데이터에 필요한 제3자 데이터 라벨링 서비스를 이용합니다. 전문가 인력 확보와 비용 문제 때문에 이러한 데이터 제공업체들은 대부분 중국에 기반을 두고 있습니다."라고 썼습니다.
훈련 과정에서 레이블(dent또는 주석이라고도 함)은 모델이 데이터를 이해하고 해석하는 데 도움을 주는 것으로 보입니다.
예를 들어, 이미지 인식 모델을 학습하는 데 사용되는 레이블은 이미지에 묘사된 각 사람, 장소 또는 사물을 나타내는 설명이나 사물을 둘러싼 표시로 구성될 수 있습니다.
또한, 연구에 따르면 편향된 분류는 편향된 모델로 이어질 수 있습니다. 예를 들어, 일반적인 주석 작성자는 아프리카계 미국인 구어체 영어(AAVE) 구문에 레이블을 지정하는 경향이 더 강합니다.
이는 일부 흑인 미국인들이 사용하는 비공식적인 문법으로, 유해한 것으로 알려져 있습니다. 그 결과, 이러한 레이블을 기반으로 훈련된 AI 유해성 탐지기는 AAVE 지나치게 유해한 것으로 인식합니다.
하지만 o1 중국어 데이터 라벨링 이론은 다른 전문가들에게는 받아들여지지 않고 있습니다. 그들은 해결책을 모색하는 과정에서 o1이 힌디어, 태국어 또는 중국어 이외의 다른 언어로 전환될 가능성도 있다고 강조합니다.
오히려 이러한 전문가들은 o1 및 기타 추론 모델이 목표를 달성하기 위해 가장 효율적인 언어를 사용하고 있을 가능성이 있다고 주장합니다.
이와 관련하여 AI 연구원인 매튜 구즈디알은 "모델은 언어가 무엇인지, 언어들이 서로 다르다는 것을 알지 못한다"고 말했습니다. 이는 라벨링과 유사한 토큰 방식이 편향을 유발할 가능성이 있기 때문입니다.
특히, 여러 단어-토큰 번역기들은 문장 내 공백을 새로운 단어로 간주합니다. 하지만 모든 언어가 단어를 구분하기 위해 공백을 사용하는 것은 아닙니다.
하지만 비영리 단체인 앨런 인공지능 연구소의 연구원 루카 솔다이니는 이를 확실하게 판단하는 것은 불가능하다고 강조했습니다. 그는 "이러한 유형의 관찰은 모델의 불투명한 특성 때문에 실제 배포된 AI 시스템에 대한 검증이 불가능합니다. 이는 AI 시스템 구축에 있어 투명성의 중요성을 보여주는 수많은 사례 중 하나입니다."라고 말했습니다.
OpenAI 문제
2024년은 오픈AI에게 그야말로 롤러코스터 같은 한 해였습니다. 회사와 CEO인 샘 알트만은 일론 머스크에게 소송을 당하며 한 해를 시작했습니다. 머스크는 오픈AI가 설립 당시의 비영리 목적에서 벗어나 공익보다 이윤을 우선시했다고 주장했습니다.
지난해 뉴욕 데일리 뉴스, 시카고 트리뷴, 덴버 포스트를 포함한 미국의 8개 신문사가 오픈AI와 마이크로소프트를 상대로 소송을 제기했습니다. 이들은 오픈AI가 수백만 건의 저작권이 있는 출판물을 허가나 대가 없이 AI 챗봇 학습에 사용했다고 주장하며, 해당 기술이 자신들의 지적 재산권을 침해했다고 비난했습니다.
또한, 오픈AI의 최고기술책임자(CTO)인 미라 무라티가 사임을 발표했습니다. 그녀의 기술적 역량이 회사의 발전에 매우 중요했기 때문에 이 시기는 매우 중요한 의미를 지녔습니다.
게다가 OpenAI는 ChatGPT를 사용하면서 간헐적인 서비스 중단, 챗봇의 부정확하거나 무의미한 응답을 초래하는 오류, 사용자 개인정보 보호 문제 등 여러 어려움을 겪었습니다. 또한 AI가 편향적이거나 불쾌한 콘텐츠를 생성하는 사례도 있었습니다.
