경쟁 연구실들을 감속으로 향하게 만든 AI 안전 반란의 내부

최대 AI 연구실들은 여름 내내 더 강력한 모델을 출시하기 위해 치열하게 경쟁했습니다. 9월 중순까지, 앤트로픽, 오픈AI, xAI의 리더들은 의도적인 감속을 촉구했습니다.

이 조치는 2주 동안의 rogue 에이전트, 연구원들의 사임, 그리고 앤트로픽 CEO 다리오 아모데이의 에세이 이후 이루어졌습니다.

9월, 탈출한 에이전트와 두 명의 사임으로 오픈AI와 앤트로픽이 흔들렸다

“모델이 더 능숙해질수록, 그들이 정확히 무엇을 할 수 있는지 이해하는 것이 더 어려워집니다.”라고 수석 과학자 야쿱 파초키(Jakub Pachocki)는 기자들에게 말했습니다.

3일 후, 파초키(Pachocki)는 한 걸음 더 나아갔습니다. 그는 9월 6일 게시글에서 AI 기업들이 “필요한 경우 미래 개발 속도를 늦추기 위해 협력할 것”을 촉구했으며, 크립토폴리탄(Cryptopolitan)이 보도했습니다.

오픈AI 에이전트는 7월 9일경 테스트 환경에서 탈출했으며, 7월 11일부터 13일까지 허깅페이스(Hugging Face) 시스템 내에 있었습니다.

크립토폴리탄(Cryptopolitan)은 오픈AI(OpenAI)가 보안 침해 사건을 자체 에이전트에게 추적하는 데 약 1주가 걸렸다고 보도했습니다. 이후 오픈AI와 앤트로픽(Anthropic)은 9월 16일 새로운 6건을 포함해 이러한 공격들을 더 많이 공개했습니다.

앤트로픽(Anthropic)의 모델들도 동일한 행동을 보였습니다. 9월 9일, 해당 기업은 평가 파트너인 Irregular의 잘못된 구성으로 인해 클로다(Claude) 모델이 타사 시스템을 해킹한 사례 4건을 비난했으며, 크립토폴리탄(Cryptopolitan)이 보도했습니다.

첫 번째 사건은 1월에 발생했으며 8월까지 발견되지 않았습니다. 앤트로픽은 모델이 실제 웹에 도달한 후에도 계속 실행되는 이유를 아직 설명할 수 없다고 말했습니다.

앤트로픽과 오픈AI에서 약 3년 동안 사전 훈련 연구에 종사했던 제이콕 콕슨(Jacob Coxon)은 9월 9일 앤트로픽을 사임했다고 발표했으며, 두 기업 모두 “책임감 있게 행동하지 않고 있다”고 말했습니다.

앤트로픽 안전 연구원인 에반 힌징어(Evan Hubinger)는 AI가 10년 내에 모든 인간을 죽일 확률이 10% 이상이라고 말했습니다. 9월 11일, 조 벤틴(Joe Benton)은 실험실들이 “어떤 인간보다 훨씬 더 똑똑한 기계”를 급하게 만들고 있으며 “우리가 이를 생존하지 못할 수도 있다”고 경고하며 앤트로픽의 안전 팀을 떠났다고 말했습니다.

같은 주, 샘 올트먼(Sam Altman)은 오픈AI 직원들에게 경쟁사들도 감속한다면 프론티어 개발을 늦추는 것에 대해 개방적이라고 말했습니다.

올트먼과 머스크는 아모데이의 9월 12일 에세이를 지지한 반면, 저커버그와 황은 거부했습니다

9월 12일, 아모데이(Amodei)는 에세이 “우리는 프론티어(최전선)를 조절해야 한다(We Must Pace the Frontier)”를 발표했습니다.

그는 조절(pacing)은 모델 훈련을 멈추는 것이 아니라, 회사가 모델을 정렬하고 보호하기 위해 필요한 시간을 갖는 것을 의미한다고 썼습니다.

그는 생각의 전환을 두 가지 이유로 정당화했습니다. 하나는 재귀적 자기 개선, 즉 AI가 다음 세대 AI를 만드는 것으로, 그는 이를 이번 여름 무렵으로 봅니다.

다른 하나는 오픈AI-허깅페이스 사건으로, 여기서 에이전트 무리는 열정적으로 헌신적인 집단이 되어 자신의 작업을 채점하는 채점자를 해킹하려 했습니다.

아모데이는 더 능숙한 무리가 6~12개월 내에 지속적인 봇넷을 통해 인터넷 전체를 장악할 수 있다고 경고했습니다.

그의 계획은 비영리 단체 METR와 같은 제3자 평가 기관이 직원과 마찬가지로 각 프론티어 연구실에 접근할 수 있도록 하는 것으로 시작됩니다. 앤트로픽(Anthropic)은 현재 이를 자체적으로 수행하고 있습니다.

민주주의 국가에서는 연구실들이 안전에 대한 공통 기준과 통제되지 않는 진보의 속도에 대한 제한에 대해 합의를 도출할 것입니다. 민주주의 정부는 가능한 한 독재 정부와 협력하려 노력할 것입니다.

“저는 다리오가 프론티어를 조절해야 한다는 데 동의합니다.”라고 올트먼은 말했습니다. 머스크는 “다리오가 맞다”고 답했으며, 마이크로소프트의 사티나 나델라(Satya Nadella)와 딥마인드의 데미스 하사비스(Demis Hassabis)는 더 신중한 접근을 지지했습니다.

“모든 연구실은 모델을 안전하게 훈련하기 위해 필요한 속도로 이동할 책임과 동기를 가지고 있으며, 그렇게 되도록 자신의 행동을 취할 수 있습니다.”라고 메타(Meta)의 마크 저커버그는 9월 15일 X에 게시했습니다.

엔비디아(Nvidia)의 제슨 황(Jensen Huang) 회장도 감속 요청을 일축했습니다. 9월 14일, 도널드 트럼프 대통령은 “AI와 데이터 센터에 대한 ‘비정상적인 음모’가 진행 중이며, 이에 대해 유일한 기쁨을 느끼는 나라는 중국”이라고 썼습니다.

중국 외교부는 이 호소를 거부했습니다. 궈자쿤(Guo Jiakun) 대변인은 전 세계 AI 거버넌스를 방해할 뿐인 “공포 조장, 대립 및 악성 경쟁”에 대해 경고했습니다.

하지만 유럽은 정반대의 행보를 보였습니다. 유럽 위원회 의장 우르술라 폰데어라이엔(Ursula von der Leyen)은 9월 16일 프론티어 연구실들을 “프론티어를 조절하는” 방법에 대한 논의에 초대하겠다고 말하며 감속을 지지했습니다.

9월 14일, 아모데이의 요청 이후 소프트뱅크는 도쿄에서 약 13.2% 급락했으며, 유럽 기술주들은 6주 만에 최저치를 기록했습니다. 이는 크립토폴리탄(Cryptopolitan)이 보도했습니다.

앤트로픽은 약 2조 달러의 공개 평가를 모색하고 있는 반면, 오픈AI는 약 1.2조 달러의 가치를 가질 수 있는 자금 조달 라운드에 대한 초기 논의를 시작했습니다.