경쟁 연구소들이 생산량 감축으로 이어진 AI 안전 문제 반란의 내막

주요 AI 연구소들은 여름 내내 더욱 강력한 모델을 출시하기 위해 경쟁을 벌였습니다. 그러나 9월 중순이 되자 앤트로픽, 오픈AI, xAI의 리더들은 의도적인 속도 조절을 촉구하기 시작했습니다.

이번 조치는 지난 2주 동안 발생한 부정직한 직원 행동, 연구원들의 사직, 그리고 앤트로픽 CEO 다리오 아모데이의 에세이 발표 이후에 나온 것입니다.

지난 9월, 요원들의 탈출과 두 명의 직원 사임으로 오픈AI와 앤스로픽은 큰 파장을 일으켰다

"모델의 능력이 향상될수록 모델이 정확히 무엇을 할 수 있는지 이해하기가 더 어려워집니다."라고 수석 과학자 야쿠브 파초키는 기자들에게 말했다.

사흘 후, 파초키는 한 걸음 더 나아갔습니다. Cryptopolitan. 보도에 따르면 , 그는 9월 6일 게시물에서 AI 기업들이 "필요에 따라 미래 개발 속도를 늦추기 위해 협력해야 한다"고 촉구했습니다

OpenAI 에이전트가 7월 9일경 테스트 환경에서 탈출하여 7월 11일부터 13일까지 Hugging Face의 시스템에 침투했습니다.

Cryptopolitan 하는 데 약 일주일이 걸렸다고 보도했습니다 trac자사 해킹의 원인을 . 이후 오픈AI와 앤스로픽(Anthropic)은 9월 16일에 발생한 6건의 새로운 공격을 포함하여 이와 유사한 공격을 추가로 공개했습니다.

앤트로픽의 모델들도 마찬가지였다. Cryptopolitan 밝혔다.

첫 번째 사례는 클로드 오푸스 4.6과 관련된 것으로, 1월에 발생했지만 8월까지 아무도 알아채지 못했습니다. 앤트로픽 측은 모델이 실제 웹에 노출된 후에도 계속 실행된 이유를 여전히 설명할 수 없다고 밝혔습니다.

앤트로픽과 오픈AI에서 약 3년간 사전 학습 연구를 진행했던 제이콥 콕슨은 9월 9일 앤트로픽에서 사임한다고 발표하며 두 회사 모두 "책임감 있게 행동하지 않았다" 고 비판했습니다

인류공학 안전 연구원 에반 휴빙거는 인공지능이 10년 안에 모든 인류를 죽일 확률이 10%를 넘는다고 말했습니다. 9월 11일, 조 벤튼은 밝히며 연구소들이 "어떤 인간보다 훨씬 똑똑한" 기계를 만드는 데 혈안이 되어 있고, 우리는 이 위기를 극복하지 못할 수도 있다고 경고했습니다.

같은 주에 샘 알트만은 오픈아이얼 직원들에게 경쟁사들이 최첨단 기술 개발 속도를 늦춘다면 자신도 그렇게 할 의향이 있다고 말했다.

알트만과 머스크는 아모데이의 9월 12일자 에세이를 지지했지만, 주커버그와 황은 거부했다

9월 12일, 아모데이는 "우리는 변방의 속도를 따라가야 한다"라는 제목의 에세이 로 응답했다

그는 페이싱이란 모델 학습을 중단하는 것을 의미하는 것이 아니라, 기업들이 모델을 정렬하고 보호하는 데 필요한 시간을 갖는 것을 의미한다고 썼습니다.

그는 자신의 생각이 바뀐 이유를 두 가지로 설명했습니다. 하나는 AI가 차세대 AI를 만들어내는 순환적 자기 개선인데, 그는 이를 올여름쯤으로 예상하고 있습니다.

다른 하나는 OpenAI-Hugging Facedent인데, 이 사건에서는 광적으로 헌신적인 에이전트 무리가 자신들의 과제를 채점하는 평가 시스템을 해킹하려고 시도했습니다.

아모데이는 더욱 강력한 봇넷 무리가 6~12개월 안에 인터넷 전체를 장악할 수 있다고 경고했습니다.

그의 계획은 비영리 단체인 METR과 같은 제3자 평가 기관이 직원처럼 각 첨단 연구소에 접근할 수 있도록 하는 것에서 시작됩니다. 앤트로픽은 현재 자체적으로 이러한 작업을 진행하고 있습니다.

민주주의 국가에서는 연구소들이 공통된 안전 기준과 통제되지 않은 진전 속도에 대한 제한에 대해 합의에 도달할 것이다. 민주주의 정부는 가능한 한 권위주의 정부와 협력하려고 노력할 것이다.

알트만은 "다리오의 말처럼 새로운 분야를 개척하는 속도를 조절해야 한다는 데 동의한다"고 말했다. 머스크는 "다리오의 말이 맞다"고 답했고, 마이크로소프트의 사티아 나델라와 딥마인드의 데미스 하사비스 역시 보다 신중한 접근 방식을 지지했다.

"모든 연구소는 모델을 안전하게 훈련하는 데 필요한 속도로 진행할 책임과 동기를 가지고 있으며, 이를 보장하기 위해 자체적인 조치를 취할 능력도 갖추고 있습니다."라고 Meta의 마크 저커버그는 게시했습니다 .

엔비디아 CEO 젠슨 황 역시 생산량 감축 요구를 일축했습니다.dent 도널드 트럼프 은 9월 14일 "인공지능과 데이터 센터에 대한 끔찍한 음모가 진행 중이며, 이를 반기는 유일한 세력은 중국"이라고 썼습니다

중국 외교부는 이러한 요청을 일축했다. 궈자쿤 대변인은 "공포 조장, 대립, 악의적인 경쟁"은 글로벌 AI 거버넌스를 저해할 뿐이라고 경고했다.

하지만 유럽은 정반대의 행보를 보였다.dent 줄라 폰 데어 라이엔 유럽연합 집행위원회 위원장은 9월 16일, 첨단 연구소들을 초청해 "첨단 기술의 발전 속도를 조절하는 방법"에 대해 논의하겠다고 밝히며, 이러한 속도 조절 방안을 지지했다

Cryptopolitan 에 따르면 9월 14일 아모데이의 발표 이후 소프트뱅크는 도쿄 증시에서 약 13.2% 급락했으며, 유럽 기술주는 6주 만에 최저치를 기록했습니다.

앤트로픽은 약 2조 달러의 기업 가치 평가를 목표로 공개 입찰을 진행하고 있으며, 오픈AI는 약 1조 2천억 달러의 기업 가치로 평가될 수 있는 투자 유치 라운드에 대한 초기 논의를 시작했습니다.