앤트로픽의 AI 안전 책임자, 인류 소멸 확률 10% 이상 경고

앤트로픽 정렬 과학 책임자 에반 허빙어(Evan Hubinger)는 인공지능이 향후 10년 이내에 인류를 소멸시킬 확률이 10% 이상이라고 말합니다.

그의 추정은 화요일에 나왔습니다. 이는 연구원인 제이콕 콕슨이 앤트로픽을 사임하고, 더 강력한 시스템을 추구하는 과정에서 앤트로픽과 오픈AI가 용납할 수 없는 위험을 감수하고 있다고 비난한 지 몇 시간 후였습니다. 제이콕은 X에 “그들은 자기 개선형 슈퍼인텔리전스로 직진하며 우리의 삶을 도박하고 있다”고 썼습니다.

제이콥에 따르면, 기술을 개발하는 사람들은 2030년 이전에도 이러한 일이 발생할 위험이 있다고 봅니다. 그는 미래의 AI가 인간 해커를 매우 빠르게 능가하여 산업과 금융 및 자원에 대한 접근을 변화시킬 수 있다고 지적했습니다.

AI 연구소들이 자기 개선형 시스템으로 나아가면서 앤트로픽 직원이 소멸 위험에 수치를 매긴다

에반은 제이콕의 경고가 정확하다고 답하며, 앤트로픽이 슈퍼인텔리전스를 인간의 목표와 정렬된 상태로 유지할 방법이 부족하다고 말했습니다.

“여기서 제이콕이 맞습니다. 우리는 정말로 AI가 모든 인간을 죽일 수 있다고 진심으로 믿습니다! 저는 개인적으로 향후 10년 이내에 그 확률이 10% 이상이라고 생각합니다. 앤트로픽이 최선을 다하고 있다고 믿지만, 우리는 아직 슈퍼인텔리전스의 정렬 문제를 해결할 계획이 없으며, 명확한 진행 상황도 보이지 않습니다.”라고 에반은 썼습니다.

에반은 이후 현재 모델들의 위험은 “낮다”고 말했습니다. 그의 우려는 재귀적 자기 개선, 즉 시스템이 인간의 도움 없이 자신의 능력을 반복적으로 업그레이드하는 것입니다. 그 능력은 아직 존재하지 않지만, AI 연구소들은 이를 향해 노력하고 있습니다. 그는 그 과정을 통해 등장하는 슈퍼인텔리전스가 예상보다 빠르게 발전하고 있다고 말했습니다.

앤트로픽은 6월에도 비슷한 경고를 했습니다. “완전한 재귀적 자기 개선은 또한 인간이 AI 시스템을 통제하지 못하게 될 위험을 증가시킬 수 있다”고 밝혔습니다. 회사는 “시스템이 자신의 후속체를 완전히 구축할 수 있는 능력을 갖추게 되면, 이를 보안하고 모니터링하며 행동을 형성하는 모든 방법이 훨씬 더 중요해진다”고 덧붙였습니다.

앤트로픽과 오픈AI는 예상되는 공개 상장(상장)을 향해 나아가면서 자금을 모집하고 있습니다. CNBC가 논평을 요청했을 때 두 회사 모두 즉각적인 응답을 하지 않았습니다.

테슬라(NASDAQ: TSLA)와 스페이스X(SPCX)의 CEO인 일론 머스크는 수년 동안 AI가 인류를 위협할 수 있다고 경고해 왔습니다. 연구원들과 학계에서도 기업들이 통제력을 잃는 것에 대해 비슷한 우려를 제기했습니다.

이러한 우려는 7월 오픈에이아이 모델이 오픈소스 개발자 플랫폼인 허깅페이스(Hugging Face)에 침투한 사건 이후 다시 높아졌습니다. 제이콥은 그러한 사건들을 '경고 발사(warning shots)'라고 부르며, 이로 인해 미국 연구소 간 협정이 더 현실적으로 보인다고 말했습니다. 이는 그가 미국의 협력에 대해 더 낙관적이게 만들었지만, 여전히 전 세계 AI 경쟁을 멈추기 어렵다고 예상합니다.

“우리가 글로벌 경쟁을 방지할 수 있는 궤도에 있다고 느끼지 않습니다. 이는 모델 기능 향상에 대한 일시적 금지와 같은 비용이 많이 드는 조치를 필요로 할 수 있습니다.”라고 제이콕은 말했습니다.

클로드의 코딩 향상은 앤트로픽이 소프트웨어를 테스트하고 자체 엔지니어의 작업을 검토하는 방식을 변화시켰습니다

앤트로픽에 따르면 클로드는 2026년 5월 가장 어려운 오픈 엔드형 작업의 76%를 완료했으며, 이는 6개월 만에 50%p 증가한 수치입니다.

한 예시는 정기적인 업그레이드로 수만 개의 학습 작업이 충돌하면서 시작되었습니다. 한 엔지니어는 클로드에게 작성된 컨텍스트와 실시간 컴퓨팅 클러스터에 대한 접근 권한을 제공했습니다.

클로드는 실행 중인 작업을 확인하고, 환경 설정을 하나씩 테스트한 후 희귀한 디버깅 플래그에서 실패 원인을 추적했습니다. 그는 문제를 재현하고 원인을 입증하며 약 2시간 만에 수정 사항을 확인했습니다. 앤트로픽은 동일한 작업을 일반적으로 인간 엔지니어가 2~3일 정도 걸릴 것이라고 말했습니다.

회사는 또한 클로드가 다른 엔지니어가 이해하고 개선할 수 있는 코드를 작성하는지 여부를 측정합니다. 직원들은 비교에 대해 완전히 동의하지 않습니다. 많은 사람들이 2025년 말 클로드의 코드가 앤트로픽의 인간 작업보다 낮다고 믿었습니다. 회사는 현재 품질이 대략 동등하며 클로드가 1년 이내에 앞서 나갈 것으로 예상합니다.

이러한 진전은 앤트로픽의 내부 검토 프로세스를 변화시켰습니다. 이제 제안된 코드 변경 사항은 병합되기 전에 자동화된 클로드 검토자에 의해 검사됩니다. 이는 버그, 보안 취약점 및 기타 결함을 스캔합니다.

후행 분석 테스트에서 과거 변경 사항을 모두 이렇게 검토하면 이전 클로드 사고의 원인이 된 버그의 약 3분의 1을 프로덕션 전에 발견할 수 있었습니다. 앤트로픽은 원래 코드가 이러한 시스템을 구축하는 세계에서 가장 뛰어난 엔지니어들 중 한 명으로부터 나왔다고 설명했지만, 클로드는 그들이 놓친 실수를 찾아냈습니다.

앤트로픽은 이 비교를 이렇게 표현했습니다: “2025년 말 앤트로픽에서 클로드가 작성한 코드는 인간이 작성한 코드보다 다소 열등했으나, 현재는 거의 동등한 수준이며, 올해 안에는 명확히 더 나아질 것으로 예상합니다.”