앤트로픽의 AI 안전 책임자는 인류가 멸망할 확률이 10%를 넘는다고 밝혔습니다

인류 진화론 연구 책임자인 에반 휴빙거는 인공지능이 향후 10년 안에 인류를 멸망시킬 확률이 10%를 넘는다고 말합니다.

그의 추정치는 화요일에 나왔는데, 이는 연구원 제이콥 콕슨이 앤트로픽 연구소에서 사임하고 앤트로픽과 오픈AI가 더tron시스템을 추구하는 과정에서 용납할 수 없는 위험을 감수하고 있다고 비난한 지 몇 시간 만이었다. 제이콥은 X에 기고한 글에서 "그들은 스스로 발전하는 초지능을 향해 질주하고 있으며 우리의 생명을 걸고 도박을 하고 있다"고 썼다

따르면 , 기술 개발자들은 이러한 현상이 2030년 이전에도 발생할 위험이 있다고 보고 있습니다. 그는 미래의 인공지능이 인간 해커들을 매우 빠르게 능가하고 산업을 변화시키며 자금과 자원에 접근할 수 있게 될 것이라고 지적했습니다.

인공지능 연구소들이 자기 개선 시스템 개발을 추진함에 따라 인류 멸종 위험을 수치로 추정한 결과가 나왔습니다

에반은 제이콥의 경고가 옳다고 답하며, 인류 문명은 초지능을 인간의 목표와 일치시킬 방법을 찾지 못하고 있다고 말했다.

"제이콥의 말이 맞습니다. 우리는 인공지능이 인류를 전멸시킬 수 있다고 진심으로 믿습니다! 개인적으로는 향후 10년 안에 10% 이상이 그렇게 될 것이라고 생각합니다. 인류는 최선을 다하고 있지만, 초지능을 위한 조화로운 해결책을 아직 마련하지 못했고, trac으로 나아가고 있는 것도 확실하지 않습니다."라고 에반이 썼습니다.

에반은 나중에 오늘날의 모델들이 가져오는 위험성은 "낮다"고 말했습니다. 그가 우려하는 것은 재귀적 자기 개선, 즉 시스템이 인간의 도움 없이 스스로의 능력을 반복적으로 향상시키는 것입니다. 인공지능 연구소들이 이를 위해 노력하고 있지만, 아직 그러한 능력은 존재하지 않습니다. 그는 그러한 과정을 통해 초지능이 등장하는 속도가 예상보다 빠르다고 말했습니다.

앤트로픽은 지난 6월에도 비슷한 경고를 했습니다. "완전한 재귀적 자기 개선은 인간이 AI 시스템에 대한 통제력을 잃을 위험을 증가시킬 수도 있다"고 지적하며, "시스템이 스스로 후속 시스템을 완전히 구축할 수 있게 된다면, 시스템을 보호하고, 모니터링하고, 행동 양식을 조절하는 방식이 훨씬 더 중요해진다"고 덧붙였습니다

앤스로픽과 오픈AI는 기업공개(IPO)를 앞두고 자금 조달에 나서고 있다. CNBC가 논평을 요청했지만 두 회사 모두 즉각적인 답변을 내놓지 않았다.

테슬라(나스닥: TSLA)와 스페이스X(SPCX)의 CEO인 일론 머스크는 수년 동안 인공지능이 인류를 위협할 수 있다고 경고해 왔습니다. 연구원들과 학계 인사들도 기업들이 인공지능에 대한 통제력을 잃을 수 있다는 비슷한 우려를 제기해 왔습니다.

지난 7월 오픈아이얼(OpenAI) 모델이 오픈소스 개발자 플랫폼인 허깅페이스(Hugging Face)에 침입하면서dent들을 "경고"라고 부르며, 미국 연구소들 간의 협력이 더욱 현실적으로 이루어질 수 있게 해준다고 말했습니다. 그는 이러한 사건을 통해 미국의 협력에 대해 더 큰 희망을 갖게 되었지만, 전 세계적인 AI 경쟁을 막기는 여전히 어려울 것이라고 예상했습니다. 그러한 우려가 다시 커졌습니다 . 제이콥은 이러한

"저는 우리가 세계적인 경쟁을 막을 수 있는 trac으로 가고 있다고 생각하지 않습니다. 그러한 경쟁을 막으려면 모형의 성능 향상을 일시적으로 금지하는 것과 같은 비용이 많이 드는 조치가 필요할 수도 있습니다."라고 제이콥은 말했습니다.

클로드의 코딩 실력 향상은 앤트로픽이 소프트웨어를 테스트하고 엔지니어들의 업무를 검증하는 방식을 변화시켰습니다

앤트로픽은 클로드가 2026년 5월에 가장 어려운 미정 과제의 76%를 완료했으며, 이는 6개월 만에 50%포인트 증가한 수치라고 밝혔습니다.

한 사례는 일상적인 업그레이드로 인해 수만 건의 학습 작업이 중단되는 사태가 발생하면서 시작되었습니다. 한 엔지니어가 클로드에게 상황에 대한 설명과 실제 운영 중인 컴퓨팅 클러스터에 대한 접근 권한을 제공했습니다.

클로드는 실행 중인 작업을 확인하고, 환경 설정을 하나씩 테스트하며, 모호한 디버깅 플래그에서 오류를 trac냈습니다. 그는 문제를 재현하고 원인을 규명하며 수정 사항을 확인하는 데 약 2시간을 소요했습니다. 앤트로픽은 이와 같은 작업을 사람이 직접 수행하려면 보통 2~3일이 걸린다고 밝혔습니다.

이 회사는 클로드가 다른 엔지니어가 이해하고 기반으로 삼을 수 있는 코드를 작성할 수 있는지 여부도 평가합니다 . 직원들은 이러한 비교 기준에 대해 완전히 동의하지 않습니다. 2025년 말에는 많은 직원이 클로드의 코드가 앤스로픽의 일반적인 엔지니어 수준에 미치지 못한다고 생각했습니다. 하지만 현재 회사는 코드 품질이 거의 동등하다고 판단하고 있으며, 클로드가 1년 안에 더 발전할 것으로 기대하고 있습니다.

이러한 발전으로 앤트로픽의 내부 검토 프로세스가 바뀌었습니다. 이제 코드 변경 제안은 병합되기 전에 자동화된 클로드(Claude) 검토 도구를 통해 검사됩니다. 이 도구는 버그, 보안 취약점 및 기타 결함을 찾아냅니다.

사후 테스트 결과, 이러한 방식으로 과거의 모든 변경 사항을 검토했다면 이전 클로드dent문제의 원인이 된 버그의 약 3분의 1을 제품 출시 전에 발견할 수 있었을 것으로 나타났습니다. 앤스로픽은 원래 코드가 이러한 시스템 구축에 있어 세계 최고 수준의 엔지니어들이 작성한 것이라고 밝혔지만, 클로드는 그들이 놓친 오류를 발견했습니다.

Anthropic은 다음과 같이 비교했습니다. "2025년 말 Anthropic에서 Claude가 작성한 코드는 사람이 작성한 코드보다 다소 떨어졌지만, 현재는 거의 동등한 수준이며, 1년 안에 확실히 더 나아질 것으로 예상합니다."