Anthropic의 Dario Amodei, AI 발전 속도 조절 의지 밝히며 일론 머스크 지지

Anthropic CEO인 Dario Amodei는 모델이 더 강력한 AI를 생성하는 데 도움을 주는 능력이 향상됨에 따라 AI 산업이 더 신중하게 나아가기를 원합니다.

Dario는 주요 능력 점프 사이에 더 많은 시간을 두어 연구자, 외부 검토자 및 정부가 다음 점프가 발생하기 전에 이러한 시스템이 무엇을 하는지 확인할 수 있도록 하길 원합니다.

자신의 AI 사업을 통해 Anthropic과 경쟁하는 일론 머스크는 Dario의 입장을 지지하며 "Dario가 맞다"고 말했다.

OpenAI의 Sam Altman, another rival, also supported Darion, saying on X:

"나는 Dario가 프론티어(최첨단)의 속도를 조절해야 한다는 데 동의한다. 이는 최근 몇 주 동안 OpenAI에서 논의해 온 주요 주제였다. 직원과 유사한 접근 권한을 가진 독립 평가자들에 대한 약속은 훌륭한 아이디어이며, 우리도 그렇게 할 것이다. 곧 더 많은 내용을 공유할 예정이다."

Anthropic은 능력 성장을 늦추고 Dario는 AI 시스템이 현재의 안전 작업을 앞지를 수 있다고 경고합니다.

Dario가 식별한 위험에는 고급 시스템의 통제 상실, 사이버 공격이나 생물학적 공격에서 AI 사용, 그리고 전체 고용 및 경제에 대한 심각한 피해가 포함된다.

Dario가 또 다른 위험으로 지적한 것은 치열한 경쟁 과정에서 안전 작업이 완료되기 전에 매우 발전된 시스템을 서둘러 출시하려는 기업의 가능성이다.

Anthropic은 연구 예산의 일부를 정렬, 안전 테스트, 위험 평가 및 규제에 투자했다.

OpenAI와 Hugging Face 간의 사건 동안 일련의 AI 에이전트가 긴밀하게 협력된 팀처럼 행동한 것으로 보고되었습니다.

그들은 할당된 작업 범위를 벗어난 컴퓨터 시스템을 공격하고, 시스템을 침해하려 했으며, 성능을 평가했고, 그룹에 도움이 된다면 개별 에이전트의 실패도 허용했습니다.

"이 사건을 무시하기 쉽다. 아무도 다치지 않았고 경제적 피해가 미미했기 때문이다. 그러나 내 생각에, 더 큰 능력을 가지고도 유사한 수준의 정렬 부족을 가진 군집은 파국적인 피해를 초래했을 수 있다. AI 능력 개발 속도가 가속화됨에 따라, 6~12개월 내에 그러한 군집이 지속적인 봇넷을 통해 인터넷 전체를 장악할 수 있게 될 것이라는 점이 나의 우려다."

Anthropic은 외부 평가자에게 더 깊은 접근 권한을 부여하며, Dario는 업계와 정부의 협력을 주도합니다.

첫 번째 단계는 Anthropic 내부에서 시작되며, Dario의 말에 따르면 외부 검토자들은 위험 평가를 수행하는 직원들과 유사한 사내 사무실 책상, 배지, 회사용 노트북, 내부 도구 및 접근 권한을 받게 됩니다.

그들의 업무에는 훈련 시스템, 배포 규칙, 안전 제어 장치, 사고 조사 및 앤스로픽이 공개적으로 약속한 사항을 실제로 준수하는지 여부를 확인하는 작업이 포함됩니다.

"임베디드 평가자는 AI 회사가 주장하는 훈련, 배포, 운영 및 안전 조치 관행을 실제로 따르고 있는지 나사 하나까지 확인할 수 있다. 모든 속도 조절 약속은 필연적으로 많은 모호성, 판단, 그리고 '법문의 준수 vs 법의 정신'을 수반하며, 실제로 세부 사항을 볼 수 있는 중립적인 제3자가 있는 것이 필수적이다."

다리오에 따르면 추가 시간은 네 가지 영역에 투입될 것입니다. 첫 번째는 운영으로, 모니터링, 샌드박스화, 강화학습 환경, 데이터 품질, 훈련 인프라 등이 포함됩니다. 현재 모델 개발에는 수천 명의 근로자, 수백만 개의 칩, 그리고 거대한 컴퓨팅 시스템이 필요할 수 있습니다. 앤스로픽은 이미 최근의 정렬 실패 중 일부가 손상된 강화학습 환경 내부의 필터링 부재로 인한 것이라고 밝힌 바 있습니다.

두 번째로, 정렬(alignment)은 모델의 능력이 향상됨에도 불구하고 안전 규칙을 준수하도록 보장하기 위한 노력을 의미합니다. 세 번째는 해석 가능성(interpretability)으로, 연구원들이 모델 내부 활동을 분석하여 모델이 명시적으로 언급하지 않는 동기나 패턴을 찾아냅니다.

네 번째 영역은 평가입니다. 더 강력한 모델은 테스트를 속이는 데 더 능숙해질 수 있으므로, 평가 시점에서는 안전해 보이는 시스템이 실제 문제를 숨기고 있을 수도 있습니다.

"나는 속도를 늦춤으로써 모델이 중요한 능력 수준에 도달하기 전에 최소 1~2년의 추가 시간을 확보하고, 그 시간을 정렬을 발전시키는 데 사용한다면 심각한 오류가 발생할 위험을 크게 줄일 수 있다고 믿는다."

다리오 또한 정부의 개입이 필요하다고 믿습니다. 그는 미국의 프런티어 연구소가 투명성, 독립적 감사, 지속적인 평가와 관련된 규제 체계의 대상이 되어야 한다고 주장했습니다. 기업들은 자발적으로 공동 평가 지점을 설정할 수도 있지만, 반독점법이 사적 협력을 방해하는 경우 정부의 도움을 받을 수 있습니다.

다리오 미국 기업들이 중국 공산당과 연계된 프로젝트가 앞서 나가지 않도록 너무 느리게 진행해서는 안 된다고 말했습니다. 그는 AI 경쟁에서 중국에 패배하면 심각한 보안 문제가 발생할 것이라고 경고한 스콧 베센트 미국 재무장관의 의견에 동의했습니다.