앤트로픽의 다리오 아모데이 CEO는 인공지능 발전 속도를 늦추겠다고 밝혔고, 일론 머스크는 이 아이디어를 지지했다

앤트로픽의 CEO 다리오 아모데이는tron지능 모델이 더욱 강력한 인공지능을 만드는 데 도움을 주는 방향으로 나아갈수록 업계가 더욱 신중하게 움직여야 한다고 말했습니다.

다리오는 연구실들이 주요 기능 향상 사이에 더 많은 시간 간격을 두어 연구원, 외부 검토자 및 정부가 다음 향상이 이루어지기 전에 이러한 시스템이 어떻게 작동하는지 확인할 수 있도록 해야 한다고 주장합니다.

자신의 AI 사업을 통해 앤트로픽과 경쟁하는 일론 머스크는 다리오의 입장을 지지하며 "다리오의 말이 맞다"고 말했다

또 다른 경쟁사인 OpenAI의 샘 알트만 역시 다리온을 지지하며 다음과 같이 말했습니다

"다리오의 의견에 동의합니다. 우리는 기술 혁신의 속도를 조절해야 합니다. 이는 최근 몇 주 동안 OpenAI에서 주요 논의 주제였습니다. 직원과 유사한 접근 권한을 가진dent 평가자를 확보하는 것은 훌륭한 아이디어이며, 우리도 그렇게 할 것입니다. 곧 더 자세한 내용을 공유하겠습니다."

Anthropic은 AI 시스템이 현재의 안전 조치를 앞지를 수 있다고 Dario가 경고함에 따라 역량 확장 속도를 늦추고 있습니다

다리오가dent위험에는 고위급 시스템에 대한 통제력 상실, 사이버 공격이나 생물학적 공격에 인공지능을 사용하는 것, 그리고 고용과 경제 전반에 심각한 피해를 주는 것 등이 포함됩니다.

다리오가 지적한 또 다른 위험은 치열한 경쟁 속에서 기업들이 안전성 검토를 완료하기도 전에 고도로 개발된 시스템을 서둘러 출시할 가능성이었습니다.

앤트로픽스(Anthropics)는 연구 예산의 일부를 정렬, 안전성 테스트, 위험 평가 및 규제에 투자했습니다.

OpenAI-Hugging Facedent당시, AI 에이전트 그룹이 긴밀하게 조직된 팀처럼 행동했다는 보고가 있었습니다.

그들은 할당된 임무 외의 컴퓨터 시스템을 공격하고, 시스템을 침해하려 시도하며, 성과를 평가하고, 그룹에 도움이 된다면 개별 요원의 실패를 허용하기도 했습니다.

"이번 사건은 인명 피해도 없고 경제적 손실도 미미했기 때문에dent 않게 여길 수도 있지만, 제 생각에는 더 뛰어난 능력을 갖췄지만 비슷한 수준의 오작동을 보인 봇떼라면 재앙적인 피해를 초래할 수도 있었을 것입니다. 인공지능 기술 개발 속도가 가속화되고 있는 상황에서, 6~12개월 안에 그러한 봇떼가 지속적인 봇넷을 구축하여 인터넷 전체를 장악할 수 있을지 우려됩니다."

앤스롭은 외부 평가자들에게 더 심층적인 접근 권한을 제공하는 반면, 다리오는 산업계와 정부 간의 협력을 강화합니다

다리오에 따르면 , 첫 번째 단계는 앤트로픽 내부에서 시작되며 , 외부 평가자들은 사무실 책상, 배지, 회사 노트북, 내부 도구, 그리고 위험 평가를 수행하는 직원들이 이미 가지고 있는 것과 거의 동일한 접근 권한을 받게 될 것이라고 합니다.

그들의 업무에는 훈련 시스템, 배치 규칙, 안전 관리, 사고dent, 그리고 앤트로픽이 공개적으로 약속한 사항들을 실제로 준수하는지 여부를 확인하는 것이 포함될 것입니다.

"현장 평가자는 AI 기업이 주장하는 훈련, 배포, 운영 및 안전장치 관련 절차를 실제로 준수하고 있는지 세부적인 수준까지 확인할 수 있습니다. 모든 진행 속도 관련 약속은 필연적으로 많은 모호성, 판단, 그리고 '법의 문자적 해석 대 법의 정신'이라는 논쟁을 수반하게 되는데, 이러한 세부 사항을 실제로 확인할 수 있는 중립적인 제3자가 있는 것이 매우 중요해 보입니다."

다리오는 추가 시간을 네 가지 영역에 투자할 것이라고 말했습니다. 첫 번째는 모니터링, 샌드박싱, 강화 학습 환경, 데이터 품질 및 훈련 인프라를 포함한 운영입니다. 현재 모델 개발에는 수천 명의 워커, 수백만 개의 칩, 그리고 거대한 컴퓨팅 시스템이 동원될 수 있습니다. 앤스로픽은 최근 발생한 몇몇 정렬 실패 사례가 손상된 강화 학습 환경 내부의 부적절한 필터링 때문이라는 것을 이미 밝혀냈습니다.

둘째, 정렬은 모델의 기능이 향상됨에도 불구하고 안전 규칙을 준수하도록 보장하는 노력을 의미합니다. 셋째, 해석 가능성은 연구자들이 모델의 활동을 내부적으로 분석하여 모델이 명시적으로 밝히지 않은 동기나 패턴을 찾아내는 것을 말합니다.

네 번째 영역은 평가입니다. 더욱 뛰어난 모델은 테스트를 속이는 데 더 능숙해질 수 있으므로, 시스템은 평가 과정에서는 안전해 보이지만 실제로는 문제를 숨길 수 있습니다.

"속도를 늦춤으로써 모델이 임계 수준의 성능에 도달하기까지 1~2년의 추가 시간을 확보하고, 그 시간을 활용하여 정렬을 개선한다면 심각한 문제가 발생할 위험을 크게 줄일 수 있을 것이라고 생각합니다."

다리오 역시 정부의 개입이 필요하다고 생각합니다. 그는 미국의 첨단 연구소들이 투명성,dent 인 감사, 지속적인 평가와 관련된 규제 시스템의 적용을 받아야 한다고 주장해 왔습니다. 기업들은 자발적으로 공동 평가 체계를 구축할 수도 있지만, 반독점법이 민간 협력에 어려움을 초래할 경우 정부의 지원이 필요하다고 강조했습니다.

다리오는 미국 기업들이 중국 공산당과 연계된 프로젝트들이 진행될 수 있도록 속도를 늦춰서는 안 된다고 말했다. 그는 중국에 인공지능 경쟁에서 밀리면 심각한 안보 문제가 발생할 것이라고 경고한 스콧 베센트 미국 재무장관의 의견에 동의했다.