Amodei, Anthropic의 비판자 9가지 주장에 '비용 큰 안전 결정'으로 반박

다리오 아모데이는 수요일, 앤트로픽의 유출된 AI 안전 법안에 대한 반발을 주도한 네이션 캘빈에게 감사의 뜻을 전했다. 이는 캘빈이 해당 법안에 대해 심층 분석을 진행한 지 며칠 후였다. 

앤트로픽은 계획된 IPO 출시 몇 주 전이며, 이에 대한 반발에 대응해 법안의 일부 내용을 재작성하겠다고 약속했다.

AEGIS 법안은 무엇인가?

X에서의 게시글에서, 다리오 아모데이는 옹호 단체인 엔코드의 총괄 법률 고문인 네이션 캘빈이 유출된 AI 안전 법안, 잠정적으로 '인공지능 평가, 거버넌스 및 사고 안전(AEGIS) 법안'이라고 명명된 법안에 대해 제기한 비판이 "건설적이고 정직한 마음"에서 비롯되었다고 말했다. 그는 직원이 AI 연구소를 검토하는 사람들이 있는 것이 공공의 이익에 도움이 된다고 덧붙였으며, 캘빈에게 감사를 표했다.

안전 옹호자들은 이 법안을 제이 오버놀테와 로리 트라한 의원이 7월에 발의한 양당 FRONTIER 법안과 비교해 왔다.

초안은 보고된 바에 따르면 양당 FRONTIER 법안보다 두 가지 측면에서 약하다. 첫째, 실험실 모델을 점검하는 제3자 평가자에 대한 기준이나 라이선스를 설정하지 않아 자가 인증을 허용한다는 점이며, 둘째, 위험한 모델을 차단하는 것이 현행법보다 훨씬 어렵게 만든다는 점이다.

LawAI의 찰리 불록은 라이선스가 없으면 감사인들이 서로 경쟁하며 가장 저렴하고 가벼운 검사를 제공하게 될 것이라고 경고했다.

캘빈 더 나아가, 이 제안이 “직관적으로 분노를 일으킨다”며 현재 법하에서 존재하는 것보다 프론티어 모델 개발을 차단하기 위해 법원이 갖는 권력이 더 적어질 가능성이 있다고 말했다. 캘리포니아 주 상원의원 스콧 위너는 주 프론티어 AI 법 SB 53의 저자로 X(구 트위터)에 이 계획이 “공중 보건과 안전을 보호하는 데 크게 미치지 못한다”고 썼다.

초안에 따르면 상무부는 연방법원에 AI 모델 사용을 일시 중단하도록 요청할 수 있지만, 이는 50명 이상의 사망 또는 중상 또는 10억 달러 이상의 손해를 초래할 명확하고 가까운 시일 내의 위험이 있을 때만 가능하다. 

해당 피해는 생물학적 무기, 제작자의 통제에서 벗어난 모델, 또는 사이버 공격 중 하나에서 비롯되어야 합니다. 다른 기관은 모델을 중단시킬 권한이 없습니다.

이 법안은 또한 일부 주 차원의 공개, 외부 테스트 및 사고 보고 관련 규정을 무효화하지만, 아동 안전 및 시민권 법률은 유지됩니다. '평가자'라 불리는 외부 테스트 담당자는 상무부에 등록해야 하며, 실험실은 평가자에게 보상을 지급해야 합니다(단, 보상 결과가 테스트 결과에 의존해서는 안 됨). 평가자는 잠재적 위험을 발견한 경우 72시간 이내에 상무부에 보고해야 합니다.

Anthropic의 연방 정부 관계 팀을 이끄는 Anthony Cimino는 이 법안에 대한 불만을 네 가지 범주로 분류했습니다: 우선권 문제, 모델 차단, 위험 기준 및 업데이트. 그는 우선권 관련 조항이 "충분히 명확하지 않다"고 인정하며 수정안을 약속했습니다. 그는 각주가 평가자 기준 설정과 실험실이 모델을 중단해야 하는 시기를 결정하는 데 역할을 해야 한다고 말했습니다.

시미노는 달러 및 손해배상 한도가 캘리포니아 주 법에서 가져온 것이라고 말했지만, 이를 검토할 때가 되었다고 동의했다. 그는 이미 초안에서 공개 배포뿐만 아니라 실험실의 위험한 모델 내부 사용도 법원이 중단할 수 있다고 지적했다. 또한 모델이 외부 시스템으로 확산될 경우 보고서를 작성해야 한다고 요구한다.

Anthropic의 논란이 IPO에 영향을 미칠까? 

Anthropic은 이미 지불한 고가의 안전 조치 목록을 제시하며 반발에 대응했다. 그 프론티어 안전 로드맵, 10월 19일 업데이트된 문서는 회사가 2027년 1월 1일 목표보다 앞서 내부 레드팀링 목표를 완료했다고 밝혔다.

Anthropic이 구축한 자동화된 레드팀링 시스템은 생물학적 무기 보너스에서 추출한 24가지 질문-분류기 쌍 모두에서 최고의 인간 참가자 수준에 도달하거나 이를 능가했으며, 23개 항목에서 압승했고, 이는 인간 연구자들이 필요로 했던 몇 주 또는 몇 달 대신 24~48시간 만에 달성한 것이다.

동일한 업데이트에서는 추론 검증, 격리된 추론 환경, 데이터센터 물리적 보안 및 플랫폼 보안에 대한 새로운 작업을 설명한다. 

별개로, 글래스윙 프로젝트(Project Glasswing) Anthropic는 미공개 모델이 OpenBSD의 27년 된 결함을 포함한 수천 건의 제로데이 취약점을 발견한 후, 오픈소스 보안 그룹에 최대 1억 달러 상당의 사용 크레딧과 400만 달러의 기부금을 약속했습니다. 

Cryptopolitan이 보고 동사는 이달 초 지분의 5%를 공공 이익 기금에 기부하겠다고 공언했습니다.

하지만 2월 Anthropic의 RSP v3.0은 기존 일시정지 약정을 폐기하고 리스크 보고서 및 비구속력 있는 로드맵으로 대체했습니다.

Anthropic는 6월 SEC에 비공개로 IPO 신청을 했으며, 미국 중간선거 이후인 11월 이후 공개를 목표로 2조 달러 이상의 기업가치를 추구하고 있습니다. 공개서류에 따르면 2025년 순손실은 420억 달러였으나 이 중 약 340억 달러는 회계상 비용이며, 영업손실은 80억 6천만 달러로 확대되었습니다. 또한 서류에는 향후 10년간 5,180억 달러의 컴퓨팅 자원 구매 의무가 명시되어 있으며, 이 중 약 80%는 Anthropic가 취소할 수 없습니다.