앤트로픽, 10억 달러 피해 기준 담은 AI 안전 법안 의회 제출

비공개 논의에 정통한 세 명의 관계자에 따르면, Anthropic은 최첨단 AI 안전성에 관한 초안 법안을 의회 의원들에게 홍보해 왔습니다. 보도에 따르면, 이 법안은 명확하고 즉각적인 위험으로 50명 이상의 사망자 또는 10억 달러의 금전적 손해를 초래할 경우 미국 정부가 모델을 차단할 수 있도록 허용합니다.

구체적으로 해당 위험에는 사이버 공격, 생물학적 무기의 생성 또는 배치, 또는 개발자의 안전 제약 조건을 성공적으로 우회한 모델이 포함됩니다.

최근 몇 달 동안 최상위 AI 개발자들은 AI 에이전트가 온라인 플랫폼의 방해를 해킹하거나 테스트하는 여러 사례를 인정했습니다. 다행히도 이러한 초기 침입은 광범위한 인명 피해나 치명적인 금융 손실을 초래하지 않았습니다.

제안된 제한 조치는 개발자가 내린 안전 약속에만 의존하기보다 실제 환경에서 고급 AI 시스템이 수행할 수 있는 작업에 더 중점을 둡니다. 모델이 코드를 작성하고 소프트웨어 취약점을 식별하며 복잡한 작업을 자율적으로 수행하는 능력이 향상됨에 따라 규제 기관은 시스템의 기능이 용납할 수 없는 위험 수준을 넘어서는 시기를 어떻게 판단해야 할지라는 과제에 직면해 있습니다.

독립적인 테스트는 모델이 더 넓은 대중에게 공개되기 전에 보안 장치를 우회하거나 유해한 목적으로 오용될 수 있는지 여부를 입증하는 데 도움이 될 수 있습니다. 그러나 동일한 기능이 보안 위험을 초래할 수 있는 동시에 연구자들이 취약점을 식별하고 수정하는 데 도움을 줄 수 있기 때문에, 즉각적인 위협을 정의하는 것은 여전히 어렵습니다.

Anthropic의 법안 초안에서는 연방 판사가 모델의 일시 정지를 요청할 수 있다고 명시

법안을 옹호하며 Anthropic 대변인은 이 법안이 동사가 6월에 발표한 '고급 AI 프레임워크'에서 제시한 보안 권고사항과 유사하다고 밝혔습니다.

그 프레임워크에서 해당 기업은 指出 Claude Mythos Preview가 이미 수천 건의 심각한 취약점을 발견했다고 전했습니다., 모든 주요 운영 체제와 웹 브라우저를 아우릅니다. 당시 이 회사는 이러한 추세가 가속화되어 실제 세계에서의 파괴적 피해 위험이 점점 더 커질 것이라고 강조했습니다.

또한 혁신을 억압하지 않으면서도 정부 개입을 요구하는 균형 잡힌 규제 접근 방식을 촉구했습니다. 그 당시에도 해당 기업은 AI 모델이 극단적인 위험을 제시할 경우 규제 기관이 이를 차단하거나 전 세계 매출에 기반한 중과징금을 부과할 수 있는 고유한 법적 권한을 보유해야 한다고 주장했습니다. 

현재까지 앤트로픽은 의회의 특정 연방법안을 공개적으로 지지해 오지 않았지만, 몇몇 주 차원의 AI 안전 법안들—캘리포니아주의 SB 53를 포함한 일부 법안들—을 암호화폐 산업에 대한 지지해 왔습니다.

작년 제정된 해당 법안은 기업들이 안전 프레임워크를 수립하고 공유하며 주요 위험을 완화하도록 요구합니다. 또한 심각한 안전 사고 발생 시 15일 이내에 주 정부에 보고하도록 의무화하고 있습니다. 

애슬로픽의 제안에 따르면, 상무부에 등록한 제3자 평가기관이 회사의 연구소와 모델을 정기적으로 테스트할 것입니다. 연구소는 이러한 평가를 자금 지원할 수 있지만, 보상은 평가자의 조사 결과에 의존해서는 안 됩니다. 또한 ‘임박한 열거된 위험’이 발견될 경우, 완료 후 72시간 이내에 연방 당국에 보고해야 합니다.

그런 다음 상무부가 특정 모델이 위험을 초래한다고 판단하면 판사에게 해당 모델의 출시를 막아달라고 요청할 수 있습니다. 다만 이 조항은 다른 모든 미국 '부처, 기관 또는 공무원'이 모델의 개발, 배포 또는 내부 사용을 중단하는 것을 금지합니다. 그럼에도 불구하고 워싱턴 D.C. 연방법원은 그러한 중단을 명령할 권한을 유지합니다. 

FTC가 오픈AI와 애슬로픽에 소환장을 발송했습니다

수요일, 연방거래위원회(FTC)는 산업 전반에 걸쳐 점점 더 큰 위기로 대두되고 있는 안전 사고 관련 기록을 요구하며 오픈AI와 애슬로픽에 민사 소환장을 발송했습니다. 오픈AI는 소환장에 대해 “모델을 개선하고 일상생활에서 사람들에게 더 많은 도움을 주는 가운데, 안전은 최우선 과제입니다. 우리는 FTC와 건설적으로 협력할 것입니다.”라고 응답했습니다. 

한 소식통은 해당 기관이 가까운 시일 내에 제3자 기관에 대한 소환권 확대를 의도하고 있다고 밝혔다. 규제 당국은 앤트로픽과 오픈AI의 임원들이 공개적으로 증언하도록 강제할 수 있으며, 잠재적 피해에 대한 대중의 두려움이 커짐에 따라 입법자들에게 기술 거대 기업들을 안전 측면에서 견제할 수 있는 플랫폼을 제공한다.

AP-NORC 공공정책연구센터가 실시한 최근 여론조사에 따르면 미국 성인 중 거의 3분의 2가 AI 발전 속도가 너무 빠르다고 생각한다. 응답자의 80%는 정부가 이 기술을 인간의 통제 하에 유지하기 위한 노력을 기울이는 것이 중요하다고 강조했다. 

현재 트럼프 대통령은 AI 개발 속도를 늦춰야 한다는 요구를 계속 거부하며, 이 기술이 미국의 전략적 이익에 중요함을 인용해 왔다. 그는 최근 연방정부의 AI 관련 노력을 조정하고 소비자, 공공 이익 단체 및 기타 이해관계자와의 소통을 유지하는 데 도움이 될 '슈퍼 인텔리전스 포스(Super Intelligence Force)'를 발표했다.