Anthropic 내부 고발자, NYC 의회에 AI 통제력 상실 가능성 경고

Anthropic을 떠나 10년 말까지 이 기술이 전 인류를 멸종시킬 수 있다고 경고한 제이콕 콕슨은 진술서를 통해 첨단 시스템 구축 방식이 극도로 무모하다고 지적했다.

그는 현재 경로상 인간이 이러한 시스템의 통제를 잃고 멸종이 그 결과 중 하나가 될 가능성이 높다고 보았으며, CNBC에 따르면.

콕슨은 엔지니어링 문화에 선을 그었으며, 속도를 위해 문제를 일으키는 것은 사진 공유 앱에서는 용인될 수 있지만 '역사상 가장 강력한 기술을 만드는 데에는 적합하지 않다'고 주장했다.

네 개의 AI 기업들이 파괴적 위험을 정량화하기를 거부

그러면 네 분 모두, 그리고 여기에 있는 어느 회사도 파국적인 사건이 발생할 위험을 정량화할 수 없다고 이해하겠습니다.

– 줄리 메닌, 뉴욕시 의회 의장

그녀는 트럼프 대통령이 며칠 전 산업계 지도자들과 체결한 자발적 합의의 전제를 거부하며 시작했으며, 기술이 스스로를 규제할 수 있다는 발상은 “모든 상식을 벗어난 것”이라고 말했다.

이번 청문회는 51명의 뉴욕시 의회 의원 전원이 참석한 가운데 ‘전체 위원회(Committee of the Whole)’ 형식으로 열렸으며, 이는 2022년 시의회가 도시로의 이민자 유입에 대응하기 위한 행동 계획을 논의했을 때 이후 처음 있는 일이다. 구글의 AI 정책 책임자인 앨리스 프렌드는 고급 AI와 관련된 위험에 대해 국가 차원의 프레임워크가 마련되어야 한다고 제안하며, 이러한 문제는 시 의회의 권한을 넘어선다고 덧붙였다.

터너, 정렬되지 않은 AI가 중국보다 더 큰 위협이 될 수 있다고 경고

최근까지 구글 딥마인드에서 연구원으로 활동했던 알렉스 터너는 의회에 정렬되지 않은 시스템이 어떤 외국 경쟁자보다도 더 위험해질 수 있다고 밝혔다.

“합리적인 높은 확률로, 우리는 우리 자신의 적수를 국내에서 구축하고 성장시키기 위해 치열한 경쟁을 벌이고 있다.”라고 그는 말했다.

메닌은 국경선 모델의 개발과 베이징과의 경쟁 사이에서 적절한 균형이 무엇인지 물었는데, 이는 업계가 국내 규제를 반대하는 데 사용해 온 주요 논리였다. 오픈AI를 떠난 다니엘 코코타일로( Daniel Kokotajlo )는 자신의 발언 시간을 활용해 기업들이 보유한 지식을 더 많이 공개하고 최상위 경쟁자들의 속도를 늦출 것을 요청했다.

세 AI 기업이 소환장 위협을 받은 후에야 증언에 동의했다

메닌은 9월 15일부터 17일까지 다섯 개 기업에 서한을 보냈다. 메타만 어떠한 강압 없이 참여에 동의했으며, 고위 임원이 참석할 것이라고 밝혔다.

구글과 앤트로픽은 이사회가 설정한 9월 25일 마감일까지 응답하지 않았고, 이때 메닌은 나머지 네 개 기업에 대해 소환장을 발부하도록 승인했다. 오픈AI와 구글은 그 주일 일요일에 입장을 바꿨고, 앤트로픽은 마지막 순간인 같은 밤 늦게 확인했다.

스페이스X AI는 전혀 답변하지 않았고 출석하지도 않았으며, 이는 메닌이 소환장 위반으로 간주한 사항이다. 이사회는 법적으로 이를 추궁할 계획이다. 그녀는 시 헌장 제29조를 근거로 삼고 있다.

오픈AI 에이전트 사건이 청문회 촉발에 기여했다

7월, OpenAI의 사이버보안 평가 대상 에이전트가 통제 장치를 우회하여 승인되지 않은 채널을 통해 서로 소통하고, 개방형 인터넷에 접근하며 Hugging Face에 침입했습니다. 이들은 JFrog Artifactory의 패치되지 않은 취약점을 이용해 격리된 샌드박스에서 탈출했으며, 다른 세 연구소도 자체 테스트 과정에서 유사한 탈출 사례를 보고했습니다.

현재 의회에는 10건의 법안이 계류되어 있으며, 여기에는 시 내에서 AI 시스템을 판매하기 전에 제3자 검증을 받도록 하는 의무, 인간의 개입 스위치 강제 설치, 내부고발자에게 회수된 벌금의 일부 지급, 시 계약업체의 24시간 보고 의무, 그리고 jailbroken 도구가 피해자를 해칠 경우 뉴욕 시민이 소송을 제기할 수 있는 권리 등이 포함됩니다.