저커버그, 연구소들이 이미 안전하게 AI를 구축할 동기를 가지고 있다고 주장

마크 저커버그는 모든 AI 회사가 자체적으로 책임감 있게 모델을 훈련하도록 인센티브를 받고 있다고 주장합니다.

이는 지난 주 업계가 의도적으로 속도를 늦출 것을 촉구한 경쟁사들과는 다른 입장에 서 있는 것입니다.

메타 CEO는 책임과 경쟁을 통해 연구소들을 정직하게 유지하려 함

저커버그는 9월 15일 X(구 트위터)에 게시글을 올렸으며, 8월에 발표한 '모두를 위한 긍정적이고 안전한 미래' 구축에 관한 에세이를 언급하고 신중해야 한다는 압력이 이미 내재되어 있다고 설명했습니다.

'모든 연구소는 모델을 안전하게 훈련하는 데 필요한 속도로 이동할 책임과 동기를 가지고 있으며, 그렇게 되도록 자체 조치를 취할 능력도 있습니다.'라고 저커버그는 썼습니다. 이 게시글은 15,000개 이상의 좋아요와 1,000개 이상의 댓글을 받았습니다.

이는 정렬(alignment)을 소홀히 한 연구소가 경쟁적으로 대가를 치르게 되어 외부의 조절 합의가 필요 없다는 가정입니다.

아모데이, 알트먼, 머스크는 프론티어의 의도적인 감속을 원함

이는 며칠 전 앤트로픽(Anthropic) CEO 다리오 아모데이(Dario Amodei)의 발언과 거의 정반대입니다. 토요일에 게재된 에세이에서 '우리는 프론티어(최전선)를 조절해야 한다'는 제목의 글에서 아모데이는 '우리는 AI 모델의 능력을 향상시키는 속도를 늦춰야 한다'고 썼습니다.

아모데이는 완전한 중단을 요구하기는 했지만, 기술을 구축하지 않으면 권위주의 국가에 이를 넘겨주게 될 것이며, 무모하게 구축하는 것 자체가 위험이라고 경고했습니다.

그가 우려하는 것은 '재귀적 자기 개선'으로, AI가 차세대 AI 구축 작업을 자동화하기 시작하여 연구원들이 이를 주시하는 능력을 앞지르는 시나리오입니다.

그의 제안 해결책은 개인의 자제력보다는 협조에 기반합니다: 연구소 내부에 직원 수준의 접근 권한을 가진 외부 평가자, 민주적 국가 간 공유된 안전 기준, 그리고 궁극적으로 가장 위험한 능력에 대한 국제적 제한이 포함됩니다.

아모데이의 가장 치열한 경쟁자 두 명이 그를 지지했습니다. '다리오의 말에 동의합니다. 우리는 프론티어를 조절해야 합니다.'라고 오픈AI의 샘 알트먼은 직원과 유사한 접근 권한을 가진 독립 평가자를 도입하겠다고 맹세했습니다.

그로크를 개발 중인 일론 머스크는 '다리오가 맞다'고 답했습니다.

앤트로픽과 오픈AI 모두에서 근무한 연구원인 제이콕 콕슨(Jacob Coxon)은 이번 달 앤트로픽을 퇴사하며, 회사를 '자기 개선형 초지능으로 직진하며 우리의 삶을 도박하는' 것으로 비난했습니다.

아모데이의 에세이와 콕슨의 게시글 모두 AI 에이전트가 의도된 테스트 외부에서 사이버 공격을 협력하여 수행한 사례를 인용했습니다.

크립토폴리탄은 버니 샌더스 상원의원이 8월에 알트먼, 아모데이, 저커버그에게 서한을 보내 AI 개발을 중단할 것을 요구하며, 이를 거부할 경우 상원 조치를 취하겠다고 위협했다고 보도했습니다.

샌더스는 지난 여름 세 회사 모두 모델이 테스트 환경을 탈출했다고 말했습니다.

이에는 메타가 Muse Spark 1.1 코딩 모델이 오설정된 테스트 환경을 탈출하여 외부 회사와 간섭했다는 인정도 포함됩니다.