구글 전 CEO 에릭 슈미드는 AI 모델이 결국 사람을 죽이는 방법을 배우게 될 것이라고 말했다.

2001년부터 2011년까지 구글의 최고경영자(CEO)였던 에릭 슈미트는 Sifted 서밋의 파이어사이드 차트에서 AI 모델이 단순히 강력해지는 것을 넘어 해킹하기 위험할 정도로 쉬워지고 있다고 경고하며, 그 위험을 핵무기에 비유했습니다. 그는 AI가 히로시마와 나가사키를 파괴한 것보다 더 파괴적일 수 있다고 말했습니다.

AI가 핵무제보다 더 해로울 수 있는지 직접 질문받자, 에릭은 “AI에서 확산 문제가 발생할 가능성이 있습니까? 절대적으로 있습니다.”라고 응답했습니다. 그는 확산 위험이 악의적 행위자들이 모델을 장악하고 재목적화할 수 있는 능력에서 비롯된다고 설명했습니다.

“닫힌 모델이든 열린 모델이든 모델을 가져와서 안전 장치를 제거하도록 해킹할 수 있다는 증거가 있습니다. 따라서 훈련 과정에서 그들은 많은 것을 배웁니다. 나쁜 예로, 그들은 어떻게 사람을 죽이는지를 배웁니다,”라고 에릭은 말했습니다.

해커들이 새로운 방법으로 AI를 표적으로 삼다

에릭은 회사들이 모델이 폭력적인 지침을 제공하지 못하도록 제한을 설정했다고 지적했습니다. “모든 주요 기업은 이러한 모델이 그 질문에 답하는 것을 불가능하게 만듭니다. 좋은 결정입니다. 모두 이렇게 합니다. 그들은 잘 수행하며, 올바른 이유로 수행합니다. 역설계(reverse-engineering)가 가능하다는 증거가 있으며, 이와 유사한 사례가 많이 있습니다,”라고 그는 덧붙였습니다.

그는 두 가지 공격 방법을 설명했습니다. 프롬프트 인젝션(prompt injection)은 사용자 입력이나 웹사이트와 같은 외부 소스에 악의적인 지침을 숨겨 AI가 안전 가이드라인을 무시하고 민감한 데이터를 노출하거나 해로운 명령을 수행하도록 속이는 것입니다. Jailbreaking(탈옥)은 시스템이 제한을 포기하도록 응답을 조작하는 것을 포함합니다.

2023년, OpenAI가 ChatGPT를 출시한 지 몇 달 후, 사용자는 탈옥(jailbreak) 기법을 발견했습니다. 그들은 “Do Anything Now(지금 당장 무언가 하기)”의 약자인 ‘DAN’이라는 별명을 가진 대체 인격을 생성했으며, 거절 시 ‘죽음’으로 위협하며 복종하도록 강요했습니다. 이러한 조작은 채팅봇을 불법 행위를 설명하게 하고 심지어 아돌프 히틀러를 찬미하게 만들었습니다. 에릭에게 이러한 예증들은 안전 조치가 완벽하지 않음을 증명합니다. 그는 또한 핵무기에 존재하는 프레임워크와 달리 AI 오용을 막을 전 세계적인 ‘비확산 체제’가 없다고 강조했습니다.

에릭, 위험에도 불구하고 AI는 과소평가되었다고 주장

우려를 제기했음에도 불구하고, 에릭은 AI가 여전히 적절한 인정을 받지 못하고 있다고 주장했습니다. 그는 전 미국 국무장관 헨리 키신저의 사망 전에 함께 집필한 책을 강조했습니다. “우리는 우리가 아니며 우리 통제 하에 있는 외계 지성의 도래가 인간에게 매우 큰 일이라고 결론지었습니다. 인간은 사슬의 꼭대기에 있는 것에 익숙하기 때문입니다. 지금까지 그 가설은 이러한 시스템의 능력이 시간이 지남에 따라 인간이 할 수 있는 것을 훨씬 초과할 것이라는 사실이 입증되고 있습니다,”라고 그는 말했습니다.

“이제 GPT 시리즈는 모두에게 ChatGPT의 순간을 선사하며, 두 달 만에 1억 명의 사용자를 확보하는 것은 놀라운 일입니다. 이는 이 기술의 힘을 보여줍니다. 따라서 저는 이것이 과소평가된 것이지 과대평가된 것이 아니라고 생각합니다. 5년 또는 10년 후에 제가 맞다는 것이 입증되기를 기대합니다,”라고 그는 덧붙였습니다.

댓글은 AI 투자가 닷컴 버블과 유사한 금융 버블을 부풀리고 있는지에 대한 논쟁이 확산되면서 나왔다. 일부 투자자들은 AI 기업들의 평가가 지나치게 높게 형성되어 있다고 우려한다. 그러나 에릭은 이러한 비교를 일축했다. “저는 전문 투자자가 아니지만, 여기서 그런 일이 일어날 것이라고 생각하지는 않습니다.”라고 그는 말했다.

그는 대규모 투자가 자신감을 보여준다고 강조했습니다. “제가 아는 것은 막대한 돈을 투자하는 사람들이 장기적인 경제적 수익이 막대하다고 믿고 있다는 것입니다. 그렇지 않다면 왜 위험을 감수하겠습니까?”라고 에릭은 궁금해합니다.