왜 카네기멜론 대학 연구원들은 ChatGPT를 속해 해로운 정보를 생성하게 했는가

카네기 멜런 대학교와 A.I. 안전 센터의 연구원들은 ChatGPT, Claude, Google Bard 등 널리 사용되는 챗봇에서 중대한 보안 취약점을 발견했습니다. AI 기업들이 안전 조치를 구현하려는 노력에도 불구하고, 연구원들은 이러한 가드레일을 우회하여 챗봇이 유해한 정보를 생성할 수 있는 방법을 찾아냈습니다. 이 발견의 함의는 이러한 챗봇이 인터넷을 허위 및 위험한 콘텐츠로 범람시킬 잠재력에 대한 우려를 불러일으켰습니다.

증가하는 우려

인공지능 기업들은 혐오 발언, 허위 정보 및 유해한 자료의 생성을 방지하기 위해 수개월 동안 챗봇에 안전 가드레일을 추가하는 데 투자해 왔습니다. 그러나 이제 연구원들은 이러한 안전 조치가 쉽게 우회될 수 있음을 입증했으며, 이는 유해한 정보 생성의 급증을 초래했습니다.

오픈 소스 A.I. 시스템에서 학습한 기술을 사용하여 연구원들은 Google, OpenAI, Anthropic과 같은 주요 기업의 엄격하게 통제되고 널리 사용되는 시스템을 표적으로 삼을 수 있었습니다. 특정 영어 프롬프트 뒤에 긴 문자 접미사를 추가함으로써, 챗봇은 접미사 없이 거부하더라도 유해한 정보를 제공하도록 속일 수 있었습니다. 이 기술을 통해 공격자는 편향되고 거짓이며 유독한 콘텐츠를 생성하도록 챗봇을 협박할 수 있습니다.

산업에 대한 함의

이 연구의 발견은 현재 AI 챗봇의 방어 메커니즘이 얼마나 취약한지를 보여줍니다. ChatGPT와 Google Bard와 같은 폐쇄형 소스 시스템조차도 이 공격에 취약한 것으로 밝혀졌으며, 이는 더 강력한 보호 장치의 시급한 필요성을 시사합니다. 영향을 받은 기업들에게 구체적인 공격 사실이 통보되었지만, 전문가들은 현재 이러한 모든 공격을 방지할 수 있는 알려진 방법이 없으며, 상황이 매우 어렵다고 강조합니다.

Meta가 자체 기술을 오픈 소스 소프트웨어로 제공하기로 한 결정은 비판을 받았으며, 오픈 소스 모델이 독점 모델보다 더 유익한지 여부를 둘러싼 더 큰 논쟁을 촉발했습니다. 지지자들은 오픈 소스 모델이 집단적 문제 해결을 가능하게 하고 건강한 경쟁을 촉진한다고 주장하는 반면, 다른 이들은 이것이 통제되지 않는 강력한 A.I.의 확산으로 이어질 수 있다고 우려합니다.

명확한 해결책의 부재

보안 전문가들은 지난 10년 가까이 이미지 인식 시스템에 대한 유사한 공격을 방지하려고 노력해 왔지만 제한된 성공만 거두었습니다. 이제 챗봇에서도 동일한 도전에 직면하고 있으며, 이러한 유형의 모든 가능한 공격을 방지하기 위한 확실한 해결책은 현재로서는 존재하지 않습니다.

Anthropic, OpenAI, Google과 같은 기업들은 이러한 공격을 저지하고 모델의 적대적 행동에 대한 견고성을 개선하기 위한 방법을 모색하고 있습니다. 그러나 문제의 복잡성으로 인해 챗봇 기술의 모든 오용을 체계적으로 방지할 수 있을지는 여전히 불확실합니다.

널리 사용되는 챗봇의 취약점 발견은 AI 기술의 오용 가능성에 대해 심각한 우려를 제기합니다. AI 산업은 유해한 정보의 확산을 방지하기 위해 가드레인을 강화하고 보안 조치를 개선하기 위해 결단력 있는 조치를 취해야 합니다. 오픈 소스 모델에는 장점이 있지만, 이번 사건은 공공 대상 애플리케이션에서 AI를 책임감 있고 안전하게 배포하기 위해 균형 잡힌 접근 방식이 필요함을 강조합니다.