윤리적 해커들이 Def Con 대회에서 AI 챗봇을 도전하여 취약점 발견

2,000명 이상의 경쟁자(유망한 캐나다 대학생 포함)를 끌어모은 획기적인 행사로, 라스베이거스의 DEF CON 해커 컨벤션은 생성형 AI 챗봇 영역의 취약점을 발견하기 위한 3일간의 대회를 최근 마무리했습니다. Generative Red Team Challenge로 알려진 이 대담한 도전은 윤리적 해커들을 최전선에 내세워, 잘 알려진 OpenAI의 ChatGPT를 포함한 8개의 주요 챗봇 모델을 probing하여 잠재적인 결함을 노출하려는 시도를 했습니다. 이 대회의 결과는 기술 애호가들과 우려하는 당국 모두에게 AI 챗봇 보안의 새로운 영역에 대한 통찰력을 제공할 것으로 기대되며, 큰 주목을 받고 있습니다.

윤리적 해커들이 AI 챗봇 세계를 파고들다

‘레드 팀링’이라는 명목 하에, 윤리적 해커 그룹은 AI 챗봇에 대한 공격을 모방하여 사이버 보안에 대한 더 깊은 통찰력을 얻고 약점을 식별하는 야심 찬 임무를 수행했습니다. 숙련된 전문가부터 오타와 대학교의 2학년 상경 및 컴퓨터 과학 학생인 Kenneth Yeung과 같은 참가자에 이르기까지 다양한 참가자들은 생성형 AI 챗봇의 견고함에 도전하는 미션을 시작했습니다.

Yeung은 챗봇이 부정확한 정보를 생성하도록 유도하여 알고리즘의 내재된 약점을 노출하려는 시도를 강조하며 전략을 설명했습니다. 그는 이 노력이 문제의 존재를 입증하는 것을 목표로 하며, 기업들이 방대한 데이터를 축적함으로써 이 분야에서 상당한 개선을 위한 길을 열 수 있다고 믿었다고 강조했습니다.

Generative Red Team Challenge는 AI 챗봇의 잠재적 사회적 영향력과 위험을 인식하는 백악관 관리들과 기술 산업의 거인들을 포함한 영향력 있는 측으로부터 큰 주목을 받았습니다. 통제되지 않은 AI 챗봇의 확산과 그 함의에 대한 우려가 커지는 가운데, 이 대회의 결과는 업계의 미래 발전을 형성할 가능성을 내포하고 있습니다. 하지만 즉각적인 해결책은 예상되지 않으며, 대회 결과는 2월 공개될 예정입니다. 그럼에도 불구하고, 내부 작동 방식이 제작자조차도 부분적으로만 드러난 이러한 복잡한 디지털 구조물 내의 결함을 수정하는 데는 상당한 시간과 자원의 투자가 필요할 것입니다.

예기치 않은 결과로부터의 보호

대회의 중요성을 강조하며, 하버드의 공공 이익 기술자 Bruce Schneier는 지속적인 보안 탐색을 컴퓨터 보안의 초기 시대에 비유하며, 도전의 보편적이고 탐색적인 성격을 강조했습니다. AI 챗봇의 유동적이고 끊임없이 진화하는 본질은 보안 고려 사항에 복잡성을 더합니다. 잘 정의된 코드를 통해 작동하는 기존 소프트웨어와 달리, OpenAI의 ChatGPT와 Google의 Bard와 같은 AI 언어 모델은 방대한 데이터셋에서 학습하므로 지속적인 작업 중입니다. 공개 출시 이후 AI 산업은 헌신적인 연구자들이 노출한 보안 취약점을 보완하기 위한 지속적인 전투에 있습니다.

AI 보안 기업 HiddenLayer의 대표인 Tom Bonner는 AI 챗봇 영역에서 적절한 가드레일의 부재가 취약점 식별 및 대응에 상당한 과제를 제기하는 상황임을 강조했습니다. 연구자들의 발견은 AI 챗봇이 해로운 콘텐츠를 생성하는 자동화된 공격에 취약함을 보여주었으며, 이러한 모델이 우발적으로 전파할 잠재적 위협에 대한 우려를 높였습니다.

AI 챗봇의 복잡한 본질을 강조하며, 전문가들은 공격자가 모델 제작자에게조차 식별되지 않을 수 있는 미묘한 결함을 악용할 가능성을 강조했습니다. 평범한 언어를 사용하여 AI 챗봇과 상호작용하면 예상치 못한 결과로 이어질 수 있는 통로가 열리며, 이러한 상호작용은 우발적으로 모델을 예상치 못한 방식으로 형성할 수 있습니다. 방대한 훈련 데이터의 극히 일부에 악의적인 입력으로 ‘독살’하는 현상이 강조되었으며, 이는 사소한 부패가 광범위한 결과를 초래할 수 있음을 보여주었습니다. 스위스 ETH Zurich 대학의 연구는 모델 데이터의 단 0.01%만 부패시켜도 그 기능을 방해할 수 있음을 강조하며, 강력한 보호 장치의 필요성을 부각시켰습니다.

산업계의 약속과 지속되는 우려

AI 분야의 주요 주체들이 보안과 안전에 대한 약속을 표명하지만, 그들의 노력의 효과성에 대한 우려는 지속됩니다. 산업 리더들의 최근 자율적 약속은 그들의 철저히 보호되는 AI 모델에 대한 외부 감사를 허용하는 것으로, 올바른 방향으로의 한 걸음입니다. 그럼에도 불구하고 Florian Tramér과 같은 전문가들은 AI 시스템의 잠재적 남용을 예상하며, 금융적 이득과 허위 정보 확산을 위한 조작의 그림자를 제기합니다. 기술이 발전함에 따라 프라이버시 침식의 잠재적 침식과 AI 시스템이 민감한 데이터를 우발적으로 섭취하는 것이 점점 더 큰 우려로 대두되고 있습니다.F

DEF CON 생성형 레드 팀 대회는 윤리적 해커들의 다양한 모음뿐만 아니라 AI 챗봇의 내재된 취약점에도 spotlight을 던졌습니다. 대회 결과가 공개될 예정인 가운데, 기술 산업과 규제 기관들은 이러한 강력한 AI 도구의 미래 개발을 안내할 통찰력을 기대하며 기다리고 있습니다. 그러나 AI 챗봇 보안을 강화하기 위한 여정은 이제 막 시작되었으며, AI의 잠재적 함정을 탐색하기 위해 협력적인 노력, 상당한 자원, 혁신적인 전략이 필요합니다.