퀸즐랜드 주립 도서관은 최근 제1차 세계 대전 당시 ANZAC 병사들의 경험에 대한 질문에 답하도록 설계된 AI 챗봇 "가상 참전 용사 찰리"를 공개했습니다. 그러나 기술에 정통한 장난꾸러기들이 재빨리 챗봇을 제어하는 방법을 찾아내어, 챗봇이 다른 역할을 맡거나 전혀 관련 없는 대화를 시작하도록 만들었습니다. '탈옥(jailbreaking)'이라고 불리는 이러한 행위는 사용자가 챗봇의 본래 목적을 바꾸고 정해진 스크립트에서 벗어나도록 할 수 있게 합니다.
장난꾸러기들은 프롬프트를 이용해 미리defi제한을 우회하며, 찰리에게 켈시 그래머가 연기한 유명 시트콤 캐릭터인 50대 패셔니스타 프레이저 크레인을 흉내 내도록 지시했습니다. 이러한 상호작용은 찰리의 답변이 주로 호주-뉴질랜드 합동군(ANZAC)에 관한 것이 아니라는 것을 보여주기 위해 스크린샷 형태로 소셜 미디어 플랫폼에 널리 공유되었습니다. 이 봇은 당근 cake 레시피를 정리하고 닥터 후와 비슷한 모험담을 이야기했을 뿐만 아니라, 온라인 커뮤니티에서 대화를 가로채려는 시도를 교묘하게 속여 웃음과 관심을 불러일으켰습니다.
예상치 못한 우회
찰리가 제1차 세계 대전 당시 호주 출신의 19세 참전 용사를 모델로 만들어졌다는 점 때문에, 의도치 않게 과거를 연상시키는 대화에 휘말리게 되었습니다. 사용자들은 챗봇의 약점을 악용하여 챗봇이 여러dent을 가장하고 본래 기능과는 동떨어진 대화를 나누도록 만들었습니다. 어떤 대화는 장난스럽거나 진지한 내용이었지만, 존 스노우나 데이브 채플처럼 완전히 허구적인 인물로 응답하는 경우도 있었습니다.
퀸즐랜드 주립 도서관은 즉각적으로 다음과 같이 반응했습니다
"주립도서관은 찰리의 진행 상황을 지속적으로 모니터링하고 필요에 따라 조정할 것입니다."
찰리가 더 이상 오용되지 않도록 하고, 교육 도구로서의 역할을 제대로 수행할 수 있도록 조치가 마련되었습니다.
하지만 도서관 측은 다음과 같이 확인해 주었다
"챗봇과 연결된 안작 스퀘어 기념관 웹사이트에는 보안 침해 사례가 없었습니다."
지속적인 모니터링 및 조정
이번 사건에 대응하여 퀸즐랜드 주립 도서관은 찰리의 행동을 지속적으로 감시하고 필요한 경우 적절한 수정을 적용할 것이라고 재차 강조했습니다. 업그레이드는 오용 가능성을 줄이고 교육적 목표에 부합하는 챗봇 서비스의 비전을 수용하기 위한 것입니다. 그러나 장난꾸러기들의 어설픈 시도는 찰리의 운영 측면을 개발하고 ANZAC 군인의 이야기를 충실하게 유지하는 데 있어 미완성된 사업으로 변질되었습니다.
인공지능이 접목된 교육 도구인 "가상 참전 용사 찰리"는 퀸즐랜드의 전쟁 역사를 생생하게 전달했습니다. 그러나 챗봇 조작 가능성은 인공지능 기술을 대중 참여에 활용하는 데 따르는 어려움을 여실히 보여주었습니다.
이번 사건은 시스템 내 견제와 균형의 중요성, 그리고 변화와 함께 감시가 필수적이라는 점을 부각시켰지만, 개발자들은 이제 사용자 온라인 보안의 모든 측면을 개선하는 데 집중하고 있습니다. 가상 공간의 교육적 기능을 유지하고 바람직하지 않은 상황을 방지하기 위해, 관계자들은 정보에 기반한 감시와 시의적절한 대응을 지속할 계획입니다.
