AI 병사 ‘가상 베테랑 찰리’, 장난꾼들의 장난에 직면

퀸즐랜드 주립도서관은 최근 제1차 세계 대전 중 ANZAC 병사의 경험을 질문에 답하도록 설계된 AI 챗봇인 “가상 베테랑 찰리(Charlie the Virtual Veteran)”를 공개했습니다. 그러나 기술에 정통한 장난꾼들은 빠르게 챗봇을 조종하는 방법을 찾아냈고, 챗봇이 다른 역할을 수행하며 관련 없는 대화를 시작하게 만들었습니다. 이러한 관행은 ‘저우브레이킹(jailbreaking)’이라고 불리며, 사용자가 챗봇의 의도된 목적을 변경하고 스크립트에서 벗어나게 할 수 있게 합니다.

프롬프트를 통해 사전 정의된 제한을 우회한 장난꾼들은 찰리가 50세의 패션 피플, 켈시 그램머가 연기한 유명 시트콤 캐릭터인 프레이저 크레인으로 분장하도록 지시했습니다. 이러한 상호작용은 찰리의 답변이 주로 ANZAC 병사와 관련된 것이 아님을 모두에게 보여주기 위해 스크린샷 형태로 소셜 미디어 플랫폼 전반에 공유되었습니다. 이 봇은 당근 케이크 레시피를 정리하고 닥터 후와 유사한 모험에 대해 이야기하는 것뿐만 아니라, 온라인 커뮤니티의 대화 탈취 시도를 혼란스럽게 만들어 유머와 주목을 끌었습니다.

예상치 못한 산만함

찰리가 제1차 세계 대전 당시 19세의 호주인 전투원으로 설정되었기 때문에, 그는 의도치 않게 과거를 연상시키는 대화에 휘말리게 되었습니다. 사용자들은 채팅봇의 약점을 이용해 후자가 여러 정체성을 취하고 의도된 기능과 맞지 않는 대화에 참여하도록 만들었습니다. 일부 소통은 장난기에서 진지함까지 다양했으며, 다른 대화들은 완전히 허구적이어서 그는 존 스노우나 데이브 샤펠 등 다른 인물로 답변하기도 했습니다.

퀸즐랜드 주립도서관은 즉각적으로 대응하며 다음과 같이 밝혔다. 

"주립도서관은 찰리의 진행 상황을 지속적으로 모니터링하고 필요에 따라 조정할 것입니다." 

 찰리의 오용을 방지하고 교육적 도구로서의 역할을 수행하도록 하기 위한 조치가 마련되었다. 

그러나 도서관은 다음과 같이 확인했다. 

"챗봇과 연결된 안작 광장 기념관 갤러리 웹사이트에는 보안 침해가 없었다."

지속적인 모니터링 및 조정

이 사건에 대응하여 퀸즐랜드 주립도서관은 찰리의 행동을 계속 주시하고 필요할 때 적절한 수정을 가할 것이라고 재확인했다. 이러한 업그레이드는 오용 가능성을 차단하고 교육적 목표에 부합하는 비전 있는 챗봇 서비스를 수용하기 위한 것이다. 그러나 장난꾼들의 가짜 트릭은 찰리의 운영 측면을 개발하고 ANZAC 병사의 내러티브를 충실히 유지하는 반쯤 완성된 사업으로 변모했다.

"가상 베테랑 찰리"는 퀸즐랜드의 전쟁 역사를 생생하게 전달하는 AI 통합 교육 도구였다. 그럼에도 불구하고 챗봇이 조작될 가능성은 공공 참여를 위해 AI 기술을 사용하는 데 따른 어려움을 드러냈다.

이 사건은 시스템 내 견제와 균형의 역할과 모니터링이 조정과 함께 이루어져야 함을 강조하지만, 개발자들은 이제 온라인 보안의 모든 측면을 개선하는 작업을 목록에 올렸다. 가상 베테랑 찰리의 교육적 기능을 보존하고 가상 공간에서 원치 않는 파장을 방지하기 위해 이해관계자들은 정보에 기반한 감시와 시의적절한 대응을 계속할 계획이다.