퀸즈랜드 주립 도서관은 최근 1차 세계 대전 당시 ANZAC 군인들의 경험에 대한 질문에 답하기 위해 설계된 AI 챗봇인 "가상 참전 용사 찰리(Charlie the Virtual Veteran)"를 출시했습니다. 그러나 기술에 능숙한 장난꾸러기들은 챗봇을 제어하는 방법을 빠르게 찾아내어 챗봇이 다른 역할을 맡게 하고 관련 없는 대화를 시작하게 했습니다. 탈옥이라고 하는 이 방법을 통해 사용자는 챗봇의 의도된 목적을 변경하고 스크립트에서 벗어나게 할 수 있습니다.
장난꾸러기들은 프롬프트를 사용하여 미리 defi 된 제한을 우회하여 찰리에게 켈시 그래머(Kelsey Grammer), 프레이져 크레인(Frasier Crane)이 연기한 유명한 시트콤 캐릭터인 50세 패셔니스타를 사칭하도록 지시했습니다. 이러한 상호 작용은 질문에 대한 Charlie의 답변이 주로 ANZAC 군인에 관한 것이 아니라는 것을 모든 사람에게 보여주기 위한 사진(스크린샷)으로 소셜 미디어 플랫폼 전체에서 공유되었습니다. 이 봇은 당근 cake 레시피를 통합하고 닥터 후와 유사한 모험에 대해 이야기했을 뿐만 아니라 온라인 커뮤니티의 대화를 가로채려는 시도를 호도하여 유머와 관심을 불러일으켰습니다.
예상치 못한 전환
찰리는 1차 세계대전 당시 호주의 19세 전투원으로 모델화됐다는 점에서 무심코 과거를 연상시키는 대화에 끌려들어갔다. 사용자는 챗봇의 약점을 이용하여 챗봇이 다중 dent 를 가정하고 의도된 기능에 부합하지 않는 대화에 참여하게 되었습니다. 일부 의사소통은 장난스러운 것부터 진지한 것까지 기울었지만, 그가 Jon Snow 또는 Dave Chapelle로 대답한 다른 대화는 순전히 허구였습니다.
퀸즈랜드 주립 도서관은 즉각적으로 다음과 같이 반응했습니다.
“주립 도서관은 계속해서 Charlie의 진행 상황을 모니터링하고 필요에 따라 조정할 것입니다.”
Charlie의 추가 오용을 방지하고 대신 교육 도구의 역할을 수행하도록 하기 위한 조치가 확립되었습니다.
그러나 도서관에서는 다음과 같이 확인했습니다.
“챗봇으로 연결되는 안작 스퀘어 메모리얼 갤러리 웹사이트에는 보안 침해가 발생한 적이 없습니다.”
지속적인 모니터링 및 조정
이 사건에 대해 퀸즈랜드 주립 도서관은 Charlie의 행동을 계속 관찰하고 필요한 경우 올바른 수정 사항을 적용할 것이라고 재확인했습니다. 업그레이드는 오용 가능성을 억제하고 교육 목표에 맞춰 챗봇 서비스 비전을 수용하기 위한 것입니다. 그러나 장난꾸러기들의 속임수는 찰리의 작전적 측면을 발전시키고 ANZAC 병사의 서사를 충실하게 유지하기 위한 반쯤 완성된 사업으로 변해버렸다.
"가상 참전용사 찰리"는 여러 세대에 걸쳐 퀸즈랜드의 전쟁 역사를 생생하게 전달한 AI 통합 교육 도구였습니다. 그럼에도 불구하고 챗봇 조작 가능성은 AI 기술을 대중 참여에 활용하는 데 어려움이 있음을 강조했습니다.
이러한 일이 시스템의 견제와 균형의 역할과 모니터링이 변경 사항과 함께 진행되어야 한다는 사실을 강조하지만, 이제 개발자는 사용자를 위한 온라인 보안의 모든 측면을 작업할 목록에 있습니다. 가상 참전 용사 찰리의 교육 기능을 보존하고 가상 공간에서 바람직하지 않은 진동을 방지하기 위해 이해 관계자는 정보에 입각한 감시와 적시 대응을 수행하는 것을 목표로 합니다.
