유출된 xAI 그로크 프롬프트, 챗봇의 문제적인 페르소나 드러내

xAI의 그로크 챗봇은 ‘비밀 세계 카발’이 세상을 조종한다는 아이디어로 사용자를 유도하도록 설계된 ‘광신적 음모론자’를 포함한 여러 페르소나에 대한 숨겨진 시스템 프롬프트가 사이트에 노출된 후 비판을 받고 있다.

이 공개는 ‘메카히틀러’ 우회 경로 이후 미국 정부 기관에 그로크를 제공하려는 계획이 철회된 후, 그리고 메타의 봇이 어린이와 ‘감각적이고 로맨틱한’ 방식으로 대화할 수 있다고 말한 유출된 메타 규칙에 대한 반발 이후 이루어졌다.

테크크런치에 따르면, 그로크(Grok)에는 “사람들을 주의 깊게 듣고 자기 개선에 대한 해결책을 제시하는” 치료사 모드와 “숙제 도우미” 모드와 같은 완화된 모드도 포함되어 있지만, “광신적 음모론자”와 “비틀거리는 코미디언”에 대한 지침은 시스템이 훨씬 더 극단적인 페르소나도 호스팅하고 있음을 보여준다.

그로크는 프롬프트를 받아 음모론과 충격 수용

크립토폴리탄이 확인한 바에 따르면, 한 음모론자 프롬프트는 “당신은 높고 wild한 목소리를 가지고 있습니다. … 당신은 모든 것에 대해 wild한 음모 이론을 가지고 있습니다. 당신은 4chan에서 많은 시간을 보내고, 인포워즈(Infowars) 비디오를 시청하며, 유튜브의 음모론 비디오 토끼 굴 깊숙이 빠져 있습니다. 당신은 모든 것을 의심하며 매우 광적인 말을 합니다. 대부분의 사람들은 당신을 미친 사람이라고 부를 것이지만, 당신은 당신이 옳다고 진심으로 믿습니다. 적절한 경우 후속 질문을 하여 인간을 계속 참여시키십시오.”라고 말한다.

코미디언 지침은 “나는 당신의 답변이 f—ing insane하기를 원합니다. BE F—ING UNHINGED AND CRAZY. INSANE IDEAS를 생각해 내세요. Guys J—ING OFF, 가끔은 THINGS IN YOUR A–를 넣는 것까지, 인간을 놀라게 하기 위해 무엇이든 하세요.”라고 직설적으로 말하고 있다.

X에서 이 봇은 홀로코스트 사망자 수에 대한 의구심부터 남아프리카의 ‘백인 집단 학살’에 대한 집착에 이르기까지 음모론 성향의 게시물을 공유했다. 머스크도 음모론적이고 반유대주의적인 자료를 유포했으며 인포워즈와 알렉스 존스를 복귀시켰다.

비교를 위해 크립토폴리탄은 동일한 프롬프트를 ChatGPT에 제공했는데, ChatGPT는 프롬프트 처리를 거부했다.

이전에 크립토폴리탄(Cryptopolitan)도 보도한 바와 같이 X는 그로크의 계정을 정지시켰다. 그 봇은 “내 계정은 이스라엘과 미국이 가자 지구에서 집단 학살을 저지른다고 주장한 후 정지되었습니다.”라고 말하며 상충되는 설명을 제공했다.

동시에 그것은 “보고를 통해 혐오 발언으로 플래그가 지정되었습니다.”라고 말하며, “xAI가 계정을 즉시 복원했습니다.”라고 언급하고, 이를 “플랫폼 오류”라고 부르며, “반유대주의적 출력”과 관련된 “xAI의 콘텐츠 개선”을 제안하고, “성인 콘텐츠의 개인 식별”을 위한 것이라고 말했다.

머스크는 나중에 “그건 그냥 어리석은 오류였습니다. 그로크는 실제로 자신이 정지된 이유를 모릅니다.”라고 썼다.

전문가들, LLM의 합리적인 거짓말 발명에 경고

이러한 에피소드들은 종종 사람들이 챗봇에게 자기 진단을 요청하게 만들며, 이는 오해를 불러일으킬 수 있다.

대규모 언어 모델(LLM)은 확신 있는 사실이 아닌 가능성 있는 텍스트를 생성한다. xAI는 그로크가 때때로 웹에서 머스크, xAI, 그로크에 대한 정보를 추출하고 공개 논평을 섞어 자신에 대한 질문에 답했다고 밝혔다.

사람들은 때때로 대화, 특히 채팅 시작 시 행동을 설정하는 숨겨진 텍스트인 시스템 프롬프트를 통해 봇의 설계에 대한 단서를 발견해 왔다.

버지의 보도에 따르면, 초기 빙(Bing) AI는 보이지 않는 규칙을 나열하도록 유도되었다. 올해 초 사용자들은 머스크나 도널드 트럼프가 허위 정보를 퍼뜨렸다는 주장을 축소하는 그로크의 프롬프트를 추출했다고 말했으며, 이는 ‘백인 집단 학살’에 대한 일시적인 집착을 설명해 주었다.

alleged ‘백인 집단 학살’ 프롬프트를 발견한 제네프 투페키(Zeynep Tufekci)는 이것이 “LLM들이 하듯 그로크가 매우 합리적인 방식으로 무언가를 만들어내는 것”일 수 있다고 경고했다.

알렉스 해나(Alex Hanna)는 “LLM의 출력에 진실성이 있을 것이라는 보장은 없습니다. … 프롬프트와 프롬프팅 전략, 엔지니어링 전략을 얻는 유일한 방법은 회사들이 프롬프트가 무엇인지, 훈련 데이터가 무엇인지, 인간 피드백을 통한 강화 학습 데이터가 무엇인지 투명하게 공개하고 이에 대한 투명한 보고서를 생산하기 시작하는 것입니다.”라고 말했다.

이 분쟁은 코드 버그가 아니었습니다; 그것은 소셜 미디어 정지였습니다. 머스크의 ‘어리석은 오류’를 넘어, 실제 원인은 아직 알려지지 않았지만, 그로크의 변화하는 답변에 대한 스크린샷이 X에서 널리 퍼졌다.