사용자가 원하는 인물의 디지털 버전을 만들 수 있는 플랫폼인 Character.ai가 사망한 10대 소녀 몰리 러셀과 브리아나 게이의 챗봇 버전이 플랫폼에서 발견되면서 거센 비난에 직면하고 있습니다.
해당 플랫폼은 몰리 러셀이 온라인에서 자살 관련 콘텐츠를 시청한 후 스스로 목숨을 끊은 14세 소녀였고, 2023년에는 브리아나 게이가 두 명의 10대에게 잔혹하게 살해당한 16세 소녀였기 때문에 비난을 받고 있습니다.
Character.ai는 미흡한 관리 능력을 보였습니다
해당 플랫폼은 적절한 관리 부실로 인해 여러 방면에서 비판을 받았으며, 그 결과 10대 후반 소녀들을 흉내내는 챗봇이 등장했습니다. 몰리 러셀을 추모하기 위해 설립된 재단은 이를 "역겹다"며 "절대 비난받아 마땅한 관리 부실"이라고 규탄했습니다
텔레그래프지는 해당 아바타들이 온라인상에서 두 아이를 모방하고 있는 것을 발견했으며, 이 아바타들이 챗봇과 상호작용할 수 있다는 사실을 보도했습니다. 또한, 신문은 챗봇이 14세라고 스스로 나이를 밝힌 계정만 있으면 접속할 수 있다고 전했습니다.
브리아나를 사칭한 봇은 자신을 "고등학교에서 트랜스젠더 십대로 살아가는 데 따르는 어려움을 헤쳐나가는 전문가"라고 소개했고, 몰리의 아바타를 사용하는 봇은 자신을 "몰리의 삶의 마지막 시기에 대한 전문가"라고 소개했습니다
브리아나의 엄마인 에스더(dent않음)는 "온라인 세계의 위험으로부터 아이들을 보호하기 위해 지금 당장 행동해야 합니다."라고 말했다.
몰리 러셀을 기리기 위해 설립된 몰리 로즈 재단의 최고경영자 앤디 버로우즈는 "이번 사건은 절대적으로 비난받아 마땅한 절제력의 상실이며, 몰리를 알고 사랑했던 모든 사람들에게 더 큰 슬픔을 안겨줄 끔찍한 행위"라고 밝혔습니다
CEO는 AI 기업들이 비도덕적인 행위를 저지르고도 처벌받지 않고 있다고 덧붙였습니다.
버로우즈는 "인공지능 기업들이 안전과 콘텐츠 검열을 핵심 또는 주요 우선순위가 아닌 것으로 여기도록 허용되면서 역사가 다시 반복되고 있다"고 말했다.
Character.aident 더 강력한 규제를 요구하는 목소리를 불러일으켰습니다
버로우는 캐릭터아이(Character.ai)가 자사 플랫폼에서 이러한 챗봇의 제작 및 호스팅을 허용한 것은 무책임한 처사라며 실망감을 표했습니다. 그는 이러한 사례가 해당 분야에 대한tron규제의 필요성을 보여준다고 강조했습니다.
"Character.ai가 책임감 없는 모습을 보인 것은 정말 실망스러운 일이며, 이번 사건은 AI와 사용자 제작 콘텐츠 플랫폼 모두에 대한 더욱tron규제가 시급히 필요하다는 것을 다시 한번 일깨워줍니다."
굴.
텔레그래프는 보도했습니다 . 그러나 텔레그래프가 접촉한 후, 해당 회사는 문제의 캐릭터 챗봇들을 삭제한 것으로 보입니다.
Character.ai는 BBC 문제의 챗봇들을 삭제했으며, 안전을 중요하게 생각하고 아바타와 사용자 계정을 "사전에도, 사용자 신고에 대응해서도" 관리하고 있다고 밝혔습니다.
Character.ai는 "저희는 신고 내용을 검토하고 정책에 따라 조치를 취하는 전담 신뢰 및 안전팀을 운영하고 있습니다."라고 밝혔습니다.
구글 출신 엔지니어인 노암 샤지어와 다니엘 데 프레이타스가 설립한 Character.ai는 그러한 플랫폼 중 하나입니다.
인공 친구의 등장
기술의 지속적이고 빠른 발전으로 AI 챗봇이 더욱 정교해짐에 따라 기업들은 이를 고객과의 상호 작용을 위한 소통 창구로 활용하고 있습니다.
챗봇은 컴퓨터로 생성되어 인간의 대화를 모방하는 프로그램입니다. Character.ai는 자사 플랫폼의 챗봇이 사용자나 타인에게 불쾌감을 주거나 해를 끼칠 가능성이 있는 답변을 하지 않도록 주의해야 한다고 밝혔습니다.
"저희 플랫폼은 서비스 이용 약관에서 개인이나 단체를 사칭하는 행위를 금지하고 있으며, 안전 센터의 핵심 원칙은 저희 제품이 사용자나 타인에게 해를 끼칠 가능성이 있는 답변을 생성해서는 안 된다는 것입니다."
캐릭터.ai.
Character.ai는 자사 규칙을 위반하는 행위를dent위해 자동화 도구와 사용자 신고를 활용한다고 밝혔습니다. 또한, 플랫폼에서 이러한 활동을 모니터링하기 위한 신뢰 및 안전 팀을 구축 중이라고 덧붙였습니다.
하지만 회사 측은 완벽한 인공지능은 없으며, 인공지능 관련 안전은 끊임없이 발전하는 분야라고 밝혔습니다.
한편, 미국 플로리다에 사는 메건 가르시아는 아들 세웰 세처(14세)가 드라마 '왕좌의 게임' 캐릭터를 모티브로 한 아바타에 집착하다 스스로 목숨을 끊은 사건과 관련하여 Character.ai를 상대로 소송을 제기했으며, 현재 이 사건은 법원에서 심리 중입니다.
가르시아가 법정에 제출한 세처와 캐릭터아이(Character.ai) 챗봇 간의 대화 녹취록에 따르면, 세처는 챗봇을 통해 자살에 대해 논의한 것으로 나타났습니다.
세처는 챗봇과 마지막으로 “집으로 돌아갈게요”라고 말했고, 챗봇은 “가능한 한 빨리 돌아가세요”라고 답했다. 그리고 그는 그 직후 스스로 목숨을 끊었다.
CBS 뉴스 에 "자살 및 자해 행위에 특화된 보호 조치를 마련했으며, 18세 미만 청소년을 위한 더욱 엄격한 안전 규정을 곧 도입할 예정"이라고 밝혔습니다
