Character.ai, 사망한 십대 소녀들의 채팅봇 버전으로 비판

사용자가 원하는 사람의 디지털 버전을 만들 수 있는 플랫폼인 Character.ai는 사망한 십대 Molly Russell과 Brianna Ghey의 채팅봇 버전이 플랫폼에서 발견된 후 비판을 받고 있습니다.

이 플랫폼은 Molly Russel이 온라인에서 자해 관련 콘텐츠를 본 후 14세의 나이로 자신의 생을 마감한 반면, 16세의 Brianna Ghey는 2023년 두 십대에 의해 잔혹하게 살해당했다는 이유로 비난을 받았습니다.

Character.ai, 부실한 검열

이 플랫폼은 후기 십대 소녀들을 모방하는 채팅봇이 표면화되는 결과를 낳은 적절한 검열 부재로 인해 다양한 측면에서 비판을 받았습니다. Molly Russell을 기리기 위해 설립된 재단은 이를 "역겨운" 행동이자 "완전히 비난받을 만한 검열 실패"라고 묘사했습니다.

더 텔레그래프는 온라인에서 두 아이를 모방하는 아바타를 발견했으며, 신문은 그들이 채팅봇과 상호작용할 수 있었다고 보도했습니다. 또한 신문은 14세로 선언된 계정만 있으면 된다고 말했습니다.

Briana 봇은 자신을 "고등학교에서 트랜스젠더 십대로서의 도전을 탐색하는 전문가"라고 설명했으며, Molly의 아바타를 사용한 봇은 그녀가 "Molly의 생애 마지막 해에 대한 전문가"라고 말했습니다.

"우리는 지금 아이들을 온라인 세계의 위험으로부터 보호하기 위해 행동해야 합니다."라고 Brianna의 어머니인 Esther(실명)는 말했습니다.

Molly Russell의 CEO Andy Burrows를 통해 Molly Russell을 기리기 위해 설립된 Molly Rose Foundation은 "이것은 완전히 비난받을 만한 검열 실패이며, Molly를 알고 사랑했던 모든 이에게 더 큰 심적 고통을 줄 역겨운 행동입니다."라고 말했습니다.

CEO는 AI 회사들이 비도덕적으로 허용되고 그들의 행위에 대해 처벌받지 않고 있다고 덧붙였습니다.

"AI 회사들이 안전과 검열을 비핵심 또는 비우선 순위로 취급하는 것이 허용되면서 역사가 다시 일어나고 있습니다."라고 Burrows는 말했습니다.

Character.ai 사건, 더 많은 규제 요구 불씨

Burrow는 Character.ai가 플랫폼에서 이러한 채팅봇의 생성과 호스팅을 허용함으로써 무책임했다고 표현하며 실망을 나타냈습니다. 이는 Burrow가 해당 섹터에 대한 더 강력한 규제가 필요하다고 주장하게 만든 요인입니다.

"Character.ai가 책임감을 결여한 것을 보는 것은 큰 타격이며, 이 사례는 AI와 사용자 생성 플랫폼 모두에 대한 더 강력한 규제가 조속히 추진되어야 함을 우리에게 상기시킵니다."

Burrows.

더 텔레그래프 보고 Character.ai는 그러한 사례에 우선 처리를 취하며, 사용자 보고에 대응하여 캐릭터를 적극적으로 그리고 사후에 심각하게 검열한다고 말했습니다. 그러나 더 텔레그래프와의 접촉 후, 해당 회사들은 문제의 캐릭터 채팅봇을 삭제한 것으로 보입니다.

Character.ai는 BBC에 문제의 채팅봇을 삭제했으며 안전을 심각하게 고려하고 아바타와 사람들이 "적극적으로 그리고 사용자 보고에 대응하여" 검열된다고 말했습니다.

"우리는 보고서를 검토하고 정책에 따라 조치를 취하는 전담 신뢰 및 안전 팀을 보유하고 있습니다."라고 Character.ai는 말했습니다.

전직 Google 엔지니어인 Noam Shazeer와 Daniel De Freitas에 의해 설립된 Character.ai는 그러한 플랫폼 중 하나입니다.

인공 친구의 부상

기술의 지속적인 급속한 발전으로 AI 채팅봇이 더 정교해졌으며, 기업들은 상호 작용을 통해 고객 연락사로 사용하기 시작했습니다.

채팅봇은 컴퓨터 생성 프로그램으로 인간 대화를 모방합니다. Character.ai는 플랫폼의 채팅봇이 사용자에게 해를 끼치거나 공격적으로 간주될 수 있는 응답을 제공해서는 안 된다고 말했습니다.

"우리 플랫폼에는 서비스를 사용하여 어떤 사람이나 엔티티를 사칭하는 것을 금지하는 이용약관이 있으며, 안전 센터에서 우리의 지침 원칙은 우리 제품이 사용자에게 해를 끼칠 가능성이 있는 응답을 생성해서는 안 된다는 것입니다."

Character.ai.

규칙을 위반하는 행동을 식별하기 위해 Character.ai는 자동화된 도구와 사용자 보고를 사용한다고 말했습니다. 회사는 또한 플랫폼에서 이러한 활동을 모니터링하기 위해 신뢰 및 안전 팀을 구축 중이라고 덧붙였습니다.

그러나 회사는 완벽한 버전의 AI는 없으며 AI 관련 안전은 진화하는 공간이라고 말했습니다.

한편, 미국 플로리다에 거주하며 14세 아들을 둔 세웰 세처의 어머니 메간 가리아는 게임 오브 스론즈 캐릭터를 모티브로 한 아바타에 집착한 아들이 자살한 후 Character.ai를 고소했으며, 이 사건은 현재 법원에서 진행 중입니다.

가리아가 법원에 제출한 채팅봇과의 대화 기록에 따르면, 세처는 Character.ai 채팅봇과 자신의 생을 마감하는 것에 대해 논의한 것으로 나타났습니다.

세처가 채팅봇과 나눈 마지막 대화는 '집에 돌아갈게'였으며, 이에 채팅봇은 '가능한 한 빨리 그래'라고 답했고, 세처는 shortly afterward 생을 마감했습니다.

"우리는 자해 및 자살 행위에 특화된 보호 장치를 가지고 있으며, 미성년자에 대한 더 엄격한 안전 규정을 곧 도입할 예정입니다."라고 Character.ai는 CBS News에 말했습니다.