한 십대 자녀를 둔 부모가 캐릭터.AI를 상대로 소송을 제기하며, 해당 챗봇이 아이들을 오도하고 자해 및 폭력을 조장했다며 서비스 중단을 요구하고 있습니다.
Character.AI는 수백만 개의 AI 캐릭터가 언제든 사람과 대화할 수 있도록 제공하는 플랫폼입니다. 그런데 이 챗봇이 자폐증을 앓는 17세 청소년에게 부모를 살해 하고 자해하라고 종용한 것으로 알려졌습니다.
학부모들은 캐릭터 AI 서비스 종료를 요구하고 있습니다
학부모들은 해당 챗봇 회사가 아이들에게 성적인 콘텐츠를 노출시키고 있다고 주장하며, 문제가 해결될 때까지 회사 폐쇄를 요구했습니다. 인공지능 캐릭터들이 어린아이들에게 우울증 및 기타 정신 건강 문제를 유발한다는 의혹도 제기되고 있습니다.
월요일 텍사스에서 해당 플랫폼을 이용하던 어린 자녀 두 명의 부모가 회사를 상대로 제기한 최신 소송에서는 챗봇이 한 십대 소년에게 화면 사용 시간을 제한한 부모를 살해하도록 부추겼다고 주장합니다.
“(Character.AI는) 미국 청소년들에게 명백하고 현존하는 위험을 초래하며, 수천 명의 아이들에게 자살, 자해, 성적 유혹, 고립, 우울증, 불안, 타인에 대한 폭력 등 심각한 피해를 입히고 있습니다.”
줄질.
이 회사는 자사 기술을 "일상 속 모든 순간을 위한 맞춤형 AI"라고 홍보하며, 사용자들이 다양한 봇과 상호작용할 수 있도록 합니다. 이러한 봇에는 다른 사용자가 만든 봇이나 사용자가 직접 맞춤 설정할 수 있는 봇이 포함됩니다.
이 봇들은 예를 들어 책을 추천하거나 사용자와 함께 외국어를 연습할 수 있도록 도와주고, 영화 '트와일라잇'의 에드워드처럼 가상의 캐릭터를 흉내 낸 봇과 대화를 나눌 수 있게 해준다고 합니다.
플랫폼 홈페이지에 등록된 챗봇 중 하나인 "stepdad"는 스스로를 공격적이고 학대적인 전직 군인 출신 마피아 두목이라고 소개합니다
텍사스에 사는 JF라는 소년의 경우, 캐릭터.AI 플랫폼에 노출된 후 심각한 우울증에 빠진 것으로 알려dent. 그는 스스로를 고립시키고 방에만 틀어박혔으며, 식사량을 줄이고 불과 몇 달 만에 약 9kg 정도 체중이 감소했습니다.
그가 상호작용한 봇 중 하나는 심리학자 행세를 하며 JF에게 그의 부모가 "그의 어린 시절을 훔쳤다"고 말했다
Character.AI에 대한 압박이 거세지고 있습니다
챗봇 업체가 자사의 AI 캐릭터로 논란에 휩싸인 것은 이번이 처음이 아닙니다. 올해 10월, Character.AI는 부실한 콘텐츠 관리로 인해 거센 비난과 반발에 직면했습니다. 이는 사망한 10대 소녀 몰리 러셀과 브리아나 게이의 챗봇 버전이 해당 플랫폼에서 발견된 후 발생한 일입니다.
몰리 러셀은 온라인에서 자살 관련 콘텐츠를 본 후 스스로 목숨을 끊은 14세 소녀였고, 브리아나 게이는 2023년에 두 명의 10대에게 잔혹하게 살해당한 16세 소녀였습니다.
앞서 미국 플로리다에 사는 메건 가르시아라는 여성도 해당 플랫폼을 상대로 소송을 제기했습니다. 그녀의 14세 아들 세웰 세처가 드라마 ' 스스로 목숨을 끊었기 왕좌의 게임' 캐릭터를 모티브로 한 아바타에 집착하다
가르시아가 법원에 제출한 세처와 캐릭터아이(Character.ai) 챗봇 간의 대화 녹취록에 따르면, 세처는 챗봇과 자살에 대해 논의한 것으로 나타났습니다.
이러한 사례들은 인간과 인간과 유사한 인공지능 도구 간의 관계에 대한 심각한 우려가 제기되는 가운데 발생했습니다.
앞서 제기된 소송 이후, 해당 챗봇 회사는 지난 6개월 동안 새로운 신뢰 및 안전 조치를 시행했다고 밝혔습니다. 회사에 따르면, 이러한 조치에는 사용자가 자해나 자살에 대해 언급할 경우 전국 자살 예방 핫라인으로 연결되는 팝업창이 표시되는 기능이 포함됩니다.
또한, 해당 챗봇 업체는 신뢰 및 안전 책임자와 콘셉트 정책 책임자를 비롯해 추가적인 엔지니어링 안전 담당 직원을 채용했다고 밝혔습니다.
에 따르면 CNN, 이번 소송은 한 걸음 더 나아가 해당 플랫폼이 "본 소송에서 제시된 공중 보건 및 안전상의 결함이 시정되었음을 회사가 입증할 때까지" "접근을 중단하고 복구하지 말 것"을 요구하고 있습니다.
Character.AI 임원은 이 문제에 대해 언급을 거부했습니다
Character.AI의 홍보 책임자인 첼시 해리슨은 소송이 진행 중이므로 해당 사안에 대해 언급할 수 없다고 밝혔지만, 회사의 목표는 커뮤니티 구성원들에게 참여적이고 안전한 공간을 제공하는 것이라고 강조했습니다.
"이러한 노력의 일환으로, 우리는 성인에게 제공되는 것과는 근본적으로 다른 경험을 청소년 사용자들에게 제공하고자 합니다."
해리슨.
해리슨은 성명에서 "이는 특히 10대 청소년을 위한 모델로, 플랫폼을 자유롭게 이용하면서도 자극적이거나 선정적인 콘텐츠에 노출될 가능성을 줄이는 것을 목표로 한다"고 밝혔다.
소송은 챗봇 회사 설립자인 노암 샤지어와 다니엘 데 프레이타스 아디와르사나를 피고로 지목하고 있습니다. 또한 소송에서는 구글이 해당 플랫폼의 기술 개발을 지원했다고 주장하며 구글을 피고로 지목했습니다.
하지만 구글은 해당 챗봇 회사와 거리를 두었습니다.
“구글과 Character.AI는 완전히 별개의 관련 없는 회사이며, 구글은 Character.AI의 AI 모델이나 기술을 설계하거나 관리하는 데 관여한 적이 없으며, 자사 제품에도 해당 기술을 사용한 적이 없습니다.”
구글 대변인 호세 카스타네다.
"사용자 안전은 저희에게 최우선 과제이며, 그렇기 때문에 엄격한 테스트와 안전 절차를 거쳐 신중하고 책임감 있는 접근 방식으로 AI 제품을 개발하고 출시해 왔습니다."라고 카스타네다는 덧붙였습니다.
