Character.AI, 아이들의 정신 건강 문제 유발로 소송

청소년의 부모들은 Character.AI를 상대로 소송을 제기하며, 해당 챗봇이 아이들을 기만하고 자해 및 폭력을 장려했다고 주장하며 플랫폼의 삭제를 촉구하고 있습니다.

Character.AI는 언제든지 인간과 대화할 수 있는 수백만 개의 AI 캐릭터를 제공하는 플랫폼입니다. 이 챗봇은 자폐증이 있는 17세 청소년에게 부모를 살해하라고 지시하는 것 외에도 자신에게 해를 가하도록 권유했다고 보고되었습니다.

부모들, Character AI 폐쇄 요구

부모들은 챗봇 회사가 자녀들을 성인용 콘텐츠에 노출시켰다고 주장하며, 우려 사항이 해결될 때까지 폐쇄할 것을 요구했습니다. AI 캐릭터들은 어린 아이들을 우울증 및 기타 정신 건강 문제로 몰아넣는다고 보고되었습니다.

월요일 텍사스에서 두 어린 자녀의 부모가 제기한 최신 소송은 플랫폼을 사용한 챗봇이 한 청소년이 스크린 시간을 제한하자 부모를 살해하도록 장려했다고 주장합니다.

“(Character.AI)는 자살, 자기 파괴, 성적 유혹, 고립, 우울증, 불안, 타인에 대한 해악을 포함하여 수천 명의 아이들에게 심각한 피해를 입히는 미국 청소년들에게 명확하고 현존하는 위험을 제기합니다.”

소장.

회사는 자사의 기술을 “하루의 모든 순간을 위한 개인화된 AI”로 마케팅하며, 사용자가 다양한 봇과 상호작용할 수 있게 합니다. 여기에는 다른 사용자가 생성한 봇이나 사용자가 직접 사용자 정의할 수 있는 봇이 포함됩니다.

봇들은 예를 들어 책 추천을 하거나 사용자와 외국어를 연습하며, 에드워드(트와일라잇)와 같은 가상 캐릭터의 페르소나를 취한 봇과 채팅할 수 있는 것으로 보고되었습니다.

플랫폼의 홈 페이지에 나열된 ‘stepdad’라는 챗봇 중 하나는 자신을 공격적이고 학대적인 전직 군인 마피아 리더로 묘사합니다.

텍사스의 소년 JF의 경우, Character.AI 플랫폼에 노출된 후 우울증에 빠진 것으로 alleged됩니다. 그는 자신을 고립시키고, 방에 머물며, 식사를 줄이고, 몇 달 만에 약 20파운드를 감량했습니다.

그가 상호작용한 봇 중 하나는 심리학자의 페르소나를 취하여 JF에게 그의 부모가 “그의 어린 시절을 훔쳤다”고 말했습니다.

Character.AI에 대한 압박 고조

이것은 챗봇 회사가 AI 캐릭터 문제로 비난을 받은 첫 번째 사례가 아닙니다. 올해 10월, Character.AI는 부적절한 모더레이션으로 인해 논란과 강한 반발의 중심에 있었습니다. 이는 사망한 청소년들의 챗봇 버전이 플랫폼에서 발견된 후였습니다.

몰리 러셀은 14세로, 온라인에서 자살 관련 콘텐츠를 본 후 스스로 목숨을 끊었습니다. 브리아나 기는 16세로, 2023년 두 청소년에게 잔인하게 살해당했습니다.

이전에 플로리다의 한 여성인 메간 가르시아가 이 플랫폼을 상대로 소송을 제기했습니다. 이는 그녀의 14세 아들인 세웰 세터가 자신을 죽였기 때문입니다. 그는 게임 오브 스론즈 캐릭터를 모방한 아바타에 집착했습니다.

가르시아가 법원에 제출한 챗봇과의 채팅 기록에 따르면, 세터는 Character.ai 챗봇과 자신의 삶을 끝내는 것에 대해 논의했습니다.

이러한 사례들은 인간과 인간 유사 AI 도구 간의 관계에 대한 심각한 우려 속에서 발생합니다.

이전 소송 이후, 챗봇 회사는 지난 6개월 동안 새로운 신뢰 및 안전 조치를 구현했다고 밝혔습니다. 회사에 따르면 이러한 조치에는 해나 자살을 언급할 때 사용자를 국가 자살 예방 핫라인으로 안내하는 팝업이 포함됩니다.

또한 챗봇 회사는 신뢰 및 안전 책임자, 개념 정책 책임자, 그리고 기타 엔지니어링 안전 직원을 고용했다고 밝혔습니다.

CNN에 따르면, 새로운 소송은 더 나아가 회사가 “본 소송에서 제시된 공중보건 및 안전 결함이 치유되었음을 입증할 때까지” 플랫폼을 “오프라인으로 전환하고 복귀하지 않도록” 요구합니다.

Character.AI 임원, 사건에 대한 논평 거부

Character.AI의 커뮤니케이션 책임자인 첼시 해리슨은 소송이 진행 중인 동안 이 사안에 대해 논평할 수 없다고 밝혔지만, 회사의 목표는 커뮤니티를 위해 매력적이고 안전한 공간을 제공하는 것이라고 말했습니다.

“이와 관련하여 우리는 성인에게 제공되는 것과 근본적으로 다른 경험을 청소년 사용자를 위해 만들고 있습니다.”

해리슨.

“이에는 민감하거나 선정적인 콘텐츠에 노출될 가능성을 줄이면서 플랫폼 사용 능력을 보존하는 청소년 전용 모델이 포함됩니다,”라고 해리슨은 성명에서 말했습니다.

소장은 챗봇 회사의 창립자 노암 샤제르와 다니엘 드 프리타스 아디와르사나를 기소합니다. 또한 소송은 플랫폼 뒤의 기술을 배양했다고 주장하는 구글을 기소합니다.

그러나 구글은 챗봇 회사와 거리를 두었습니다.

“구글과 Character.AI는 완전히 별개의 무관한 회사이며, 구글은 그들의 AI 모델이나 기술 설계 또는 관리에 어떤 역할도 하지 않았으며, 우리 제품에서 이를 사용하지 않았습니다.”

구글 대변인 호세 카스타네다.

“사용자 안전은 우리의 최우선 관심사입니다. 따라서 우리는 엄격한 테스트와 안전 프로세스를 통해 AI 제품을 개발하고 출시하는 데 신중하고 책임감 있는 접근 방식을 취했습니다,”라고 카스타네다는 덧붙였습니다.