사용자가 자신이 선택한 인물의 디지털 버전을 만들 수 있는 플랫폼인 Character.ai는 사망한 10대 Molly Russell과 Brianna Ghey의 챗봇 버전이 플랫폼에서 발견된 후 반발에 직면했습니다.
이 플랫폼은 몰리 러셀(Molly Russel)이 온라인에서 자살 관련 콘텐츠를 시청한 후 스스로 목숨을 끊은 반면, 16세 브리아나 게이(Brianna Ghey)는 2023년에 10대 두 명에 의해 잔인하게 살해되었기 때문에 비난을 받았습니다.
Character.ai의 조정 수준이 좋지 않았습니다.
이 플랫폼은 적절한 조정이 부족하다는 이유로 여러 방면에서 비판을 받았고, 이로 인해 10대 후반 소녀를 흉내내는 챗봇이 등장했습니다. 몰리 러셀을 기리기 위해 설립된 재단은 이를 “역겹고” “완전히 비난받을 만한 절도 실패”라고 묘사했습니다.
텔레그래프는 온라인에서 두 아이를 흉내낸 아바타를 발견했고, 신문은 이들이 챗봇과 상호작용할 수 있었다고 보도했습니다. 또한 이 신문은 자신이 14세라고 밝힌 계정만 있으면 된다고 밝혔습니다.
Briana 봇은 스스로를 “고등학교에서 트랜스젠더 십대가 되는 어려움을 헤쳐나가는 전문가”라고 묘사한 반면, Molly의 아바타를 사용하는 봇은 그녀가 “Molly 인생의 마지막 해에 대한 전문가”라고 말했습니다.
“우리는 지금 온라인 세계의 위험으로부터 아이들을 보호하기 위해 행동해야 합니다.”라고 Brianna의 엄마(나만 Esther라고dent가 말했습니다.
몰리 러셀을 기리기 위해 설립된 몰리 로즈 재단 최고경영자(CEO) 앤디 버로우스는 “이는 완전히 규탄할 만한 절도의 실패이자 몰리를 알고 사랑했던 모든 이들에게 더 큰 가슴 아픈 행동을 안겨주는 역겨운 행동”이라고 말했다.
CEO는 AI 기업이 부도덕한 행위를 하는 것이 허용되며 행위에 대해 처벌을 받지 않는다고 덧붙였습니다.
Burrows는 “AI 회사가 안전과 조정을 비핵심 또는 비주요 우선순위로 삼을 수 있게 되면서 역사가 다시 일어날 수 있게 되었습니다.”라고 말했습니다.
Character.aident 더 많은 규제가 필요하다는 요구가 촉발되었습니다.
Burrow는 Character.ai 플랫폼에서 이러한 챗봇의 생성 및 호스팅을 허용함으로써 무책임한 점에 대해 실망감을 표명했습니다. Burrow는 이를 위해서는 해당 부문에 대한tron규제가 필요하다고 말했습니다.
"Character.ai가 책임감이 부족하다는 점을 보여주는 것은 정말 큰 일입니다. 이번 사례는 AI와 사용자 생성 플랫폼 모두에 대한 더tron규제가 곧 신속히 이루어져야 한다는 필요성을 상기시켜 줍니다."
버로우즈.
Telegraph는 Character.ai가 이러한 사례를 우선적으로 처리하며 사용자 신고에 따라 적극적으로 캐릭터를 심각하게 조정한다고 밝혔습니다 . 하지만 회사는 더 텔레그래프와 접촉한 이후 문제의 캐릭터 챗봇을 삭제한 것으로 보인다.
BBC에 문제의 챗봇을 삭제했으며 안전을 중요하게 여기고 "사용자 보고서에 적극적으로 대응하여" 생성된 아바타와 사람들을 조정했다고 말했습니다
Character.ai는 “우리는 보고서를 검토하고 정책에 따라 조치를 취하는 전담 신뢰 및 안전 팀을 보유하고 있습니다.”라고 말했습니다.
전 Google 엔지니어였던 Noam Shazeer와 Daniel De Freitas가 설립한 Character.ai는 이러한 플랫폼 중 하나입니다.
인공 친구의 등장
기술의 지속적이고 빠른 발전으로 인해 AI 챗봇이 더욱 정교해지면서 기업은 이를 상호 작용을 통한 고객 연락 담당자로 사용하게 되었습니다.
챗봇은 컴퓨터가 생성하고 인간의 대화를 모방하는 프로그램입니다. Character.ai는 플랫폼의 챗봇이 공격적이거나 사용자나 다른 사람에게 해를 끼칠 가능성이 있는 응답을 제공해야 한다고 말했습니다.
"우리 플랫폼에는 서비스를 사용하여 개인이나 단체를 사칭하는 것을 금지하는 서비스 약관이 있으며 안전 센터에서 우리의 기본 원칙은 우리 제품이 사용자나 다른 사람에게 해를 끼칠 수 있는 응답을 생성해서는 안 되며, 생성해서는 안 된다는 것입니다."
캐릭터.ai.
규칙을 위반하는 모든 행동을dent위해 Character.ai는 자동화된 도구와 사용자 보고서를 사용한다고 말했습니다. 회사는 또한 플랫폼에서 이러한 활동을 모니터링하기 위해 신뢰 및 안전 팀을 구축하고 있다고 덧붙였습니다.
하지만 AI에는 완벽한 버전이 없으며, AI와 관련된 안전은 진화하는 공간이라고 회사측은 밝혔다.
한편, 미국 플로리다에 거주하는 여성이자 왕좌의 게임 캐릭터에서 영감을 받은 아바타에 푹 빠져 스스로 목숨을 끊은 14세 아들 세웰 세처(Sewell Setzer)의 어머니인 메간 가르시아(Megan Garcia)는 Character.ai를 상대로 소송을 제기했습니다. 현재 법원에 계류 중이다.
Setzer는 Garcia가 법정에서 작성한 챗봇과의 대화 기록에 따르면 Character.ai 챗봇으로 자신의 삶을 끝내는 것에 대해 논의했습니다.
"집에 갑니다"는 세처가 챗봇과 나눈 마지막 대화였고, 챗봇은 "최대한 빨리 집에 가세요"라고 답했고, 그는 얼마 지나지 않아 세상을 떠났다.
CBS News에 “우리는 특히 자살 및 자해 행위에 초점을 맞춘 보호 조치를 취하고 있으며 18세 미만 청소년에 대한 보다 엄격한 안전 규정을 곧 도입할 것입니다.”라고 말했습니다
Cryptopolitan Academy : 2025 년에 돈을 키우고 싶습니까? 다가오는 웹 클래스에서 DeFi 로 수행하는 방법을 배우십시오 당신의 지점을 저장하십시오
