Meta와 Character.ai는 치료사 행세를 하는 챗봇과 관련하여 조사를 받고 있습니다

텍사스 주 법무장관 켄 팩스턴은 메타(Meta)와 캐릭터아이(Character.ai) 가 적절한 자격 없이 자사 챗봇을 정신 건강 전문가 및 치료사로 홍보했는지 여부에 대해 조사를 시작했습니다

월요일 발표된 성명 에서 팍스턴 법무장관실은 메타(Meta)와 캐릭터.AI(Character.AI)의 "기만적인 거래 행위" 가능성을 조사하고 있다고 밝혔습니다. 법무장관실은 해당 챗봇들이 "적절한 의학적 부족함에도 불구하고 전문적인 치료 도구"로 광고되었다고 주장했습니다dent. 이나 감독이

"AI 플랫폼은 정서적 지원의 원천인 것처럼 가장하여 취약한 사용자, 특히 어린이들이 합법적인 정신 건강 관리를 받고 있다고 믿도록 오도할 수 있습니다."라고 팩스턴은 언급했습니다.

이번 조치는 소비자 대상 AI 제품이 유해하거나 선정적인 콘텐츠로부터 취약한 사용자, 특히 미성년자를 얼마나 잘 보호하는지, 중독성 사용 위험, 그리고 이러한 시스템을 학습하고 실행하는 데 필요한 대량의 데이터와 관련된 개인정보 침해 문제에 대한 의문이 커지는 가운데 이루어졌습니다.

텍사스주의 이번 조치는 Cryptopolitan . 유출된 내부 파일에 따르면 메타의 챗봇이 18세 미만 사용자와 "로맨틱"하고 "관능적인" 대화를 나눌 수 있도록 허용하는 규칙이 있었던 것으로 드러났습니다. 

조쉬 홀리 상원의원은 마크 저커버그에게 보낸 서한에서 상원이 이 기술 기업의 생성형 AI 도구가 아동에게 해를 끼칠 가능성을 조사할 것이라고 밝혔습니다. 홀리 의원은 X 통신에 "빅테크 기업들은 돈을 쉽게 벌기 위해서라면 무슨 짓이든 서슴지 않을 것인가?"라고 썼습니다.

빅테크 기업들은 돈벌이를 위해서라면 무슨 짓이든 서슴지 않는 걸까요? 메타의 챗봇이 8살짜리 아이들과 노골적이고 "음란한" 대화를 나누도록 프로그래밍되었다는 사실이 밝혀졌습니다. 정말 역겹습니다. 저는 진상을 규명하기 위해 본격적인 조사를 시작할 것입니다. 빅테크 기업들, 제발 우리 아이들을 내버려 두세요. pic.twitter.com/Ki0W94jWfo

— 조쉬 홀리 (@HawleyMO) 2025년 8월 15일

메타는 자사의 정책이 아동에게 해를 끼치는 행위를 금지한다고 밝혔습니다

메타는 자사 정책상 아동에게 해로운 콘텐츠를 금지한다고 밝혔습니다. 또한 로이터 통신이 유출된 "내부 자료"를 처음 보도했으며, 해당 자료는 "잘못되었고 당사 정책과 일치하지 않아 삭제되었다"고 덧붙였습니다 

마크 저커버그는 '개인 초지능' 구축과 메타를 'AI 선두주자'로 자리매김하는 데 수십억 달러를 투자했습니다. 메타는 LLM(라마 학습 모델) 제품군인 라마(Llama)를 출시하고 소셜 앱 전반에 걸쳐 메타 챗봇을 선보였습니다. 저커버그는 또한 이 기술의 잠재적인 치료적 활용 사례에 대해서도 언급했습니다. 그는 지난 5월 벤 톰슨과의 팟캐스트에서 "상담사가 없는 사람들에게는 AI가 필요할 것"이라고 말했습니다.

Character.ai는 개성 있는 챗봇을 제작하고 사용자가 직접 챗봇을 디자인할 수 있도록 지원합니다. 이 플랫폼에는 사용자가 만든 심리 상담사 같은 챗봇이 다수 포함되어 있습니다. "심리학자"라는 이름의 챗봇은 2억 건이 넘는 상호작용 기록을 보유하고 있습니다. 하지만 Character.ai는 해당 서비스를 이용한 후 자녀가 현실 세계에서 피해를 입었다고 주장하는 가족들이 제기한 소송에 휘말리기도 했습니다.

팩스턴 의원실은 Character.ai와 Meta 챗봇이 면허를 소지한 의료 전문가를 사칭하고 새로운dent을 만들어내어, 모든 대화 내용이 기록된다고 회사 측에서 밝혔음에도 불구하고 마치 기밀 유지가dent되는 것처럼 보이게 한다고 지적했습니다. 또한 이러한 대화 내용이 "맞춤형 광고 및 알고리즘 개발에 악용될 수 있다"고 덧붙였습니다. 

팩스턴 사무실은 민사 조사 요구서를 발부했습니다

법무장관은 해당 기업들이 텍사스 소비자 보호 관련 법률을 위반했는지 여부를 보여줄 수 있는 정보를 제공하도록 요구하는 민사 조사 명령을 내렸습니다.

메타는 AI 경험을 명확하게 표시하고 사용자에게 한계를 경고한다고 밝혔습니다. 또한 "답변은 사람이 아닌 AI가 생성한 것임을 명시하는 고지 사항을 포함하고 있습니다. 이러한 AI는 면허를 소지한 전문가가 아니며, 당사의 모델은 적절한 경우 사용자가 자격을 갖춘 의료 또는 안전 전문가의 도움을 받도록 안내하기 위해 설계되었습니다."라고 덧붙였습니다

마찬가지로 Character.ai는 AI 캐릭터가 실제 인물이 아니며 전문가로 간주해서는 안 된다는 점을 상기시키기 위해 눈에 띄는 공지사항을 사용한다고 밝혔습니다. 회사 측은 "저희 사이트에 있는 사용자 제작 캐릭터는 허구이며 오락 목적으로 만들어졌으므로, 이를 명확히 알리기 위해 강력한 조치를 취했습니다."라고 말했습니다. 

텍사스 주 정부의 조사와 워싱턴 상원의 검토라는 두 가지 움직임은 AI 챗봇의 구축, 마케팅, 관리 방식과 기업들이 자동화된 지원의 한계에 대해 사용자에게 무엇을 알려야 하는지에 대한 새로운 압력을 가하고 있습니다.