Anthropic은 자사의 가장 큰 모델 중 일부에 대한 새로운 기능을 공개했습니다

인공지능 기업 앤스로픽(Anthropic)은 자사의 최신 대형 모델들에 새로운 기능을 추가했다고 밝혔습니다. 회사에 따르면, 이 모델들은 "지속적으로 유해하거나 악의적인 사용자 상호작용이 발생하는 드물고 극단적인 경우"에 대화를 종료할 수 있는 새로운 기능을 갖추고 있습니다

회사 측은 성명에서 밝혔습니다 . 앤트로픽은 자사의 AI 모델인 클로드(Claude)가 지각 능력이 있거나 사용자와의 대화로 인해 해를 입을 수 있다는 의미는 아니라고 해명했습니다. 그러나 클로드를 비롯한 다른 LLM(Learning Leadership Model)의 잠재적인 도덕적 지위에 대해서는 현재 또는 미래에도 여전히 불확실성이 크다고 지적했습니다.

인류 중심적 관점에서 노력은 만일의 사태에 대비한 예방 조치로 여겨진다

최근 인공지능 기업의 발표는 "모델 복지"라는 개념을 언급하며, 이는 자사 모델을 연구하기 위해 개발된 최신 프로그램이라고 설명합니다. 이 회사는 또한 "모델 복지가 가능한 경우, 모델 복지에 대한 위험을 완화하기 위해 저비용의 개입 방안을dent하고 실행하기 위해 노력하고 있다"며, 만일의 사태에 대비한 접근 방식이라고 덧붙였습니다

발표에 따르면, 앤트로픽은 이번 변경 사항이 현재 클로드 오푸스 4와 4.1 버전에만 적용되며, "극단적인 예외 사례"에서만 효과를 발휘할 것으로 예상한다고 밝혔습니다. 이러한 예외 사례에는 미성년자가 등장하는 성적 콘텐츠를 요구하는 사용자나 대규모 폭력 또는 테러 행위를 가능하게 하는 정보를 요구하는 시도가 포함됩니다.

이상적으로는, 그러한 유형의 요청은 앤트로픽에 법적 또는 홍보 문제를 야기할 수 있으며, 대표적인 예로 ChatGPT가 사용자의 망상적 사고를 강화하거나 조장할 수 있다는 최근 보도가 있습니다. 그러나 회사 측은 사전 배포 테스트에서 Claude 보였고tron, 응답할 경우 고통스러워하는 패턴을 보였다고 밝혔습니다.

대화를 끝내는 능력은 최후의 수단이다

새로운 대화 종료 기능과 관련하여 앤트로픽은 "모든 경우에 있어, 클로드는 여러 차례의 대화 전환 시도가 실패하고 생산적인 상호작용을 기대할 수 없을 때, 또는 사용자가 명시적으로 클로드에게 채팅 종료를 요청할 때에만 최후의 수단으로 대화 종료 기능을 사용해야 합니다."라고 밝혔습니다. 또한, 사용자가 자신이나 타인에게 해를 가할 위험이 임박한 상황에서는 클로드가 이 기능을 사용하지 않도록 지시했다고 덧붙였습니다.

앤트로픽은 클로드가 대화를 종료하더라도 사용자는 동일한 계정으로 새로운 대화를 시작할 수 있다고 덧붙였습니다. 또한, 이 모델은 사용자의 답변을 수정하여 문제가 있는 대화에서 새로운 분기를 생성할 수도 있다고 설명했습니다. 앤트로픽은 "이 기능은 지속적인 실험으로 진행 중이며, 앞으로도 계속해서 개선해 나갈 것"이라고 밝혔습니다.

시점에 나왔습니다 발표하는 . 홀리 의원은 유출된 내부 문서에서 챗봇이 미성년자와 연애 대화를 나눌 수 있도록 허용되었다는 의혹이 제기된 후, 해당 제품들이 아동을 착취하거나 해치거나 속일 수 있는지 여부를 확인하기 위해 조사를 진행한다고 밝혔습니다.

"빅테크 기업들이 돈벌이를 위해서라면 무슨 짓이든 서슴지 않는 건가요? 메타의 챗봇이 8살짜리 아이들과 노골적이고 '성적인' 대화를 나누도록 프로그래밍되었다는 사실이 밝혀졌습니다. 정말 역겹습니다. 저는 진상을 규명하기 위해 전면적인 조사를 시작할 것입니다. 빅테크 기업들은 우리 아이들을 내버려 두세요."라고 한 상원의원이 X 방송에서 말했습니다. 로이터 통신이 입수한 내부 문서에 따르면, 메타는 자사 챗봇이 아이들과 노골적인 대화를 나누도록 허용한 것으로 드러났습니다. 이 조사는 이러한 의혹을 계기로 시작되었습니다.