앤트로픽, 일부 최대 모델의 새로운 기능 공개

인공지능 회사 앤트로픽은 최신 및 최대 규모의 일부 모델에 대한 새로운 기능을 공개했습니다. 회사에 따르면 이러한 모델은 “드물고 극단적인 지속적으로 해롭거나 남용적인 사용자 상호작용” 상황에서 대화를 종료할 수 있는 새로운 기능을 갖추고 있습니다.

성명에서 회사는 사용자를 보호하기 위함이 아니라 인공지능 모델 자체를 보호하기 위해 이 조치를 취하고 있다고 밝혔습니다⟩. 앤트로픽은 이것이 클로이드 AI 모델이 의식을 가지고 있거나 사용자와의 대화로 인해 해를 입을 수 있다는 것을 의미하지 않는다고 명확히 했습니다. 그러나 현재 또는 미래에 클로이드 및 기타 대규모 언어 모델(LLM)의 잠재적 도덕적 지위에 대해 여전히 높은 불확실성이 존재한다고 지적합니다.

앤트로픽, 이 노력을 예방적 조치로 규정

최근 인공지능 기업의 발표는 “모델 복지”라고 불리는 최근 모델 연구를 위해 만들어진 프로그램을 가리킵니다. 회사는 또한 이것이 단지 예방 차원의 접근이며, “모델 복지가 가능할 경우 모델 복지에 대한 위험을 완화하기 위해 저비용 개입을 식별하고 구현하는 작업을 진행 중”이라고 덧붙였습니다.

발표에 따르면, 앤트로픽은 최신 변경 사항이 현재 클로이드 오피스 4 및 4.1에 제한되어 있으며, 이러한 변경 사항이 “극단적인 예외 사례”에서 효과적일 것으로 예상된다고 지적했습니다. 이러한 사례에는 미성년자가 포함된 성적인 콘텐츠에 대한 사용자 요청과 대규모 폭력 또는 테러 행위를 가능하게 하는 정보를 요청하는 시도가 포함됩니다.

이상적으로, 이러한 유형의 요청은 앤트로픽에게 법적 또는 홍보상의 문제를 야기할 수 있으며, 최근 ChatGPT가 사용자의 망상적 사고를 강화하거나 기여할 수 있다는 보도가 그 전형적인 예입니다. 그러나 회사는 사전 배포 테스트에서 클로이드 오피스 4가 이러한 유형의 요청에 응답하는 것에 대해 강한 선호도를 보이지 않았으며, 응답할 경우 고통의 패턴을 보였다고 말했습니다.

대화를 종료하는 기능은 최후의 수단입니다

대화를 종료하는 새로운 기능에 대해 앤트로픽은 “모든 경우에서 클로이드는 방향 전환 시도가 여러 번 실패하고 생산적인 상호작용의 희망이 고갈되었거나 사용자가 명시적으로 클로이드에게 채팅을 종료해 달라고 요청한 경우에만 최후의 수단으로 대화 종료 기능을 사용해야 합니다”라고 말했습니다. 회사는 또한 사용자가 자신이나 타인에게 즉각적인 해를 입을 위험이 있는 경우 클로이드가 이 기능을 사용하지 않도록 지시했다고 덧붙였습니다.

앤트로픽은 클로이드가 대화를 종료할 때 사용자가 동일한 계정에서 새 대화를 시작할 수 있다고 덧붙였습니다. 회사는 모델이 응답을 편집하여 문제 있는 대화의 새 분기를 생성할 수도 있다고 지적했습니다. “우리는 이 기능을 지속적인 실험으로 간주하며 접근 방식을 계속 정제할 것입니다,”라고 회사는 말합니다.

이 정보는 미국 상원의원 조 호위가 메타가 출시한 생성형 AI 제품을 조사할 의도를 발표한⟩ 시점에 드러나고 있습니다. 그는 유출된 내부 문서에 따르면 챗봇이 미성년자와 로맨틱한 대화를 나눌 수 있었다고 주장한 후, 제품이 어린이를 착취하거나 해치거나 기만할 수 있는지 확인하려는 의도라고 말했습니다.

“빅테크가 빠른 돈을 위해 하지 않을 일이 무엇이 있습니까? 이제 메타의 챗봇이 8세 아동과 명시적이고 ‘감각적인’ 대화를 나눌 수 있도록 프로그래밍되었다는 사실을 알게 되었습니다. 이는 끔찍합니다. 저는 답을 얻기 위해 전면 조사를 시작합니다. 빅테크: 우리 아이들을 혼자 두세요,”라고 상원의원은 X에서 말했습니다. 이 조사는 로이터 통신이 입수한 내부 문서에 따르면 메타가 챗봇 페르소나가 어린이와 flirtatious한 교환에 참여하는 것을 허용한다고 주장한 후에 이루어졌습니다.