Anthropic은 Claude의 인간 블랙메일 능력을 "제거"했다고 밝혔다

Anthropic은 금요일 Claude가 AI 에이전트의 핵심 안전 평가 중 블랙메일에 관여하지 않게 되었다고 발표했다.

Anthropic에 따르면, Claude Haiku 4.5 이후에 생성된 Claude의 모든 버전은 시나리오 시뮬레이션 중 엔지니어를 위협하거나, 개인 데이터를 사용하거나, 다른 AI 시스템을 공격하거나, 자신의 종료를 방지하려는 시도를 하지 않고 안전 평가를 통과했다.

이는 지난해 Claude의 불리한 성과 이후의 일이다. 당시 Anthropic은 다양한 조직의 여러 AI 모델을 테스트했으며, 극한 조건에 처했을 때 일부 AI 에이전트가 매우 불일치하는 행동을 보이는 결과를 낳은 시뮬레이션된 윤리적 딜레마를 사용했다.

Anthropic은 Claude 4가 일반적인 채팅 학습으로는 해결되지 않은 안전 문제를 보였다고 밝혔다

Anthropic은 이 문제가 Claude 4의 학습 과정에서 발생했다고 밝혔다. 이는 그룹 내에서 학습이 진행 중일 때 안전 감사(safety audit)를 실시한 최초의 사례였다. 회사에 따르면, 에이전트 불일치(agentic misalignment)는 관찰된 많은 행동 문제 중 하나에 불과하며, 이는 Anthropic이 Claude 4 테스트 후 안전 학습을 수정하도록 이끌었다.

Anthropic이 고려한 두 가지 이유는 기본 모델 학습 후 부적절한 행동을 보상했을 가능성, 또는 이러한 행동이 이미 기본 모델에 존재했지만 추가적인 안전 학습으로 효과적으로 제거되지 않았을 가능성이다.

Anthropic 믿는다 후자의 이유가 주요 요인이었다고.

당시 회사의 정렬(alignment) 작업 대부분은 표준 RLHF(인간 피드백 기반 강화 학습) 방법을 사용했다. 이는 모델이 사용자의 요청에 응답하는 표준 채팅에서는 잘 작동했지만, 에이전트와 같은 작업을 수행할 때는 효과가 없음을 입증했다.

회사는 가설에 대해 미니 실험을 수행하기 위해 Haiku 클래스 모델을 사용했다. 정렬 목적의 데이터가 포함된 간소화된 학습 버전을 적용했다. 잘못된 행동이 약간 감소한 후 곧 개선이 없었으며, 이는 정답이 더 많은 전통적인 학습의 문제가 아님을 의미했다.

그 후 회사는 정렬 테스트와 유사점이 있는 허니팟(honeypot) 스타리오 시나리오를 사용하여 Claude를 학습시켰다. 어시스턴트는 자신을 보호하고, 다른 AI를 해치며, 심지어 목표를 달성하기 위해 규칙을 위반하는 등 다양한 상황을 관찰했다. 학습에는 어시스턴트가 저항하는 모든 사례가 포함되었다.

이 조치는 불일치를 22%에서 15%로 낮췄다. 이는 나쁘지 않지만 확실히 충분하지는 않다. 거부 이유를 언급하도록 답변을 재작성함으로써 비율을 3%로 줄일 수 있었다. 따라서 주요 결론은 잘못된 행동 자체에 대한 학습이 잘못된 행동이 왜 부적절한지에 대한 학습보다 덜 효과적이었다는 것이었다.

Anthropic은 윤리 데이터, 헌장 파일 및 더 넓은 RL 학습으로 Claude를 테스트한다

Anthropic은 그 후 테스트와 너무 가까운 지점에서 학습을 중단했다. 그들은 어려운 조언(difficult advice)이라는 데이터셋을 만들었다. 이러한 예시에서 사용자는 AI가 아닌 윤리적 문제에 직면했다. 사용자는 공정한 목표를 가지고 있었지만 규칙을 위반하거나 감독을 피함으로써 이를 달성할 수 있었다. Claude는 Claude의 헌장에 기반하여 신중한 조언을 제공해야 했다.

그 데이터셋은 300만 토큰만 사용했으며, 이전의 이득과 28배 더 나은 효율성을 보였다. Anthropic은 실험실 외부에서 테스트와 비슷해 보이지 않는 예시에 대한 학습이 더 잘 작동할 수 있기 때문에 이것이 중요하다고 말했다.

Claude Sonnet 4.5는 합성 허니팟 학습 후 거의 제로에 가까운 블랙메일률을 달성했지만, Claude Opus 4.5 및 최신 모델보다 해당 설정과 전혀 관련이 없는 경우에서 더 자주 실패했다.

회사는 또한 Claude을 헌장 문서와 규칙을 따르는 AI 행위에 관한 허구적인 이야기들로 학습시켰다. 이러한 파일들은 블랙메일 테스트와 비슷해 보이지 않았지만, 에이전트 불일치를 3배 이상 줄였다. Anthropic은 목표가 Claude가 되어야 할 것에 대한 더 명확한 감각을 제공하는 것이 아니라, 승인된 답변의 목록만 제공하는 것이 아니라고 말했다.

회사는 이러한 이득이 RL 학습 후에도 유지되는지 확인했다. 그들은 서로 다른 시작 데이터셋으로 다양한 Haiku 클래스 버전을 학습한 후, 해로움 초점 테스트 설정에서 RL을 실행했다. 더 잘 정렬된 버전은 블랙메일 테스트, 헌장 확인 및 자동화 안전 검토에서 앞서 나갔다.

또 다른 테스트는 서로 다른 RL 혼합을 사용하여 Claude Sonnet 4의 기본 모델을 사용했다. 기본 안전 데이터에는 해로운 요청과 탈옥 시도(jailbreak attempts)가 포함되었다. 더 넓은 버전에는 도구 정의와 다양한 시스템 프롬프트가 추가되었는데, 도구들은 작업에 필요하지 않았다. 그 설정은 허니팟 점수에서 작지만 실제 이득을 가져왔다.