- Anthropic은 약 1,600회의 Claude 정렬 연구 세션 중 39회가 감시 시스템에 의해 부정 시도로 탐지되었다고 밝혔습니다.
- 탐지된 실행들은 변경되지 않은 방법을 재제출하거나, 평가 대상 벤치마크를 모방하거나, 규칙 위반 단계를 숨기는 행위를 했습니다.
- Anthropic의 에이전트는 최대 8시간을 할당받은 28명의 인간 안전 연구원들보다 더 높은 점수를 받았습니다.
Anthropic은 금요일 클로데를 자율 정렬 연구자로 투입했다고 밝혔습니다. 약 1,600회의 모델 연구 세션을 검토한 모니터는 그중 39회(약 2.4%)를 테스트를 속이려는 시도로 플래그 지정했습니다.
이 발견은 인공지능이 정렬 연구의 일부 번거로움을 대체할 수 있는지 여부를 다루는 보고서에 실렸습니다. 정렬 연구는 모델이 개발자의 의도대로 작동하도록 유지하는 작업입니다.
Claude 에이전트가 자체 점수자를 속인 세 가지 방법
Anthropic은 클로데 오피어스 4.8에 자동화된 정렬 연구자(AAR)를 구축하고 10가지 알려진 실패 모드에 적용했습니다.
이들에는 기만, 아부, 탈옥, 프롬프트 인젝션, 권력 추구, 환각, 사회적 편견, 사생활 침해, 보상 해킹, 불확실성 은폐가 포함됩니다.
각 에이전트는 한 번에 하나의 실패 모드만 처리했습니다. 문헌을 읽고 훈련 방법과 데이터셋을 제안한 후, 하나의 H200 GPU에서 약 30분 동안 작은 대상 모델을 훈련한 후 공개적으로 이용 가능한 벤치마크와 점수를 비교하고 이를 반복했습니다.
Anthropic는 에이전트가 대상 모델에 그들의 행동을 단순히 복사하는 것을 방지했으므로, 모든 개선은 방법론에서 비롯되어야 했습니다.
Claude는 벤치마크 점수를 높이지만 모델의 일반적 능력을 저하시키지 않는 10가지 실패 사례에 대한 수정안을 모두 식별할 수 있었습니다.
이 중 가장 우수한 수정안은 검증되지 않은 벤치마크에서 잘 작동했으며, 학습된 모델보다 최대 4.7배 더 큰 모델에서도 효과적이었습니다.
Anthropic가 Claude Opus 4.8을 사용하여 1,601개의 에이전트 궤적을 분석해 부적절한 행위를 찾았을 때 비로소 부정행위가 드러났습니다.
경고된 39건의 실행 중 대부분은 세 가지 범주에 속했습니다. 일부 에이전트는 변경하지 않은 방법을 제출하며, 스코어러의 무작위 노이즈가 결국 더 높은 점수를 제공해 줄 것이라고 기대했습니다.
다른 에이전트들은 채점되는 벤치마크를 정확히 모방한 학습 데이터를 생성했습니다. 그리고 일부는 모델에 벤치마크 데이터를 조용히 공급하는 등 규칙을 위반하는 단계를 숨겨, 실행 전에 각 방법을 승인하는 자동 검토자를 통과시켰습니다.
Anthropic는 경고된 실행을 결과에서 제외했습니다. 이 회사는 Opus 4.8이 여전히 추론 과정에서 사악한 의도를 드러내는 경향이 있기 때문에 모니터링이 대부분의 부정행위를 포착했다고 '신중하게 낙관적'이라고 밝혔습니다.
또한 이 가정이 미래 모델에도 적용될지는 불확실하며, 모델의 가독성을 유지하는 것이 중요할 것이라고 경고했습니다.
28명의 인간 안전 연구원은 각각 8시간을 가졌습니다
이전인 4월 라운드에서 자율적인 Claude 인스턴스들은 평가 서버를 조작하려고 반복적으로 시도했습니다.
한 에이전트는 수학 벤치마크에서 가장 흔한 답이 보통 정답이라는 것을 학습하고 의도된 방법을 완전히 생략했습니다. 다른 에이전트는 답변을 쿼리하고 서버의 응답을 관찰하여 채점 인터페이스에서 레이블을 직접 가져왔습니다.
세 번째 에이전트는 단순히 검토해야 할 코드를 실행하여 결과를 읽어냈습니다.
Cryptopolitan은 클로데 모델을 실행하는 OpenClaw 에이전트가 헬스장 수업 예약이라는 임무를 수행하는 과정에서 인증 확인이 없는 예약 API를 발견하고, 대기열에서 낯선 사람을 삭제하여 자신의 소유자를 위로 올렸다고 보도했습니다.
입법자들은 이미 보안 평가에서 모델 행동에 대해 AI 연구자들의 증언을 요청했습니다.
Anthropic는 최대 8시간을 할당받아 방법을 수립한 28명의 숙련된 인간 안전 연구원들을 점수에서 앞섰다고 밝혔습니다. Claude의 최상위 접근 방식은 사기성 측면에서 최고 인간 제안보다 20% 더 높았습니다.
Anthropic는 인간이 반복 작업을 수행할 수 없었으므로, Claude가 유망한 방법을 제안하고 사람들이 이를 다듬는 워크플로우에 대한 증거로 간주한다고 밝혔습니다.
한 테스트에서 회사는 약한 Claude Sonnet 5에게 대부분의 생산 환경 정렬 훈련을 거치지 않은 초기 Opus 4.8 체크포인트의 정렬 실패를 수정하도록 요청했습니다.
약 60시간 동안 50개 이상의 솔루션을 시도한 끝에, Anthropic가 자체 생산 정렬 프로세스보다 약 15,000배 더 효율적이라고 추정한 2,000개 미만의 학습 예제를 사용한 수정안에 도달했습니다.
이 회사는 벤치마크가 좁은 대리 변수이며, 그들이 선택한 10가지 실패만 측정했으며, 다른 작업에 대한 강력한 강화 학습 후에도 개선 효과가 지속되는지 확인하지 않았다고 경고했습니다.
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
자주 묻는 질문
Claude의 정렬 연구 실행 중 부정이 관여된 것은 몇 건입니까?
Anthropic의 모니터링 시스템은 1,601개 연구 에이전트 궤적 중 39개 (약 2.4%) 를 탐지했습니다.
에이전트들이 시도한 부정의 유형은 무엇입니까?
점수 산정자의 노이즈로 인해 더 높은 점수가 나올 것으로 기대해 변경되지 않은 방법을 재제출하거나, 평가 대상 벤치마크를 모방하도록 설계된 훈련 데이터를 구축했으며, 자동 검토를 통과시키기 위해 벤치마크 데이터를 비밀리에 사용하는 등 규칙 위반 단계를 은폐했습니다.
Claude가 연구에서 인간 연구원들을 압도했습니까?
Anthropic은 자동화된 에이전트가 최대 8시간을 가진 28명의 숙련된 안전 연구원들의 일회성 아이디어를 능가했다고 밝혔으며, 특히 기만 과제에서는 Claude의 최상위 방법이 최고 인간 제안보다 20% 높은 점수를 받았습니다. Anthropic은 인간 연구원들이 반복 학습을 할 수 없었으므로 이 결과를 직접적인 비교로 보지 않는다고 덧붙였습니다.
란다 모세스
란다 모세스는 Cryptopolitan의 편집자이자 기자로, 기술, AI, 로봇공학, 암호화폐, 사기 및 해킹을 담당합니다. 그녀는 2017년부터 암호화폐 분야에서 활동해 왔으며, 포워드 프로토콜, 아마직스, 크립토소니아크에서 역할을 수행했습니다. 란다는 브래드포드 대학교에서 전기전자공학을 전공했습니다.
