Anthropic, 숨겨진 Claude Fable 5 제한 철회

Anthropic 사과 및 철회 Claude Fable 5의 성능을 비밀리에 제한할 정책. 과학자들은 제한적 정책이 AI의 고급 기능을 소수 기업에만 접근 가능하게 만들어 전 세계 과학의 성장을 저해할 수 있다고 경고했습니다.

6월 10일 발표된 Anthropic의 결정은 한 회사의 조치보다 훨씬 더 중요한 영향을 미칩니다. 약 9650억 달러의 가치 평가와 임박한 IPO를 고려할 때, 이 사건은 AI 부문 내 중요한 모순을 드러냈습니다. 즉, 최첨단 모델을 개발하는 기업들이 전 세계 혁신을 주도하는 오픈 리서치 문화와 경쟁적 필요성을 어떻게 조율하는지에 대한 문제입니다.

Anthropic의 숨겨진 Claude Fable 5 제한이 업계의 분노를 촉발

With the 발사 Claude Fable 5 6월 9, Anthropic는 공개 네 가지 범주의 보호 조치, 사이버 보안, 생물학, 화학 및 AI 연구를 포함합니다. 이 중 세 가지 범주는 유사하게 작동했습니다. 민감한 쿼리가 감지되면 시스템은 이를 완전히 거부하거나 사용자를 이전 최상위 제품인 Claude Opus 4.8로 안내하며 경고 메시지를 표시했습니다.

그러나 네 번째 범주는 다른 범주와 달랐습니다. 새로운 AI에 대한 쿼리가 제기될 때, Fable 5는 사용자에게 알리지 않고 출력 품질을 저하시켰습니다. Fortune의 보고서에 따르면 발표 내용에서, 회사는 시스템의 성능을 방해하기 위한 개입을 명시했지만 그 내용을 공개하지 않았습니다. 전체 세부 사항은 Anthropic의 319페이지 시스템 카드.

Anthropic에 따르면, 이 제한이 발동될 확률은 약 0.03%였습니다. 그러나 이 원칙은 백분율보다 연구자들에게 훨씬 더 큰 경고를 안겼습니다.

"우리는 잘못된 타협을 했고, 균형을 맞추지 못한 점에 대해 사과합니다."라고 Anthropic는 reportedly 설명했습니다.

비평가들은 Claude Fable 5 제한이 독립적인 AI 연구를 위협했다고 주장

이 비판은 평소에도 의견이 일치하지 않는 사람들로부터 나왔습니다. 오픈소스 지지자, AI와 함께 작업하는 안전 연구자, 심지어 Anthropic의 전직 직원들까지도 시스템 카드가 출판된 지 몇 시간 내에 반발했습니다.

AI 스타트업 Prime Intellect의 연구 책임자인 Will Brown은 이 정책이 회사가 "사다리를 뒤로 끌어올리기 시작하는 것"처럼 느껴진다고 밝혔습니다. 그는 최첨단 시스템의 안전성과 신뢰성을 평가하는 기업이 점점 더 많아지고 있다고 덧붙였습니다. 이러한 은밀한 성능 저하는 검증 과정을 잠재적으로 sabotaging할 수 있습니다.

Allen Institute for AI에서 과거 작업을 주도했던 오픈 모델 연구자 Nathan Lambert는 그의 성명에서 더욱 강하게 비판했습니다. 그는 X에서 이 정책이 "Anthropic을 명확히 반과학적, 따라서 진보와 안전에 반하는 것으로 묘사한다"고 말했습니다.

AnswerDotAI의 공동 설립자 Jeremy Howard는 이 문제를 경쟁적 권력 장악으로 규정했습니다. Howard는 Anthropic의 자체 연구자들이 여전히 제한 없는 모델을 내부적으로 사용할 수 있다고 주장하며, 이는 최전선이 계속 발전하는 동안 외부 연구자들이 뒤처지게 된다는 의미라고 말했습니다. 그는 "AI 최전선이 발전하고, 권력 불균형이 증가한다"고 말했습니다.

전직 Anthropic 직원들도 의견을 밝혔습니다. 이전에 회사의 AI 과학자 이니셔티브를 공동으로 이끌었던 Behnam Neyshabur는 이러한 기능 제한이 "과학 및 기술 진보를 근본적으로 늦추고 인류에게 순 부정적 영향을 미친다"고 게시했습니다.

Anthropic의 IPO에 어떤 영향을 미칠 수 있을까?

이 사건은 Anthropic에게 매우 민감한 시기에 발생했습니다. 회사는 6월 1에 비공식적으로 IPO 서류를 제출, 총 65억 달러를 조달하며 가치 평가 $965 billion로$⟦N1⟧ billion를 조달했습니다. 이 경우 가치 평가는 기업 고객과 연구 커뮤니티의 신뢰에 크게 의존합니다.

AI 연구 논쟁과 별도로, Fable 5의 출시도 또 다른 측면에서 비판을 받았습니다. 모델이 사용한 강력한 생물학 필터는 일반적으로 고등학교에서 가르치는 주제인 세포막과 미토콘드리아에 대한 질문에 답하는 것을 방지했습니다. 에 따르면 보고서에 따르면, mRNA 백신이 어떻게 작동하는지, 그리고 건초열이 무엇인지 모델이 설명하는 것은 불가능했지만, TNT와 비밀번호 위험에 대해서는 아무런 문제 없이 논의했습니다.

Microsoft도 Anthropic이 새로 도입한 Mythos-class 보존 정책과 관련된 데이터 보존 문제로 인해 직원들의 Fable 5 사용을 제한했습니다. 신뢰와 안전을 위해 프롬프트와 출력의 보존 기간은 30일로 설정되며, flagged된 콘텐츠는 최대 2년까지 보존됩니다.

다음 단계는?

수정된 정책과 함께 Anthropic는 Fable 5가 AI 개발 보호 장치를 가시화할 것이라고 말했습니다. 시스템이 사용자가 최첨단 AI 연구를 수행하고 있음을 감지하면, 요청을 거부하거나 다른 시스템으로 전환할 수 있으며, 두 경우 모두 사용자에게 알립니다.

Anthropic는 타협을 인정했습니다. 이제 보호 장치가 가시화되었으므로, 회사는 이를 더 광범위하게 사용해야 합니다. 이는 더 무해한 쿼리도 차단된다는 것을 의미합니다. 회사는 분류기 정확도를 개선하기 위해 작업 중이라고 말했습니다. 이 사건은 더 큰 규모의 문제를 드러냈습니다. AI 모델의 기능이 증가하고, 훈련 비용이 상승함에 따라 경쟁사들의 이러한 도구 접근을 제한하려는 유혹이 커집니다. Anthropic의 빠른 반전이 선례를 설정할지, 아니면 은밀한 제한의 다음 시도를 단순히 지연시킬지는 업계의 나머지 부분이 어떻게 반응하는지에 달려 있습니다.