Anthropic은 클로드 페이블 5에 숨겨져 있던 제한 사항들을 철회했습니다

앤트로픽은 사과하고 AI 개발자를 대상으로 클로드 페이블 5의 성능을 비밀리에 제한하려던 정책을 철회했습니다. 과학자들은 이러한 제한적인 정책이 AI의 고급 기능을 소수의 기업에만 제공하게 되어 전 세계 과학 발전을 저해할 수 있다고 경고했습니다.

6월 10일에 내려진 앤트로픽의 결정은 단순히 한 회사의 행동 이상의 훨씬 더 중요한 의미를 지닙니다. 약 9,650억 달러에 달하는 기업 가치와 곧 있을 기업공개(IPO)를 고려할 때, 이번dent 인공지능 업계 내 중요한 모순을 드러냈습니다. 최고의 모델을 개발하는 기업들이 어떻게 경쟁력을 유지하면서 동시에 전 세계적인 혁신을 이끄는 개방적인 연구 문화를 조화롭게 유지할 수 있을까 하는 문제입니다.

앤트로픽의 클로드 페이블 5 숨겨진 제한 사항이 업계의 분노를 불러일으켰습니다

앤트로픽은 출시 클로드 페이블 5를 6월 9일 하면서 사이버 보안, 생물학, 화학, AI 연구를 포함한 네 가지 보호 범주를 공개했습니다 . 이 중 세 가지 범주는 유사한 방식으로 작동했습니다. 민감한 쿼리가 감지되면 시스템은 해당 쿼리를 완전히 거부하거나, 사용자에게 이전 최고 버전인 클로드 오푸스 4.8을 참조하도록 안내하고 경고 메시지를 표시합니다.

하지만 네 번째 범주는 다른 범주와 달랐습니다. Fable 5는 새로운 AI 관련 질의에 직면했을 때 사용자에게 알리지 않고 출력 품질을 저하시켰습니다. 포춘(Fortune)의 발표 보도에 따르면 , 회사는 시스템 성능을 저해하기 위한 여러 가지 조치를 공개하지 않고 진행했다고 합니다. 자세한 내용은 앤스로픽(Anthropic)이 제공한 319페이지 분량의 시스템 카드 에서 확인할 수 있습니다 .

앤트로픽사에 따르면이러한 제한이 실제로 적용될 확률은 약 0.03%였습니다. 하지만 연구원들은 그 확률보다 원칙 자체에 훨씬 더 큰 우려를 표했습니다.

앤트로픽 측은 "우리는 잘못된 선택을 했고, 균형을 제대로 맞추지 못한 점에 대해 사과드린다"고 설명했다고 전해진다.

비평가들은 클로드 페이블 5의 제한 조치가dent AI 연구를 위협한다고 말합니다

이러한 비판은 좀처럼 의견이 일치하지 않는 사람들로부터 나왔습니다. 오픈 소스 지지자, AI 관련 안전 연구원, 심지어 앤트로픽의 전 직원까지 모두 시스템 카드 공개 후 몇 시간 만에 반박했습니다.

AI 스타트업 프라임 인텔렉트의 연구 책임자인 윌 브라운은 이러한 정책이 마치 회사가 "스스로 사다리를 끌어올리려는 것 같다"고 말했습니다. 그는 또한 첨단 시스템의 안전성과 신뢰성을 평가하는 기업들이 늘어나고 있는데, 은밀한 성능 저하는 이러한 검증 과정을 방해할 가능성이 있다고 덧붙였습니다.

개방형 모델 연구자이자 한때 앨런 인공지능 연구소에서 연구를 이끌었던 네이선 램버트는 더욱tron어조로 다음 과 같이 말했습니다 "이 정책은 앤트로픽을 명백히 반과학적이고, 따라서 반진보적이며 반안전한 존재로 규정합니다."

AnswerDotAI의 공동 창립자인 제레미 하워드는 이 문제를 경쟁적인 권력 다툼으로 규정했습니다. 하워드는 앤트로픽의 연구원들은 여전히 ​​내부적으로 제한 없이 모델을 사용할 수 있기 때문에, 외부 연구원들은 뒤처지는 반면 AI 분야는 계속해서 발전할 것이라고 주장했습니다. 그는 "AI 분야는 발전하고 있지만, 권력 불균형은 심화되고 있다"고 말했습니다

심지어 전 앤트로픽 직원들도 의견을 밝혔습니다. 이전에 앤트로픽의 AI 과학자 이니셔티브를 공동으로 이끌었던 베남 네이샤부르는 이러한 기능을 제한하는 것은 "근본적으로 과학 및 기술 발전을 늦추고 인류에게 전반적으로 부정적인 영향을 미친다"고 게시했습니다

이것이 앤트로픽의 IPO에 어떤 영향을 미칠 수 있을까요?

이번dent 앤트로픽에게 매우 민감한 시기에 발생했습니다. 이 회사는 은 9,650dent6월 1일 기업공개(IPO) 서류를 제출하여 달러의 기업 가치로 650억 달러를 조달했습니다 . 이 경우 기업 가치 평가는 기업 고객과 연구 커뮤니티의 신뢰에 크게 좌우됩니다.

인공지능 연구 논란과는 별개로, 페이블 5는 또 다른 측면에서 비판에 직면했습니다. 이 모델에 사용된 강력한 생물학적 필터 때문에 세포막이나 미토콘드리아와 같은 고등학교에서 배우는 주제에 대한 질문에 답할 수 없었던 것입니다. 에 따르면 , 이 모델은 mRNA 백신의 작용 방식이나 알레르기 비염의 원인을 설명하는 것은 불가능했지만, TNT나 비밀번호 위험에 대해서는 문제없이 설명할 수 있었다고 합니다.

마이크로소프트는 앤스로픽이 새롭게 도입한 미소스급 데이터 보존 정책과 관련된 데이터 보존 문제 때문에 직원들의 페이블 5 사용을 제한했습니다. 신뢰와 안전을 위해 메시지와 출력물의 보존 기간은 30일로 설정되었으며, 플래그가 지정된 콘텐츠는 최대 2년까지 보존됩니다.

다음은 무엇인가요?

개정된 정책에 따라 앤트로픽은 페이블 5에서 AI 개발 보호 조치를 투명하게 공개할 것이라고 밝혔습니다. 시스템이 사용자가 첨단 AI 연구를 진행하고 있음을 감지하면 요청을 거부하거나 다른 시스템으로 전환하고 두 경우 모두 사용자에게 알릴 수 있습니다.

앤트로픽은 상충 관계를 인정했습니다. 이제 안전장치가 눈에 띄게 드러났으므로, 회사는 이를 더 광범위하게 적용할 수밖에 없습니다. 이는 비교적 무해한 쿼리까지 차단될 수 있음을 의미합니다. 회사는 분류기의 정확도를 개선하기 위해 노력하고 있다고 밝혔습니다. 이 사례는 훨씬 더 심각한 문제를 드러냈습니다. AI 모델의 기능이 향상될수록 훈련 비용이 증가하고, 경쟁 업체의 이러한 도구 접근을 제한하려는 유혹도 커집니다. 앤트로픽의 신속한 입장 변화가 선례dent 될지, 아니면 단순히 다음번 은밀한 제한 시도를 지연시킬지는 업계 전체의 반응에 달려 있습니다.