앤트로픽, AI 안전성 강화 위해 1만 5천 달러 버그 현상금 프로그램 시작

아마존의 지원을 받는 AI 스타트업 앤스로픽(Anthropic)이 버그 바운티 프로그램을 시작했습니다. 이 프로그램은 자사 인공지능 시스템의 심각한 취약점을dent제보 하나당 최대 1만 5천 달러를 지급합니다. 이번 프로그램은 고급 언어 모델을 활용하는 기업들이 보안 테스트를 크라우드소싱 방식으로 진행하는 가장 광범위한 노력 중 하나입니다.

회사에 따르면, 이번 현상금 지급 대상은 생물무기 및 사이버 위협과 같은 분야에서 AI 보안 조치를 우회할 수 있는 "범용 탈옥(universal jailbreak)" 공격입니다. 앤트로픽은 차세대 보안 완화 시스템을 일반에 공개하기 전에 윤리적 해커들이 테스트하여 오용 가능성을 방지할 계획입니다.

저희는 버그 바운티 프로그램을 확장하고 있습니다. 이 새로운 프로그램은 차세대 보안 시스템에서 보편적인 탈옥 취약점을 찾는 데 중점을 두고 있습니다.

사이버 보안을 포함한 다양한 영역에서 새롭게 발견된 취약점에 대해 보상을 제공합니다. https://t.co/OHNhrjUnwm

— 앤트로픽 (@AnthropicAI) 2024년 8월 8일

해커원(HackerOne)과의 협력으로 시작된 앤트로픽(Anthropic)의 버그 바운티 프로그램은 초대받은 사람만 참여할 수 있는 비공개 프로그램으로, 자사 AI 시스템의 취약점을dent하고 수정하는 데 필요한 사이버 보안 연구원들의 역량을 활용하고자 합니다. 앤트로픽은 향후 이 프로그램을 더욱 확대하여 AI 안전에 대한 업계 전반의 협력 모델을 제시할 계획입니다.

이는 영국 경쟁시장청(CMA)이 아마존의 앤트로픽 인수(40억 달러 규모)와 관련하여 잠재적 경쟁 문제를 조사하고 있는 가운데 나온 것입니다. 이처럼 규제 당국의 감시가 강화되는 상황에서 안전에 집중하는 것은 앤트로픽의 평판을 높이고 경쟁사와의 차별화를 꾀하는 데 도움이 될 수 있습니다.

Anthropic, 새로운 AI 안전 기준 마련

OpenAI와 Google 역시 버그 바운티 프로그램을 운영하고 있지만, 주로 기존 소프트웨어의 취약점에 초점을 맞추고 있으며 인공지능 관련 취약점에는 크게 관심을 두지 않습니다. Meta는 점점 더 지능화되는 기계의 안전한 개발을 보장하기 위한 연구에 있어 상대적으로 폐쇄적인 접근 방식을 취한다는 비판을 받아왔습니다. Anthropic은 이러한 문제들을 명시적으로 목표로 삼고 외부의 검토를 요청함으로써 해당 분야의 개방성을 위한dent 만들고 있습니다.

하지만 버그 현상금만으로는 고도화된 머신러닝 시스템의 보안과 관련된 모든 문제를 효과적으로 해결할 수 있을지에 대한 의문이 제기되고 있습니다. 특정 결함을dent하고 수정하는 데는 유용하지만, AI의 인간적 가치와의 조화 및 장기적인 안전성과 같은 더 광범위한 문제에는 대응하지 못할 수 있습니다. AI 시스템이 더욱 강력해짐에 따라 인간의 가치와 부합하도록 하려면 광범위한 테스트, 향상된 해석 가능성, 그리고 잠재적으로 새로운 거버넌스 구조를 포함하는 보다 포괄적인 전략이 필요할 수 있습니다.