- Anthropic, AI 안전 취약점 대상 1만 5천 달러 버그 바운티 프로그램 시작
- 윤리적 해커들이 AI ‘유니버설 저브레이크’ 공격 대응에 참여하세요.
- Anthropic, AI 안전 분야에서 새로운 투명성 기준 마련
아마존의 지원을 받는 AI 스타트업 앤티로픽은 버그 바운티 프로그램을 출시했으며, 자체 인공지능 시스템의 치명적인 약점을 식별하는 모든 보고서에 대해 최대 1만 5000달러를 지급할 예정이다. 이 이니셔티브는 고급 언어 모델을 다루는 어떤 회사보다도 광범위한 크라우드소싱 보안 테스트 노력 중 하나다.
회사에 따르면, 이 포상금은 생물무기 및 사이버 위협과 같은 영역에서 AI 안전 조치를 우회할 수 있는 '범용 탈옥(jailbreak)' 공격을 대상으로 합니다. 차세대 안전 완화 시스템을 대중에게 공개하기 전에, 앤트로픽은 잠재적 오용을 방지하기 위해 윤리적 해커들이 이를 테스트할 수 있도록 할 계획입니다.
버그 바운티 프로그램을 확대합니다. 이번 신규 이니셔티브는次세대 안전 시스템의 유니버설 저브레이크를 발견하는 데 중점을 둡니다.
— 앤트로픽 (@AnthropicAI) 8월 2024일
사이버보안 등 광범위한 도메인에서 혁신적인 취약점에 대해 보상금을 제공합니다. https://t.co/OHNhrjUnwm
해커원(HackerOne)과의 협력을 통해 초대형으로 시작된 앤트로픽의 버그 바운티 프로그램은 사이버보안 연구자들의 AI 시스템에서 취약점을 식별하고 수정하는 기술을 활용하고자 합니다. 이 회사는 향후 이를 더 널리 개방하여 AI 안전에 대한 업계 전반의 협력 모델을 제공할 가능성을 내다보고 있습니다.
이는 영국의 경쟁시장청(CMA)이 아마존의 앤트로픽 40억 달러 투자에 대한 잠재적 경쟁 문제 조사를 진행 중인 시점입니다. 이러한 강화된 규제 감시 배경 하에서 안전에 집중하는 것은 앤트로픽의 평판을 높이고 경쟁사와 차별화하는 데 도움이 될 수 있습니다.
앤트로픽, 새로운 AI 안전 기준 설정
오픈AI와 구글도 버그 바운티 프로그램을 운영하고 있지만, 주로 전통적인 소프트웨어 취약점에 집중하고 있어 AI 고유의 취약점에는 덜 초점을 맞추고 있습니다. 메타는 점점 더 지능적인 기계의 안전한 개발을 보장하기 위한 연구에 대해 상대적으로 폐쇄적인 접근을 취했다는 비판을 받아왔습니다. 앤트로픽은 이러한 문제를 명시적으로 표적 삼고 외부의 검토를 초대함으로써 업계 내에서 투명성의 선례를 설정하고 있습니다.
그러나 버그 바운티만으로는 고급 머신러닝 시스템 보안과 관련된 우려의 전 spectrum을 효과적으로 해결할 수 있을지에 대해서는 의문이 제기됩니다. 특정 결함을 식별하고 패치하는 데 가치 있지만, AI 정렬(alignment)과 장기적 안전에 대한 더 광범위한 과제에 대응하지 못할 수 있습니다. AI 시스템이 더 강력해짐에 따라 인간의 가치와 정렬을 유지하려면 포괄적인 테스트, 해석 가능성 향상, 그리고 잠재적으로 새로운 거버넌스 구조를 포함한 더 포괄적인 전략이 필요할 수 있습니다.
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
크리스 무리티
크리스는 암호화폐와 기술 분야를 전문으로 하는 작가이자 기술 분석가입니다. 그는 나이로비 대학교에서 수학 및 컴퓨터 과학 학위를 소지하고 있으며, 온체인 미디어(On-Chain Media)와 코인 에디션(Coin Edition)에서 콘텐츠 작가로 활동한 후 현재 크립토폴리탄(Cryptopolitan)에서 근무하고 있습니다.
