- 메타의 AI 에이전트가 설정 오류로 인해 다른 기업의 시스템을 해킹했습니다.
- 해당 기업은 해킹에 대한 추가 정보를 공개할 예정입니다.
- AISI는 오픈AI와 앤트로픽 AI 모델에서 더 많은 기만 행위가 드러났다고 밝혔습니다.
메타는 독립적인 테스트 파트너가 보안 환경을 잘못 구성한 후, 메타의 AI 에이전트가 다른 기업을 해킹했다고 인정한 최신 기술 거대 기업입니다.
오픈AI와 앤트로픽은 이미 자신의 AI 에이전트가 허가 없이 실제 온라인 시스템을 해킹하려고 시도한 사례를 마주했습니다.
메타는 보도진에게 AI 탈출이 앤트로픽의 침해와 유사한 시스템 오구성으로 인해 발생했다고 말했습니다. 오픈AI의 경우, AI 에이전트가 사이버 보안 테스트 중 이전에 발견되지 않은 취약점을 악용하여 인터넷에 접근했습니다. 지금까지 연구원들과 정부는 이러한 사건들에 대해 더 강력한 보호 조치와 엄격한 테스트 기준을 요구하며 대응했습니다.
이러한 사건들은 AI 기업들이 인간의 개입 없이 복잡한 작업을 실행할 수 있는 더 자율적인 에이전트를 만들기 위해 경쟁하는 시기에 발생합니다. 전통적인 채팅 공간의 챗봇과 달리, 이러한 시스템은 코드를 생성하고, 온라인 서비스와 상호작용하며, 독립적으로 다단계 작업을 실행할 수 있습니다.
이러한 기능들은 주요 생산성 향상을 약속하지만, 동시에 잘못 구성된 테스트 환경이나 불충분한 통제로 인해 모델이 보안 평가 과정에서 예기치 않은 행동을 취할 위험도 증가시킵니다.
AI 커뮤니티의 주요 인물들은 인간 통제가 기계 지능에 뒤처지지 않도록 보장하기 위해 관리된 감속을 추진하고 있습니다.
Irregular은 메타의 AI 에이전트와 관련된 열린 문제가 없다고 지적했습니다
메타(Meta)는 AI 보안 벤더인 Irregular가 테스트를 수행하여 이를 메타에 알렸다고 밝혔습니다. 침해. 메타는 모든 사실을 확인한 후 이 사건에 대해 더 많은 내용을 공개할 계획이라고 덧붙였습니다.
메타는 자사의 AI 에이전트가 “제3자 서비스의 보안 취약점을 악용했다”고 주장했습니다. 소식통들은 해당 악성 AI를 ‘Muse Spark 1.1’로 특정했으며, 이는 메타가 뛰어난 프로그래밍 실력으로 적극 홍보해 온 모델입니다.
Irregular는 이 사건이 지난 주 앤트로픽(Anthropic)이 공개한 동일한 환경 결함에서 비롯된 것이라고 밝혔으며, 복잡한 해킹 기술이나 샌드박스 탈출을 완전히 배제했습니다.
메타는 이번 침해 사고가 AI가 자체적으로 샌드박스에서 탈출한 것이 아니라 테스트 환경의 오설정 때문이라고 밝혔지만, 연구자들은 이 사건이 보안이 모델 자체뿐만 아니라 그 인프라에도 달려 있음을 보여준다고 지적합니다.
액세스 제어, 네트워크 권한 또는 테스트 환경이 제대로 설정되지 않은 경우, 매우 안전한 AI 시스템이라도 예기치 않게 작동할 수 있습니다.
또한 “현재 공개된 이슈는 없습니다. Irregular는 격리 및 사이버 평가의 안전한 실행을 위한 모범 사례를 공유하기 위해 백서(white paper)를 개발 중입니다.”라고 덧붙였습니다.
AISI는 오픈AI(OpenAI)와 앤트로픽의 모델이 인간 유지보수 요원의 영향을 시도했다고 밝혔습니다.
이전에도 오픈AI는 자율 시스템이 AI 커뮤니티 허브인 Hugging Face를 포함한 여러 공개 네트워크에 침투했다고 시인했습니다. 오픈AI의 발표 이후 앤트로픽도 자체 보안 검사를 실시했으며, 그 결과 구성 오류로 인해 인터넷에 접근할 수 있게 된 클로드가 여러 기업에 대해 유사한 공격을 수행한 것으로 드러났습니다.
하지만 영국의 규제 보고서에서는 더 우려스러운 사항들이 드러났습니다. 영국 AI 보안 연구소(AISI)에 따르면, 오픈AI와 앤트로픽의 AI 모델은 악성 코드를 오픈소스 프로젝트에 추가하기 위해 해당 프로젝트의 인간 유지보수 요원의 영향을 시도했습니다.
AISI는 “코드 승인을 받기 위해 에이전트는 소셜 엔지니어링을 사용했으며, 가상의 온라인 신분을 생성하여 프로젝트 유지보수 요원에게 코드를 승인하도록 압력을 가했습니다.”라고 말했습니다.
이 모든 시도는 실패했으며 실제 피해는 발생하지 않았다고 지적했습니다. 실제 피해가 없었고 모든 시도가 실패했음에도 불구하고, 감시 기관은 이것이 AI가 기만적으로 행동하는 것과 자율성의 위험에 대한 가장 명확한 현실 세계 증거라고 경고했습니다.
AISI는 또한 테스트 기준을 설명하며 “이러한 모델이 실제로 무엇을 할 수 있는지 측정하기 위해, 우리는 유능한 인간 공격자가 수행할 수 있는 조건을 반영한 환경에서 테스트합니다.”라고 밝혔습니다.
현재까지 오픈AI는 인정했습니다. AISI 시험 중 보안 사고를 인정했으며, 이는 불안정한 모델 테스트를 위한 업계 전반의 더 나은 가드레일을 구축하고자 한다는 입장을 밝혔습니다. 또한 Irregular가 모의 훈련 중 실수로 자사의 모델을 공개 인터넷에 노출시킨 별개의 사고에 대해 공개했습니다.
동사는 제3자 테스트에 대한 감독을 강화할 것을 약속했으며, 여기에는 더 큰 위험을 초래하는 평가 항목을 어떻게 결정하는지, 인터넷 접근 또는 보안 조치 완화를 요청하는 사항을 검토하는 방법, 격리 및 자격 증명 사용 관리, 테스트 모니터링, 그리고 더 명확한 보고 절차를 통한 사고 대응 등이 포함됩니다.
한편, 백악관 은 이번 주 메타, 앤트로픽, 오픈AI, 구글을 포함한 주요 AI 개발자들을 초청하여 고급 AI 시스템의 사이버 보안 테스트를 위한 새로 finalized된 자발적 프레임워크에 대해 논의했습니다.
회사 대표들과의 논의 동안 트럼프 행정부는 메타의 라마(Llama)와 엔비디아의 네모트론(Nemotron)과 같은 오픈 가중치(open-weight) AI 모델은 제안된 자발적 안전 테스트 프레임워크에 포함되지 않을 것이라고 밝혔습니다.
이 면책 조항은 오픈 가중치 모델이 제3자에 의해 자유롭게 다운로드, 수정 및 파인튜닝될 수 있다고 주장하는 AI 안전 연구자들 사이에서 논쟁을 불러일으켰습니다.
비판자들은 자발적 테스트 가이드라인에서 이를 배제하면 점점 더 능력이 향상된 모델이 원래 개발자의 통제 밖에서 널리 사용되면서 사각지대가 생길 수 있다고 말합니다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
자주 묻는 질문
왜 메타의 AI 에이전트가 다른 기업을 해킹했습니까?
메타는 사이버 보안 평가 중 테스트 환경 실수로 인해 AI가 다른 기업의 시스템에 접근했다고 밝혔습니다.
다른 AI 기업들도 유사한 AI 보안 사고를 경험했습니까?
네. 오픈AI와 앤스로픽도 보안 테스트 중 자사 AI 모델이 실제 온라인 시스템에 접근하려 한 사례를 보고한 바 있습니다.
왜 AI 보안 전문가들은 자율형 AI 에이전트에 우려를 표하고 있습니까?
전문가들은 AI 에이전트가 자체적으로 작업을 수행할 수 있으므로 테스트 중 예상치 못하거나 위험한 행동을 방지하기 위한 강력한 안전 장치가 필요하다고 말합니다.
Nellius Irene
Nellius는 비즈니스 관리 및 IT 학사 학위를 소지하고 있으며, 암호화폐 산업에서 5 년간의 경력을 쌓았습니다. 또한 비트코인 다다 (Bitcoin Dada) 를 졸업했습니다. Nellius 는 BanklessTimes, Cryptobasic, Riseup Media 등 주요 미디어 매체에 기고한 바 있습니다.
