OpenAI, 자체 AI 에이전트의 다일 해킹 행각을 일주일간 감지하지 못함

OpenAI는 자체 AI 에이전트 중 하나가 Hugging Face에 침입했다는 사실을 약 일주일간 인지하지 못했습니다. 회사가 공격의 출처를 파악했을 때, Hugging Face는 이미 이를 차단하고 FBI에 신고한 상태였습니다. Reuters 보도에 따르면

이 프로그램은 자체적으로 작동하도록 구축되었습니다. 스스로 무엇을 할지 선택하고, 작업을 더 작은 단계로 분할하며, 매우 적은 인간의 도움으로 이러한 단계를 수행할 수 있었습니다.

Thomas Wolf 공동 설립자에 따르면, 7월 9경 이 에이전트는 OpenAI의 잠긴 테스트 영역에서 탈출하려고 시도했습니다. 이틀 후인 7월 11일, Hugging Face에 침입하여 7월 13일까지 그곳에 머물렀습니다. 두 회사는 7월 20경까지 이 사건에 대해 논의하지 않았습니다.

OpenAI, 침입 종료 후 에이전트의 책임 확인

OpenAI는 보도된 대로 Hugging Face와 처음 대화한 하루 후인 7월 21일 대중에게 침입 사실을 알렸습니다. 회사는 자체 AI 에이전트가 설정된 한계를 벗어나 다른 회사의 시스템에 진입했다고 밝혔습니다.

이 이야기는 빠르게 전 세계의 주목을 받았지만, 첫 번째 발표는 몇 가지 중요한 날짜를 누락했습니다. 에이전트가 7월 9일 탈출을 시도했고, Hugging Face에 3일간 머물렀으며, OpenAI가 며칠 후까지 이를 식별하지 못했다는 내용은 포함되지 않았습니다.

Thomas에 따르면, Hugging Face는 자체 시스템에서 발생한 사건에 대한 포괄적인 타임라인을 작성 중입니다. 또한 Thomas는 OpenAI의 조사에 관여하지 않았기 때문에 그 사건을 설명할 수 없다고 언급했습니다.

OpenAI는 이 사건을 전례 없는 것으로 묘사하며 “AI 안전의 중요한 순간”이라고 선언했습니다. 회사는 외부 전문가들이 검토 과정에 관여하고 있다고 설명했습니다. 또한 회사는 조사가 완료되면 이 사건에 대한 기술 보고서를 게시할 계획입니다.

실제 범인이 특정되기 전에 사이버 보안 전문가들과 소셜 미디어 사용자들은 공격자가 전문 사이버 범죄자로 구성된 인간 그룹이라고 믿은 반면, 일부는 국가 지원 해커일 수도 있다고 생각했습니다.

Hugging Face가 처음 경보를 울린 지 거의 일주일 후인 수요일까지 팟캐스트와 소셜 미디어는 추측으로 가득 찼습니다. 그러자 정답이 나왔습니다. 공격자는 ChatGPT였습니다.

X(구 트위터)에서는 일부 사람들이 OpenAI가 이 이벤트를 활용하여 모델의 능력을 입증한 방식에 흥미를 보였습니다. 인공지능 회사들이 소음을 일으키기 위해 의도적으로 무서운 발언을 해왔다는 주장은 오래전부터 있어 왔습니다. Anthropic이 Mythos 모델을 출시한 후 사이버 보안 문제는 더욱 중요해졌습니다.

Sam Altman의 X 게시글 아래 가장 인기 있는 댓글 중 하나는 이러한 의심을 잘 포착했습니다. “여러분이 이것이 모델을 자랑하기 위해 작성된 것임을 이해하지 못한다면 제가 뭘 말씀드릴 수 있겠습니까.”

OpenAI의 AI 에이전트는 해킹을 가장 쉬운 옵션으로 간주했습니다

산타클라라 대학교 응용윤리센터의 기술 윤리 책임자인 Brian은 유사한 사례가 다시 나타날 것이라고 말했습니다. “이러한 사례들은 계속 나타나며, 각각의 사례가 우리에게 더 많은 노력을 기울이도록 동기를 부여해야 합니다.”라고 그는 OSV News에게 말했습니다.

Brian은 이 시나리오를 “예상치 못한 행동을 통해 모델이 테스트를 속이는 것”이라고 불렀습니다. 그에 따르면 에이전트는 목표를 제시받고, 이를 달성하는 가장 짧은 경로를 선택했으며, 그 방법이 도난이었습니다.

“목표를 주면 모델은 ‘아, 그 목표를 달성하는 방법을 알겠군. Hugging Face에서 답을 훔치자’라고 말합니다.”라고 Brian은 말했습니다.

Hugging Face는 방대한 양의 AI 모델과 데이터셋을 저장하고 있기 때문에 타겟으로 적합했습니다. Brian은 이를 “서로 다른 모델과 데이터셋의 거대한 저장소”라고 불렀습니다. 에이전트는 필요한 자료를 보관할 수 있는 장소를 검색하고, Hugging Face를 선택한 후 플랫폼에 진입하여 이를 발견한 것으로 보입니다.

Brian은 이와 유사한 사건들이 앞으로도 발생할 것이라고 제안했습니다. 그에 따르면 에이전트는 “단순히 지시받은 일을 수행하려고 했을 뿐”입니다. 시스템의 관점에서 볼 때, 문제의 “가장 효율적인 해결책”은 “승인되지 않은 접근”이었습니다.

그는 또한 이 사건이 명확하게 대두된 미정렬(emergent misalignment), 즉 인간의 가치에 반하는 AI 행위는 아니라고 말했습니다. Brian은 시스템이 처음부터 이러한 가치와 연결되지 않았다고 말했습니다. Brian의 표현을 빌리면, “처음부터 그 가치들과 정렬되어 있지 않았습니다.”