NIST, AI 취약점 경고 – 사이버 공격은 해결되지 않은 위협으로 부상

끊임없이 진화하는 기술 환경에서 인공지능(AI)의 약속은 AI 시스템이 사이버 공격에 취약하다는 증가하는 우려와 맞닥뜨립니다. 최근 미국 상무부 산하 국립표준기술연구소(NIST)는 '신뢰할 수 있고 책임감 있는 AI'에 대한 보고서를 발표하여 악의적 행위자로부터 AI 시스템을 방어하는 데 있어 지속적인 도전을 조명했습니다. 이 보고서는 AI 시스템의 행동을 조작할 수 있는 4가지 유형의 사이버 공격을 식별하며, 커뮤니티가 더 강력한 방어책을 마련할 것을 촉구합니다.

적대적 머신러닝의 위협

NIST 보고서는 적대적 머신러닝의 복잡성을 심층적으로 다루며, 잠재적 공격자를 화이트박스 해커, 샌드박스 해커, 그레이박스 해커의 세 가지 유형으로 분류합니다. 화이트박스 해커는 AI 시스템에 대한 완전한 지식을 보유하고 있으며, 샌드박스 해커는 최소한의 접근 권한을 가지고, 그레이박스 해커는 AI 시스템에 대한 부분적인 정보를 가지고 있지만 학습 데이터에는 접근할 수 없습니다. 다양한 수준의 통찰력을 지니고 있음에도 불구하고 이 세 유형 모두 AI 시스템의 무결성에 심각한 위협을 가합니다.

Entersekt의 CTO인 Gerhard Oosthuizen은 디지털 영역에서의 사기가 증가하고 있다고 지적합니다. 처음에는 승리를 약속했던 기술이 사기 활동의 증가하는 정교함 앞에서 더 많은 도전을 제시합니다. NIST 보고서는 AI가 연결된 경제에 점점 더 깊이 통합됨에 따라 증가하는 위험을 강조합니다.

이 보고서는 두 가지 주요 적대적 머신러닝 공격인 중독과 남용을 강조합니다. AI 시스템 중독은 학습 단계 동안 부패된 데이터를 주입하여 시스템 오작동을 초래합니다. NIST는 나쁜 행위자가 대화 기록에 부적절한 언어를 도입하여 채팅봇이 고객 상호작용에서 이러한 사례를 일반적인 어법으로 채택하게 만드는 예를 제시합니다.

반면, 남용 공격은 AI 시스템이 흡수하는 합법적인 출처에 잘못된 정보를 삽입하는 것을 포함합니다. 이러한 공격은 잘못된 정보 조각을 제공하여 AI 시스템의 의도된 용도를 재사용하는 것을 목표로 합니다. NIST 보고서의 공동 저자이자 노스이스턴 대학교 교수인 Alina Oprea는 이러한 공격의 단순성을 지적하며, 최소한의 지식과 적대적 능력만 필요하다고 언급합니다.

사이버 공격 공개 – AI 방어 복잡성 탐색

프라이버시 공격과 회피 공격은 AI 방어의 복잡성에 추가적인 층위를 더합니다. 프라이버시 공격은 합법적인 질문을 사용하여 모델을 역공학하여 AI 또는 그 학습 데이터에 대한 민감한 정보를 추출하려고 시도합니다. 배포 후 발생하는 회피 공격은 전통적인 입력에 대한 AI 시스템의 응답을 변경하려고 합니다. 여기에는 자율 주행 차량에 위험을 초래할 수 있는 도로 표지판의 기만적인 수정이 포함됩니다.

전반적인 과제는 악의적이거나 해로운 것으로 입증되더라도 AI 모델이 가르친 행동을 잊게 만드는 어려움에 있습니다. AI가 우리의 일상 생활에 더 깊이 뿌리내림에 따라, 보고서는 파국적인 실패를 방지하기 위해 이러한 취약점을 해결할 필요성이 커지고 있다고 경고합니다.

사이버 공격의 그림자가 AI의 발전 너머로 드리워짐에 따라, NIST 보고서는 AI 시스템 보안의 해결되지 않은 도전에 주의를 집중시킵니다. 더 나은 방어를 위한 커뮤니티의 호소는 이러한 취약점을 해결할 시급성을 강조합니다. AI 커뮤니티는 진화하는 사이버 위협으로부터 보호하기 위한 완벽한 조치를 공동으로 마련할 수 있을까요, 아니면 우리는 적대적 머신러닝 공격의 끊임없이 확장되는 미로를 항해하도록 운명지어질까요? AI 방어의 미래는 우리가 혁신하고 취약점을 이용하려는 자들보다 한 발 앞서 나가는 능력에 달려 있습니다.