AI 도입으로 인한 새로운 사이버 보안 위협

사이버 보안 전문가가 AI가 서비스로 사용하는 기업들에게 범죄자들의 공격 실행뿐만 아니라 합법적인 경로를 통해서도 위험한 사이버 보안 위협이라고 밝혔습니다.

AI의 사이버 취약점

악의적 행위자가 AI를 사용하여 공격을 수행하는 데서 오는 위협에 대해 널리 논의되어 왔지만, AI 전용 사이버 보안을 제공하는 미드가드의 CEO이자 CTO인 피터 가라한은 다음과 같이 말했다. “제가 염두에 두고 있는 문제는 바로 이 주제에 관한 사이버 보안 위협입니다.”

예상대로, 기업들이 AI를 사용하는 가장 일반적이고 따라서 위험에 노출된 사용법은 고객 서비스를 담당하는 챗봇입니다. 이러한 챗봇의 어조와 데이터는 일반적으로 그들이 대표하는 조직에 맞게 맞춤화됩니다. 바로 이 지점에서 AI 보안 및 시스템에 특화된 랭커스터 대학교의 컴퓨터 과학 교수인 가라한 박사는 2022년 마인드가드를 찾게 되었습니다. “AI는 마법이 아닙니다.”라고 그는 말합니다. 이는 단순히 추가적인 코딩, 데이터, 하드웨어의 조합일 뿐입니다. 현대의 사이버 위협을 고려할 때, 이러한 모든 위협은 AI에서도 나타날 수 있습니다.

이렇게 생각해 봅시다. 공격자가 SQL 인젝션이라는 프로세스를 사용한다고 가정해 봅시다. 공격자는 이 프로세스를 사용하여 웹사이트 로그인이나 연락처 양식과 같은 웹 폼 필드의 취약점을 악용할 수 있습니다. 텔레프롬프터 주입이 활용될 수 있는 또 다른 방법은 프롬프트 인젝션으로, 이는 공개된 애플리케이션에서 사용됩니다. 무엇보다도, 보안이 충분히 확보되지 않으면 AI 도구는 사실상 소스 코드와 지침, 회사 지식 재산권, 또는 고객 데이터를 유출하도록 강요당할 수 있습니다. 둘째로, AI 도구는 다른 소프트웨어 애플리케이션과 마찬가지로 결함을 식별하기 위해 역공학될 수 있습니다.

AI 시스템 보안

가라한은 문제의 중대성에 대해 다음과 같이 말했다. “예상되는 미래, 몇 년 안에 국가 안보의 문제가 대두되거나, 소외된 계층이 위험에 처할 수 있습니다. 새로운 정보는 경고처럼 들립니다: 기업은 유출된 데이터에 주의해야 합니다.”

가라한은 “더욱이 AI는 데이터를 유출하는 사이버 공격 도구로 작용할 수 있으며, 모델은 요청한 데이터를 친절하게 제공하게 될 것”이라고 말했다. 1월의 한 사례로, 우익 소셜 미디어 플랫폼인 Gab은 실수로 내부 지침이 드러난 튜토리얼을 검색했다. GPT 기반 플랫폼 OpenAI 역시 과거에 그 모델이 오용된 바 있다.

가라한은 정보가 무단 VoIP 공격을 통해 획득될 수 있다고 주장한다. 또한 AI는 역공학될 수 있으며, 시스템은 우회되거나 다른 시스템에 대한 개방적 접근을 하도록 속일 수 있다. 따라서 정보 유출은 외부 또는 내부 대상 모두를 포함하여 모든 산업 전반에 걸쳐 주요 영역 중 하나가 될 수 있다. 그는 모델 회피와 같은 다른 위험들도 열거하는데, 이는 모델이 오도되거나 기만적인 데이터를 조작하여 의도적으로 회피당하는 경우를 말한다.

가라한은 오디오 트랙에 악성 명령어를 삽입하거나 잘못 설계된 솔루션으로 데이터를 오염시키는 것도 또 다른 위협이라고 지적했다. 또한 그는 일반적인 사이버 영향이 사이버 공격 이후 흔히 발생하는 평판 손상이라고 덧붙였다. 마찬가지로, 이러한 유형의 사이버 공격의 부정적인 결과에 가장 큰 위험에 처해 있는 곳은 스테이크(위험도)가 가장 높은 곳입니다. 온라인에서 운영되는 많은 산업과 기관들 중, 공공 안전과 누설되지 않은 기밀 정보의 부재는 예를 들어 금융 서비스 및 의료 부문이 우선시해야 할 중요한 가치입니다.

가라한은 다음과 같이 말한다. 여기서의 연결고리는, 산업에서 당신이 얼마나 구조화되고 통제적인지, 그리고 AI(그리고 경험에서도: AI를 덜 사용할수록 채택도 적다)로부터 겪는 위험이 클수록, 당신의 AI는 더 나빠진다는 것입니다. 아마도 그들은 게으른 쪽이 아닐 것입니다. 예를 들어, 그들은 단순히 인생에서 가장 심각한 단계를 겪고 있을 뿐일 수 있습니다.

선제적 AI 보안 조치

가라한은 AI가 특정 기업의 이러한 위험을 관리할 것이라고 말하지만, 사용자 보호를 위해 보안 계층이 필요하다고 강조했다(비즈니스의 AI는 이미 보안이 필요하기 때문이다). “이미 다양한 분야에 특화된 사이버 보안 도구를 보유하고 있습니다.”라고 가라한은 말했다. “이러한 도구에는 보안 태세 관리 도구, 탐지 및 대응 도구, 방화벽, 그리고 코드 스캐닝과 같은 ‘Shift Left’ 설계 지원이 포함됩니다. 곧 디지털 전환에 부합하는 AI가 요구될 것입니다.” 이 장르는 AI와 ML에 전적으로 특화되어 있는 반면, 뉴럴넷과 같은 시스템은 가끔씩만 언급된다.

애플리케이션 간 더 나은 제어를 위해 뉴럴넷 애플리케이션 스캐너, 모든 유형의 뉴럴넷에 대한 대응 시스템, 보안 테스트, 레드 팀링이 필요하며, 모든 유형의 뉴럴넷에 대한 대응 시스템이 필요합니다. 런타임 문제보다 초기에 수정하고 시정하는 것이 더 쉽습니다. 그러나 AI 모델이나 구매된 AI 애플리케이션 및 서비스를 사용하는 조직에 권장하는 최선의 관리는 프로덕션에 배포하기 전에 모델의 모든 문제를 수정하는 것이 더 쉽다는 것입니다. 그 후 프로덕션에 배포되면 수정이 필요한 문제만 식별될 수 있습니다.