연구 결과, 생성형 AI 배포에 심각한 보안 허점이 있는dent

최고 경영진의 82%가 안전하고 신뢰할 수 있는 AI가 중요하다고 생각하는 것으로 나타났습니다. 그러나 이들 중 단 24%만이 생성형 AI 관련 계획에 보안을 고려하고 있는 것으로 조사되었습니다. 이는 IBM과 아마존 웹 서비스(AWS)가 공동으로 진행한 연구 결과로, RSA 컨퍼런스 2024에서 발표되었습니다. 이 연구는 최고 경영진을 대상으로 AI, 특히 생성형 AI의 안전한 활용 방안에 대한 견해를 조사한 설문조사를 바탕으로 합니다. IBM에 따르면 응답자의 24%만이dent형 AI 계획에서 보안 측면을 고려했으며, 거의 70%는 혁신이 보안보다 우선시된다고 답했습니다.

혁신과 보안의 균형

대부분의 경영진은 예측 불가능한 위험이 차세대 AI 이니셔티브에 영향을 미칠 것이라고 우려하지만, 보안을 우선순위에 두지는 않습니다. 아직 완전히 현실화된 AI 위협 환경은 없지만, 일부 사용 사례에서는 ChatGPT 또는 이와 유사한 도구를 사용하여 피싱 이메일 스크립트와 딥페이크 오디오를 생성하는 경우가 있습니다. IBM X-Force 보안 연구원들은 더 발전된 기술과 마찬가지로 AI 시스템도 더 큰 규모로 공격받을 가능성이 점점 더 높아질 것이라고 경고했습니다.

통합된 AI 위협 영역이 이제 막 형성되기 시작했지만, IBM X-Force 연구원들은 공통 기술과 활성화 모델을 중심으로 업계 환경이 성숙해지면 위협 행위자들이 이러한 AI 시스템을 더욱 광범위하게 공격하기 시작할 것으로 예상한다고 보고서는 밝혔습니다. 실제로 시장이 빠르게 성숙해짐에 따라 이러한 융합은 이미 진행 중이며, 선도적인 공급업체들은 하드웨어, 소프트웨어, 서비스 전반에 걸쳐 이미 부상하고 있습니다.

IBM 보고서에 따르면, 더욱 시급한 문제는 기업들이 사업 운영에 활용하는 AI 모델을 제대로 보호하지 않는 경우입니다. GenAI 도구를 잘못 사용하면 민감한 데이터가 오용되거나 유출될 수 있습니다. 보고서는 또한 직원들이 기업 보안팀의 승인 및 보안 검증을 거치지 않은 GenAI 도구를 사용하는 이른바 "섀도우 AI"가 조직 내에서 증가하고 있다고 지적했습니다.

이를 위해 IBM은 1월에 GenAI 보안 프레임워크를 발표했습니다. 이 프레임워크의 기본 원칙은 AI 모델 학습에 사용되는 데이터를 중앙 집중화하고, 개발 파이프라인의 취약점을 스캐닝하여 모델을 보호하며, AI 사용에 대한 정책 및 접근 제어를 시행하고, 실시간 AI 모델 기반 공격으로부터 사용을 보호하는 것입니다.

AI 파이프라인 보안

월요일, IBM의 X-Force Red 공격 보안팀은 레드팀을 통해 AI 애플리케이션, AI 모델, 그리고 MLSecOps 파이프라인을 평가하는 인공지능 테스트 서비스를 출시했습니다. 수요일, RSA 컨퍼런스 2024에서 IBM은 AI 파이프라인의 보안 및 거버넌스 구축에 대한 "지금 혁신하고, 나중에 보안을? 결정, 결정..."이라는 주제로 발표할 예정입니다.

두 번째 발표자는 IBM Security의 보안 기술 프로그램 디렉터인 라이언 도허티였습니다. TechTarget Editorial과의 인터뷰에서 그는 AI를 즉시 안전하게 보호하는 것이 IBM Security의 기술 분야 주요 관심사 중 하나라고 말했습니다. 그는 "특히 생성적 AI의 경우, 바로 이 부분이 매우 중요합니다. 생성적 AI는 비즈니스 애플리케이션과 프로세스에 깊이 통합되고 있기 때문입니다. 비즈니스 구조를 통합하면 잠재적 위험과 위협을 훨씬 뛰어넘을 수 있습니다."라고 말했습니다.

그에 따르면, 사업적 관점에서 볼 때 AI는 그 본질에 기반을 두어야 합니다.

"생성적 AI는 방대한 양의 민감한 비즈니스 데이터를 기반으로 훈련되고 운영되며, 경쟁 우위를 확보하기 위해서는 이러한 새로운 핵심 자산을 확보해야 합니다. 이는 기업이 보유한 데이터와 생성적 AI를 사용하여 얻은 통찰력을 바탕으로 비즈니스를 개선하기 위한 애플리케이션에 적용하는 것입니다."

도허티는 매우 비싼 모델에 많은 비용을 지불하고 있다고 덧붙였습니다. 이러한 생성적 AI 애플리케이션을 운영화하는 데는 막대한 지적 재산권과 투자가 투입되고 있으며, 기업들은 이를 확보할 여력이 없습니다.