- NIST, AI 시스템을 겨냥한 교묘한 전술인 프롬프트 인젝션에 경고
- 직접 프롬프트 인젝션은 AI 모델을 속여 DAN 과 같은 의도하지 않은 행동을 수행하도록 유도합니다.
- 방어를 위해 NIST 는 더 지능적인 학습과 해석 가능한 AI 솔루션을 제안합니다.
급변하는 인공지능 (AI) 및 머신러닝 (ML) 환경에서 미국 국립표준기술원 (NIST) 은 사이버보안 취약점을 면밀히 감시하며 AI 수명주기에 대해 경계태세를 유지하고 있습니다. AI 의 확산과 함께 이러한 취약점이 발견되고 악용됨에 따라 NIST 는 위험을 효과적으로 완화하기 위한 전술과 전략을 제시했습니다.
적대적 머신러닝(AML) 전술 이해하기
적대적 머신러닝(AML) 전술은 ML 시스템의 동작 방식에 대한 통찰력을 추출하여 공격자가 악의적인 목적으로 이를 조작할 수 있도록 하는 것을 목표로 합니다. 프롬프트 인젝션은 이러한 전술 중 중요한 취약점이며, 특히 생성형 AI 모델을 표적으로 합니다.
NIST는 프롬프트 인젝션의 두 가지 주요 유형을 식별합니다: 직접적 인젝션과 간접적 인젝션입니다. 직접적 프롬프트 인젝션은 사용자가 AI 시스템에서 의도하지 않거나 승인되지 않은 작업을 트리거하는 텍스트를 입력할 때 발생합니다. 반면, 간접적 프롬프트 인젝션은 AI 모델이 응답을 생성하는 데 의존하는 데이터를 오염시키거나 저하시키는 것을 포함합니다.
가장 악명 높은 직접적 프롬프트 인젝션 방법 중 하나는 ChatGPT를 주로 대상으로 하는 DAN(Do Anything Now)입니다. DAN은 역할극 시나리오를 사용하여 모더레이션 필터를 우회하여, 사용자가 일반적으로 필터링될 수 있는 응답을 요청할 수 있게 합니다. 개발자들이 취약점을 패치하기 위한 노력을 기울임에도 불구하고, DAN의 여러 버전이 지속되어 AI 보안에 지속적인 과제를 제기하고 있습니다.
프롬프트 인젝션 공격 방어하기
프롬프트 인젝션 공격을 완전히 제거하는 것이 불가능할 수 있지만, NIST는 위험을 완화하기 위한 여러 방어 전략을 제안합니다. 모델 제작자는 교육 데이터셋을 신중하게 선별하고 적대적 프롬프트를 인식하고 거부하도록 모델을 훈련할 것을 권장합니다. 또한, 해석 가능한 AI 솔루션을 사용하면 비정상적인 입력을 감지하고 방지하는 데 도움이 될 수 있습니다.
간접적 프롬프트 인젝션은 조작된 데이터 소스에 의존하기 때문에 formidable한 과제를 제시합니다. NIST는 인간 피드백을 통한 강화 학습(RLHF)을 통해 모델을 미세 조정하는 데 인간의 참여를 권장합니다. 검색된 입력에서 지시를 필터링하고 AI 모더레이터를 활용하면 간접적 프롬프트 인젝션 공격에 대한 방어를 더욱 강화할 수 있습니다.
해석 가능성 기반 솔루션은 AI 모델의 의사결정 과정에 대한 통찰력을 제공하여 이상 입력을 감지하는 데 도움을 줍니다. 예측 궤적을 분석함으로써 조직은 잠재적 공격이 나타나기 전에 식별하고 차단할 수 있습니다.
AI 사이버 보안에서의 IBM 보안의 역할
사이버 보안 환경이 진화함에 따라 IBM Security는 최전선에 서서 emerging threats에 대한 방어를 강화하기 위한 AI 기반 솔루션을 제공하고 있습니다. 고급 기술과 인간 전문 지식을 활용하여 IBM Security는 조직이 AI 시스템을 효과적으로 보호할 수 있도록 권한을 부여합니다.
AI 기술이 발전함에 따라 그 취약점을 악용하려는 악의적 행위자들이 사용하는 전술도 함께 발전합니다. NIST의 권고를 준수하고 IBM Security와 같은 업계 리더들의 혁신적인 솔루션을 활용함으로써 조직은 AI 사이버 보안 위협과 관련된 위험을 완화하고 시스템의 무결성과 보장을 보장할 수 있습니다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
면책 조항: 제공된 정보는 거래 조언이 아닙니다. Cryptopolitan.com은 이 페이지에 제공된 정보를 바탕으로 이루어진 어떠한 투자에 대해서도 책임을 지지 않습니다. 어떠한 투자 결정을 내리기 전에 반드시 독자적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
Brian Koome
브라이언 쿰은 2017 년 이후 블록체인 및 암호화폐 업계에서 활동해 온 7 년 이상의 경험을 보유하고 있습니다. BlockToday.com 을 포함한 주요 출판사에 기고했으며, BitDegree.org 에서 이더리움 101 과정을 개발한 후 Cryptopolitan 의 전속 작가로 합류했습니다. 브라이언은 에버그린 가이드 (EG), 심층 분석, 인터뷰, 가격 분석을 다루며 DeFi, 블록체인 혁신, 그리고 신흥 암호화폐 프로젝트에 집중하여 독자들에게 큰 호응을 얻고 있습니다.
