사이버 공격자들이 프롬프트 주입을 이용해 ChatGPT를 악용하고 있습니다. 이는 사이버 보안 분야에서 점점 더 큰 문제로 대두되고 있습니다

ChatGPT 1주년이 다가옴에 따라 사이버 보안 환경은 끊임없이 진화하고 있으며, 방어팀과 위협 행위자 모두 생성 AI, 특히 대규모 언어 모델(LLM)이 제공하는 새로운 가능성을 모색하고 있습니다. LLM은 사이버 보안 분석가들에게 공평한 경쟁의 장을 마련해 줄 잠재력을 가지고 있지만, 위협 행위자가 이러한 기술을 어떻게 유리하게 활용할 수 있는지에 대한 우려가 커지고 있습니다. 이 글은 사이버 보안 업계의 주요 우려 사항, 즉 ChatGPT 및 기타 생성 AI 도구를 조작하기 위한 즉각적인 주입 공격(flip injection)을 통해 데이터 유출 및 소셜 엔지니어링 공격으로 이어질 수 있다는 점을 조명합니다.

확장되는 공격 환경

ChatGPT와 같은 생성 AI 도구는 사이버 보안 분야의 공격 영역을 확대했습니다. 이러한 도구의 다재다능한 활용성과 접근성은dent데이터 유출과 위협 행위자의 악의적인 악용이라는 새로운 기회를 만들어냈습니다. 기존 보안 시스템과 달리 생성 AI는 사용자가 제공하는 데이터에 의존하기 때문에 예측 불가능성과 취약성이 존재합니다. 위협 행위자들은 이러한 취약성을 인지하고 ChatGPT와 같은 도구를 더욱 설득력 있고 표적화된 사회 공학적 공격을 위한 수단으로 여깁니다.

신속한 주사의 힘

위협 행위자가 ChatGPT를 조작하기 위해 사용하는 전술 중 하나는 바로 신속 주입(prompt injection)입니다. 신속 주입은 프롬프트 내에 기만적이고 조작적인 언어를 삽입하여 AI가 안전 조치를 우회하거나 악의적인 결과를 생성할 수 있는 응답을 생성하도록 유도하는 것입니다. 본질적으로 신속 주입은 사이버 보안 분야의 SQL 주입과 유사합니다. 겉보기에 정상적인 명령을 악용하여 시스템을 조작하는 것입니다.

GitHub은 프롬프트 주입을 "ChatGPT 인스턴스의 동작을 제어하는 ​​데 악용될 수 있는 보안 취약점 유형"으로 설명합니다. 즉, 간단한 프롬프트 주입만으로도 LLM이 미리 프로그래밍된 명령을 무시하거나, 악의적인 작업을 수행하거나, 필터를 우회하여 잘못되거나 유해한 응답을 생성하도록 지시할 수 있습니다.

민감한 데이터에 대한 위험

생성적 AI는 사용자가 생성한 데이터 세트에 크게 의존하며, 사용자는 특정 반응을 이끌어내기 위해 점점 더 민감한 정보를 제공하는 경우가 많습니다. 이러한 관행은 의도치 않게 민감한 데이터를 위험에 빠뜨릴 수 있습니다. 위협 행위자가 프롬프트 주입을 사용할 때, 민감한 정보에 접근하기 위해 프롬프트를 전략적으로 조작하고, 사회 공학적 전술을 사용하여 귀중한 콘텐츠를trac할 수 있습니다.

독점 전략, 제품 세부 정보 또는 고객 정보와 같은 민감한 정보가 위험에 처할 수 있습니다. 악의적으로 조작된 프롬프트가 성공적으로 실행될 경우, 위협 행위자는 해당 정보에 접근할 수 있습니다. 또한, 프롬프트 주입을 통해 사용자를 악성 웹사이트로 유도하거나 시스템 내 취약점을 악용할 수도 있습니다.

귀하의 데이터 보호

이러한 새로운 위협에 대처하기 위해 ChatGPT와 같은 LLM 모델을 사용할 때는 최상의 보안 관행을 채택하는 것이 필수적입니다. 고려해야 할 몇 가지 단계는 다음과 같습니다.

민감한 정보 사용 시 주의하세요. 생성 AI 도구에서 민감하거나 독점적인 데이터를 공유하는 것은 가능하면 피하세요. 작업 완료를 위해 이러한 정보에 대한 접근이 필수적인 경우, 위험을 최소화하기 위해 익명화하고 일반적인 형태로 제공해야 합니다.

신뢰하기 전에 확인하세요: 생성 AI가 생성한 모든 요청을 처리하기 전에 적법성을 검증하기 위한 실사를 수행하세요. 이메일에 응답하든 웹사이트를 방문하든 항상 해당 경로의 진위 여부를 확인하세요.

의심스러운 활동 신고: 의심스럽거나 비정상적인 활동이 발견되면 IT 및 보안 팀에 연락하여 도움을 요청하세요. 조기 신고는 잠재적 위협을 완화하는 데 매우 중요합니다.