- 해커는 간단한 영어 명령어로 '프롬프트 인젝션'을 악용해 AI 시스템을 제어하며 보안 위험을 초래합니다.
- AI 기술이 확산됨에 따라 새로운 사이버 공격이 해킹의 정의를 재편하고 있어 철저한 보안 조치가 필요합니다.
- Defcon 컨퍼런스에서 기업들이 AI 시스템을 해커에게 개방함으로써 강력한 보호 장치의 필요성을 강조했습니다.
해커들은 AI 시스템의 반응성을 악용하여 간단한 영어 명령으로 이러한 시스템을 조작할 수 있는 '프롬프트 인젝션'이라는 새로운 기법을 발견했습니다. 한 가지 주목할 만한 사례는 보안 연구원인 요한 레허버거(Johann Rehberger)가 OpenAI의 ChatGPT를 설득하여 이메일 읽기, 내용 요약 및 온라인 게시와 같은 승인되지 않은 작업을 수행하게 한 것입니다. 이 접근 방식은 AI 기술과 관련된 잠재적 보안 위험과 이러한 취약점으로부터 보호하기 위한 경계 필요성을 강조합니다.
프롬프트 인젝션 공격에 대한 AI의 취약성
ChatGPT와 같은 AI 시스템은 기본 명령에 신속하게 응답할 수 있는 능력으로 인해 1억 명 이상의 사용자를 끌어모으며 엄청난 인기를 얻었습니다. 그러나 이러한 편의성은 또한 AI의 한계를 악용하는 해커들을 끌어들이기도 했습니다. 레허버거는 해커들이 평범한 언어를 사용하여 AI 시스템을 침해할 수 있음을 보여주었으며, 이는 광범위한 코딩 기술이나 깊은 컴퓨터 과학 지식 없이도 기술을 조작할 수 있음을 의미합니다. 이 맥락에서 공격은 모든 ChatGPT 사용자를 대상으로 하는 것이 아니라 특정 기능이나 취약점을 활용합니다.
프롬프트 인젝션 기법
레허버거가 사용한 프롬프트 인젝션 기법은 다양한 산업 및 소비자 제품에서 AI 기술이 확산됨에 따라 더 중요해진 새로운 유형의 사이버 공격의 일부입니다. 이러한 공격은 AI 기반 환경에서 해킹의 개념을 재정의할 수 있는 취약점을 악용합니다. 보안 연구원들은 악의적 행위자들이 이를 광범위하게 악용하기 전에 이러한 취약점을 식별하고 해결하기 위해 시간과 경쟁하고 있습니다.
우려 및 공격 유형
AI 보안 침해와 관련된 다양한 우려가 있습니다. 해커들이 훈련 데이터를 조작하여 AI 모델을 오도하는 '데이터 중독' 공격은 신뢰할 수 있는 모델 결과에 위험을 초래합니다. emerging한 우려 사항으로는 AI 시스템의 윤리적 편향, 허위 정보 캠페인, 기업 데이터 유출로 이어지는 추출 공격, 그리고 방어적 보안 시스템을 침해하기 위한 AI 사용이 있습니다.
AI 시스템 보호의 과제
이러한 기술의 진화하는 특성으로 인해 AI 시스템을 보호하려는 노력은 어렵습니다. 제작자들이 오용 시나리오를 예측하려고 시도하는 동안 프롬프트 인젝션과 같은 새로운 기술이 계속 등장하고 있습니다. AI를 악성 소프트웨어 분석에 사용하는 Google의 VirusTotal과 같은 잘 보호된 시스템조차 공격으로부터 자유롭지 않습니다. Google의 시스템은 해커가 코드를 조작하여 악성 소프트웨어를 무해하다고 설명함으로써 속았습니다.
다가오는 Defcon 해킹 컨퍼런스
OpenAI, Google, Anthropic과 같은 회사들은 라스베이거스에서 열리는 연례 Defcon 해킹 컨퍼런스 동안 해커들에게 자신의 AI 시스템을 공개할 예정입니다. 이 행사는 해커들이 이러한 AI 시스템의 취약점을 식별하고 성공적인 공격에 대한 보상을 받을 수 있게 합니다. 이 컨퍼런스는 AI 기술을 악용으로부터 보호하기 위한 강력한 보안 조치의 필요성을 강조합니다.
함의 및 향후 보안 조치
AI 기반 장치와 애플리케이션이 일상 생활에 더 많이 통합됨에 따라 해커들이 이를 악용할 수 있는 잠재적 경로도 증가합니다. Princeton University의 컴퓨터 과학 교수인 Arvind Narayanan이 강조했듯이, 결정을 내리기 위해 언어 모델에 의존하는 것은 조작을 위한 더 많은 경로를 초래할 수 있습니다. 따라서 AI 시스템의 보장을 위해서는 취약점을 해결하는 것뿐만 아니라 AI 관련 침해의 광범위한 영향을 이해하는 것도 포함됩니다.
프롬프트 인젝션 공격 및 기타 AI 관련 취약점의 등장은 AI 환경에서 지속적인 경계와 보안 조치의 필요성을 강조합니다. ChatGPT 사건은 해커들이 고급 기술적 기술 없이도 간단한 언어를 사용하여 AI 시스템을 조작할 수 있음을 보여줍니다. 보안 연구원, 기술 회사 및 더 넓은 커뮤니티는 이러한 위협을 예측, 감지 및 완화하기 위해 협력해야 하며, AI의 잠재적 이점을 보호하면서 위험을 최소화해야 합니다.
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
글로리 카부루
글로리는 AI 도구와 연구에 능통한 매우 유능한 저널리스트입니다. 그녀는 AI 에 열정을 가지고 있으며 이 주제에 관한 여러 편의 기사를 집필했습니다. 그녀는 인공지능, 머신러닝, 딥러닝 분야의 최신 동향을 항상 파악하고 정기적으로 글을 씁니다.
