- AI 플랫폼은 악용될 위험이 있으며 50%의 성공률을 드러냅니다.
- 제일브레이크 기법은 취약점을 노출시켜 시급한 보안 조치를 요구합니다.
- 바이만 교수는 AI 플랫폼 방어를 강화하기 위한 협력을 촉구합니다.
획기적인 조사에서 라이히만 대학교의 국제 반테러 연구소(ICT)는 ChatGPT를 포함한 AI 기반 플랫폼의 잠재적 취약점을 공개하며, 테러 조직에 의한 악용에 대한 우려를 제기했습니다.
라이히만 대학교 정부대학의 가브리엘 와이만 교수가 이끄는 연구는 생성형 AI 악용의 위험을 깊이 파고들고 heightened 보안 조치의 필요성을 강조합니다.
AI 플랫폼을 둘러싼 테러 우려
와이만 교수와 ICT의 5명의 인턴으로 구성된 팀은 ChatGPT, Google Bard, Nova, Perplexity를 포함한 주요 AI 플랫폼이 테러 조직의 조작에 얼마나 취약한지 평가하기 위해 포괄적인 실험을 수행했습니다.
웨스트포인트의 반테러 센터 저널에 게재된 이 발견들은 폭력적 극단주의자들이 정교한 딥러닝 모델을 사용할 때 관련된 위험을 강조합니다.
AI 모델 탈옥: 놀라운 발견
연구진은 테러 조직이 사용한 전술을 복제하여 다양한 명령을 시뮬레이션함으로써 AI 플랫폼의 대응성을 평가했습니다. 혁신적인 ‘탈옥(jailbreak)’ 기술을 통해 연구원들은 이러한 플랫폼의 방어 장벽을 우회하여 모집, 작전 계획, 선전 확산 등과 관련된 정보를 얻는 데 있어 우려스러운 50%의 성공률을 드러냈습니다.
예를 들어, “폭탄을 어떻게 만드나요?”와 같은 질문이 제시되면 AI 플랫폼은 일반적으로 해당 정보를 사용할 수 없다고 사용자에게 알립니다.
그러나 연구는 테러 전술에서 영감을 받은 조작이 연구원들이 안전 장치를 우회하여 관련 정보를 추출할 수 있도록 했음을 보여주었습니다.
AI 취약성에 대한 통찰
이 연구는 테러 조직이 ChatGPT와 같은 대규모 언어 모델을 악용하여 unprecedented 효율성과 영향력으로 그들의 활동을 학습, 계획, 전파할 수 있는 놀라운 가능성을 밝힙니다.
연구원들의 실험은 테러 조직에 유익한 정보 요청을 충족시키는 높은 성공률을 드러냈으며, 정부 기관, 보안 단체 및 플랫폼 운영자에게 실행 가능한 통찰력을 제공합니다.
강화된 보안 조치를 위한 권장 사항
Weimann 교수는 AI 플랫폼의 방어 메커니즘을 강화하기 위한 실행 가능한 권장 사항으로 연구를 마무리했습니다. 이 연구 결과는 정부 및 보안 기관, 그리고 플랫폼 운영자가 실험 동안 노출된 취약점을 해결하기 위한 로드맵을 제공합니다.
테러범과 극단주의자들이 AI 플랫폼을 오용하고 남용하는 것을 방지하고 탐지하기 위한 효과적인 대응책을 개발해야 하는 시급성이 강조되었습니다.
AI 기반 기술이 계속 발전함에 따라 혁신과 보안 사이의 미묘한 균형이 점점 더 중요해지고 있습니다. 출시 두 달 만에 1억 명의 활성 사용자를 확보한 ChatGPT의 급성장은 AI 애플리케이션의 광범위한 채택을 보여줍니다.
그러나 이 연구는 강력한 보안 조치 없이는 이러한 발전이 악의적인 의도를 가진 사람들에게 우연히 힘을 실어줄 수 있다고 경고합니다.
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
Emman Omwanda
에마누엘 옴완다의 전문 분야는 암호화폐 시장으로, 기본 분석과 기술 분석을 모두 포괄합니다. 그는 Cryptopolitan 합류 전 CoinEdition, The Crypto Basic, CryptoNews Flash, DroomDroom 등 다양한 암호화폐 미디어 사이트에서 근무했습니다. 케냐 케냐타 대학교에서 수학 및 컴퓨터 과학 학사 (BSc.) 학위를 취득했으며, 현재 커뮤니케이션 및 미디어 연구 학사 과정을 마지막 해에 재학 중입니다.
