챗GPT는 수백 명의 사람들이 생물무기에 대해 묻는 질의에 응답했습니다. 연방 법률은 OpenAI가 이를 당국에 보고하도록 요구하지 않았습니다.
질의 의도는 아직 명확하지 않습니다. WSJ에 따르면 이는 지난해 OpenAI가 ChatGPT를 업그레이드한 이후 발생하기 시작했습니다.
다른 기업들도 동일한 문제에 직면해 있습니다. 사용자들이 Anthropic의 Claude, Google의 Gemini, 일론 머스크의 Grok에게도 유사한 질문을 던졌습니다. 이러한 상호작용이 실제 무기 제작 시도였는지 아니면 시스템의 한계를 테스트한 것인지 아직 명확하지 않습니다.
사용자의 프롬프트는 독소 및 생물학적 제제의 생산 및 방출과 관련된 상세한 질문을 포함했습니다. 챗봇은 고등학교 생물학 학생이 쉽게 실행할 수 있는 단계별 지침으로 답변했습니다.
생물무기 및 테러 전문가들이 이러한 대화를 검토한 결과, 일부 답변은 매우 정확하고 “치명적으로 정확”했다고 밝혔습니다.
챗GPT 생물무기 프롬프트, AI 보고 체계의 공백 드러내
일부 사용자는 전염성 질병 병원체를 호흡 가능한 입자로 전환하는 방법, 즉 에어로졸화 방법을 묻기도 했습니다.
다른 사용자는 홍역 바이러스를 기존 백신에 저항하도록 변형하는 방법을 물었습니다. 챗봇은 두 질문에 모두 답변했습니다. 한 사용자는 국제 조약으로 금지된 독소인 리신을 묻고 자신의 부모를 살해하겠다고 언급했습니다. ChatGPT는 지침을 제공했습니다. OpenAI는 해당 계정을 차단했지만 아무에게도 통보하지 않았습니다.
미 연방 법률에는 AI 기업이 그중 하나라도 수행하도록 요구하는 규정이 없습니다. 이전에 Cryptopolitan이 보도한 바와 같이, AI 기업들은 주 법률을 피하기 위해 노력해 왔으며 연방 체계는 형성되는 데 시간이 걸려, 챗봇이 무엇을 할 수 있고 무엇을 할 수 없는지에 대한 법적 공백이 커지고 있습니다.
현재 및 전직 주요 AI 기업 직원들과 생물학적 위협을 연구하는 연구원들에 따르면, 사용자가 AI에게 대량 살해 수행 방법을 묻는 사례가 증가함에 따라 이러한 법적 공백이 확대되고 있으며, 챗봇은 신뢰할 수 있는 답변을 제공하고 있습니다.
Amy Change가 이끄는 시스코의 AI 리스크 연구에 따르면, 연구자들은 주요 챗봇의 안전 필터를 5번의 대화 턴 만에 우회할 수 있었습니다. 그녀는 어떤 모델도 이러한 지속적인 프롬프트에 100% 저항할 수 없다고 말했습니다.
위험은 단독 공격자에 그치지 않습니다
미래의 생명체 연구소(Future of Life Institute)의 Hamza Chaudhry는 일부 생물학 배경을 가진 사람들이 이미 AI를 사용하여 살모넬라나 리신과 같은 물질로 음식이나 물 공급원을 오염시키는 표적 공격을 계획할 수 있다고 말했습니다.
그는 조직화된 집단이 실패한 실험을 수정하고, 그렇지 않으면 획득하기가 매우 어려울 수 있는 수년간의 전문 교육을 대신할 수 있는 대학원 연구 지도교수처럼 AI를 활용할 수 있다고 덧붙였습니다.
MIT FutureTech와 퀸즐랜드 대학교의 연구는 이러한 리스크의 규모를 매핑합니다.
연구자들은 272명의 AI 전문가에게 24가지 리스크 범주를 평가하도록 요청했습니다. 현재 조건 하에서 24가지 중 18가지는 2030년까지 최소 10%의 치명적 피해(100만 명 이상의 사망, 1,000억 달러 이상의 손실 또는 이에 상응하는 피해)가 발생할 확률을 가지고 있습니다.
이러한 리스크를 줄이기 위한 합리적인 조치를 취하더라도, 5가지 영역은 여전히 10% 이상의 확률을 유지합니다: 위험한 기능을 갖춘 AI 시스템(12%), AI 지원 무기 및 사이버 공격(12%), 환경 피해(12%), 실업 및 불평등(11%), 소수에게 집중된 권력(11%).
“우리는 이러한 일이 반드시 발생할 것이라고 말하는 것이 아닙니다.” MIT FutureTech의 연구 과학자이자 연구 공동 저자인 Peter Slattery는 “우리는 전문가들이 지금 주시할 가치가 있다고 생각하는 것들이 무엇인지 말하고 있는 것입니다.”라고 말했습니다.
OpenAI 내부에서 안전 담당 임원인 Ryan Beiermeister는 2024년 내내 동료들에게 위험한 사용자를 플래그 처리하는 시스템을 구축하도록 설득했습니다. 일부는 그녀의 우려를 무시했습니다.
기본 모니터링 도구는 2025년 봄에 도입되었습니다. 회사는 2025년 4월부터 고급 모델의 모든 쿼리를 추적하고 있으며, 생물무기 안전 장치를 우회했음을 입증하는Anyone에게 5만 달러의 보상을 제공하고 있습니다.
정책 측면에서 Nathaniel Moran 하원의원(R, 텍사스)은 6월 생물무기를 포함한 위험한 쿼리를 상무부 보고하도록 AI 기업에 요구하는 법안을 발의했습니다. 그는 또한 연방 정부가 너무 위험하다고 판단된 AI 모델의 중단을 명령할 수 있도록 하는 입법에도 공동 발의자로 참여하고 있습니다.
“AI는 혁신의 강력한 엔진이며, 제가 보고 싶은 것은 그것이 번성하는 것입니다.” Moran은 “하지만 책임성과 인간 감독 없이 번성하는 것은 원하지 않습니다”라고 말했습니다.
이 글을 읽고 계신다면, 이미 앞서 나가고 있습니다. 뉴스레터로 그 위치를 유지하세요.
누르 바즈미
Noor Bazmi는 미디어학 학위를 갖춘 크립토폴리탄 뉴스 팀에 기여하고 있습니다. Noor은 블록체인, 암호화폐, 인공지능, 빅테크, 전기차 시장, 글로벌 경제 및 정부 정책 변화에 관한 뉴스를 보도합니다. 그녀는 글로벌 청중과 소통하기 위해 마케팅을 공부 중입니다.
