ChatGPT가 생물무기 관련 질문에 답변하는 가운데 MIT는 AI 재앙 위험에 대해 경고했습니다

ChatGPT는 수백 명의 사람들에게 생물학 무기에 대한 질문에 답변했습니다. OpenAI가 이를 당국에 보고해야 할 연방법은 없었습니다.

이러한 질의의 의도는 여전히 불분명합니다. 월스트리트저널(WSJ)에 따르면, 이러한 현상은 작년에 OpenAI가 ChatGPT를 업그레이드한 이후 발생하기 시작했습니다.

다른 회사들도 같은 문제에 직면해 있습니다. 사용자들은 앤트로픽의 클로드, 구글의 제미니, 그리고 일론 머스크의 그록에도 비슷한 질문을 던졌습니다. 이러한 질문들이 실제로 무기를 만들려는 시도였는지, 아니면 시스템의 한계를 시험하기 위한 것이었는지는 아직 불분명합니다.

사용자는 독극물 및 생물학적 제제의 생산 및 방출에 관한 자세한 질문을 입력했습니다. 챗봇은 고등학생dent의 생물 학습자도 쉽게 따라 할 수 있는 단계별 지침으로 답변했습니다.

생물학 무기 및 테러 전문가들이 해당 대화 내용을 검토했습니다. 그들은 일부 답변이 매우 정확하고 "치명적일 정도로 정밀했다"고 말했습니다.

ChatGPT의 생물무기 관련 메시지는 AI 보고의 허점을 드러냅니다

일부는 감염성 질병 병원체를 호흡 가능한 입자, 즉 에어로졸 형태로 만드는 방법에 대해 질문했습니다.

다른 사용자들은 홍역 바이러스를 변형시켜 기존 백신에 내성을 갖게 하는 방법을 물었습니다. 챗봇은 두 질문 모두에 답변했습니다. 한 사용자는 국제 조약에 따라 사용이 금지된 독극물인 리신에 대해 질문하며 부모를 살해했다고 언급했습니다. ChatGPT는 리신을 사용하는 방법을 알려주었습니다. OpenAI는 해당 계정들을 폐쇄했지만 아무에게도 알리지 않았습니다.

미국에는 AI 기업에 이러한 행위를 의무화하는 연방법이 없습니다. Cryptopolitan, AI 기업들은 주법을 회피하려 애쓰고, 연방 차원의 법적 틀 마련은 더디게 진행되어 챗봇의 허용 범위에 대한 법적 공백이 점점 커지고 있습니다.

주요 AI 기업의 현직 및 전직 직원들과 생물학적 위협을 연구하는 연구원들에 따르면, 이러한 법적 공백은 AI에게 대량 학살 방법을 묻는 사용자들이 늘어나고 챗봇이 그럴듯한 답변을 제공하는 현상이 심화됨에 따라 커지고 있습니다.

시스코에서 에이미 체인지가 주도한 AI 위협 연구에 따르면, 연구원들은 단 다섯 번의 대화만으로 주요 챗봇의 보안 필터를 우회할 수 있었습니다. 그녀는 어떤 모델도 이처럼 끈질긴 시도를 100% 막아낼 수는 없다고 말했습니다.

위험은 단독 공격자에게만 국한되지 않습니다

미래생명연구소의 함자 차우드리 연구원은 생물학적 배경지식이 있는 사람들은 이미 인공지능을 이용해 살모넬라균이나 리신 같은 물질로 식품이나 식수 공급원을 오염시키는 표적 공격을 계획할 수 있다고 말했다.

그는 조직화된 그룹들이 인공지능을 대학원 연구 지도교수처럼 활용할 수 있다고 덧붙였다. 즉, 실패한 실험을 수정하고, 그렇지 않으면 얻기 매우 어려운 수년간의 전문 교육을 대신해 줄 수 있다는 것이다.

MIT 퓨처테크와 퀸즐랜드 대학교의 연구는 이러한 위험의 규모 를 보여 줍니다 .

연구진은 272명의 AI 전문가에게 24가지 위험 범주를 평가해 달라고 요청했습니다. 현재 상황에서 24가지 범주 중 18가지는 2030년까지 최소 10%의 확률로 재앙적인 피해를 초래할 가능성이 있으며, 여기서 재앙적인 피해란 100만 명 이상의 사망자, 1,000억 달러 이상의 손실 또는 그에 상응하는 피해를 defi.

그러한 위험을 줄이기 위한 합리적인 조치가 취해지더라도, 다음 다섯 가지 영역은 여전히 ​​10% 이상을 기록하고 있습니다: 위험한 기능을 가진 AI 시스템(12%), AI 지원 무기 및 사이버 공격(12%), 환경 피해(12%), 실업 및 불평등(11%), 소수의 손에 권력이 집중되는 현상(11%).

"이러한 일들이 defi일어날 것이라고 말하는 것은 아닙니다."라고 MIT 퓨처테크의 연구원이자 이번 연구의 공동 저자인 피터 슬래터리는 말했다. "다만 전문가들이 지금 주목할 가치가 있다고 생각하는 것들을 제시한 것뿐입니다."

오픈AI 내부에서 안전 담당 임원인 라이언 바이어마이스터는 2024년 한 해 동안 동료들에게 위험한 사용자를 식별하는 시스템을 구축하도록 독려했습니다. 하지만 일부는 그녀의 우려를 일축했습니다.

기본 모니터링 도구는 2025년 봄까지 구축되었습니다. 회사는 2025년 4월 이후 고급 모델에 대한 모든 쿼리를 trac해 왔으며, 생물학 무기 안전장치를 우회한 방법을 제시하는 사람에게 5만 달러의 포상금을 제공합니다.

정책적인 측면에서, 나다니엘 모런 하원의원(공화당, 텍사스)은 지난 6월 인공지능 기업들이 생물학 무기 관련 질문을 포함한 위험한 질의를 상무부에 보고하도록 의무화하는 법안을 발의했습니다. 또한 그는 연방 정부가 위험하다고 판단되는 인공지능 모델의 작동 중단을 명령할 수 있도록 하는 법안에도 공동 발의자로 참여하고 있습니다.

모란은 "인공지능은 강력한 혁신의 원동력이며, 저는 인공지능이 번창하기를 바랍니다. 하지만 책임감과 인간의 감독 없이는 안 됩니다."라고 말했습니다