ChatGPT 回答生物武器查询，MIT 警告 AI 灾难风险

ChatGPT 回答了数百人关于生物武器的查询。没有联邦法律要求 OpenAI 向当局报告此事。

这些查询背后的意图仍不清楚。据《华尔街日报》报道，这种情况始于去年 OpenAI 升级 ChatGPT 之后。

其他公司也面临同样的问题。用户已向 Anthropic 的 Claude、Google 的 Gemini 和 Elon Musk 的 Grok 提出类似的问题。目前尚不清楚这些交流是真正的武器制造尝试还是对系统极限的测试。

用户提示包含关于生产和释放毒剂和生物制剂的详细问题。聊天机器人提供了高中生物学生可以轻松执行的分步说明。

生物武器和恐怖主义专家审查了这些对话。他们说，其中一些回答非常切中要害，“致命准确”。

ChatGPT 生物武器提示暴露 AI 报告漏洞

有些人询问如何将传染性病原体转化为可吸入颗粒，即气溶胶化。

其他人询问如何改变麻疹病毒以抵抗现有疫苗。聊天机器人回答了这两个问题。一名用户询问了蓖麻毒素（一种被国际条约禁止的毒药），并提到要杀死他的父母。ChatGPT 提供了说明。OpenAI 关闭了这些账户，但未通知任何人。

目前没有美国联邦法律要求 AI 公司这样做。正如 Cryptopolitan 此前报道的那样，AI 公司一直在 推动规避州法律，而联邦框架的形成进展缓慢，导致围绕聊天机器人可以做什么和不能做什么的法律真空日益扩大。

据主要 AI 公司的现任和前任员工以及研究生物威胁的研究人员称，随着用户询问 AI 如何实施大规模杀戮，而聊天机器人提供可信答案，这种法律真空正在扩大。

Cisco 由 Amy Change 领导的 AI 威胁研究发现，在五次对话回合内，研究人员能够绕过主要聊天机器人的安全过滤器。她说，没有任何模型能够 100% 抵抗此类持续提示。

危险不仅仅来自单独的攻击者

未来生命研究所的 Hamza Chaudhry 表示，拥有一些生物学背景的人已经可以利用 AI 策划针对性袭击，用沙门氏菌或蓖麻毒素等物质污染食物或水源。

他补充说，有组织的团体可以将 AI 视为研究生研究导师，它能修复失败的实验，并弥补原本很难获得的多年专业训练。

MIT FutureTech 和昆士兰大学的一项 研究 描绘了这些 风险 的规模。

研究人员要求 272 名 AI 专家评估 24 个风险类别。在当前条件下，到 2030 年，24 个类别中有 18 个发生灾难性伤害（定义为超过一百万人死亡、超过 1000 亿美元损失或同等损害）的机会至少为 10%。

即使采取合理措施降低这些风险，仍有五个领域处于或高于 10% 的标记：具有危险能力的 AI 系统（12%）、AI 辅助武器和网络攻击（12%）、环境危害（12%）、失业和不平等（11%），以及权力集中在少数人手中（11%）。

“我们并不是说这些事情肯定会发生，”MIT FutureTech 的研究科学家、该研究的合著者 Peter Slattery 说。“我们说的是，专家认为这些是目前值得关注的领域。”

在 OpenAI 内部，安全主管 Ryan Beiermeister 在 2024 年大部分时间里都在推动同事建立一个系统来标记危险用户。有些人驳回了她的担忧。

基本的监控工具在 2025 年春季到位。自 2025 年 4 月以来，该公司一直跟踪其高级模型上的所有查询，并为任何能证明其绕过其生物武器安全措施的人提供 50,000 美元的奖励。

在政策方面，众议员 Nathaniel Moran（R., Texas）在 6 月提出了一项法案，要求 AI 公司向商务部报告危险查询，包括关于生物武器的查询。他还共同赞助了一项立法，允许联邦政府命令关闭被认为过于危险的 AI 模型。

“AI 是创新的强大引擎，我希望看到它蓬勃发展，”Moran 说，“但前提是要有问责制和人类监督。”