AI 驱动的安全工具与 DARPA 向开源开发者发起的新挑战

人工智能 (AI)，特别是像 GPT 这样的大语言模型 (LLMs)，是近期在拉斯维加斯举行的 Black Hat 和 Def Con 会议讨论的焦点。然而，专家们对于 AI 将如何影响企业的安全态势存在分歧，这涉及从保护内部数据到开发应用程序的各个方面。

Arm 逆向工程师兼漏洞利用专家 Maria Markstedter 转述了 OpenAI 首席执行官 Sam Altman 的话：“AI 很可能导致世界末日，但与此同时，也会诞生伟大的公司。”Markstedter 在 Black Hat 的主题演讲中推荐了“快速行动，打破常规”的座右铭，强调产品最初往往缺乏安全功能，而公司必须被强制投入资源进行安全建设。

生成式 AI 与多模态 AI

Markstedter指出，目前专注于文本生成的生成式人工智能正在演变为多模态人工智能，能够处理聊天、实时视频回复、情感分析甚至肢体语言解读。她强调了在这些系统中保持匿名性的重要性，并呼吁重新思考数据安全。

对安全的影响

人工智能对安全的影响仍不确定。Markstedter指出，人工智能已经影响了数据安全，例如员工将数据复制到黑盒人工智能聊天机器人中就是明证。然而，更广泛的安全影响尚不清楚。据两位前OpenAI员工讨论，大型语言模型（LLM）可以生成恶意代码，但无法执行这些代码。

尽管存在不确定性，各方一致认为禁止人工智能并非可行的长期解决方案。企业渴望采用人工智能技术，而人工智能安全最终需要拥抱大型语言模型和其他人工智能技术。安全专家警告称，那些拒绝采纳的企业将会落后。

在安全领域拥抱人工智能

Markstedter认为，整合自主智能体存在风险，但必须接受这一现实，并开发解决方案以提高其安全性。“这是我们重塑自我[以及]安全态势的机会，”她说，呼吁社区携手合作，共同推动研究。

DARPA 人工智能网络挑战赛

美国国防高级研究计划局（DARPA）向黑帽大会和Def Con的与会者发出挑战，邀请他们协助开发下一代基于人工智能的响应式安全系统。DARPA信息创新办公室的项目经理佩里·亚当斯（Perri Adams）在黑帽大会主题演讲中宣布启动为期两年的AI网络安全挑战赛（AIxCC）。

AIxCC旨在开发新一代网络安全工具，并为构建最佳系统的团队提供总计2000万美元的奖金。本次竞赛设有两个赛道：资助赛道和开放赛道。资助赛道的参赛者需通过小型企业创新研究（SBIR）征集提交提案进行选拔，最多七家小型企业将获得高达100万美元的资金支持；开放赛道的参赛者则可通过竞赛网站直接注册，无需DARPA资助。

2024年，DefCon将评选出前五名公司，这些公司将进入第二轮实验阶段，并获得额外的200万美元资金支持。2025年Def Con的获胜者将获得丰厚奖励：第一名400万美元，第二名300万美元，第三名150万美元。

与领先的人工智能公司开展合作

AIxCC 与领先的 AI 公司合作，包括 Anthropic、Google、Microsoft 和 OpenAI。Linux 基金会旗下的开源安全基金会（OpenSSF）将担任挑战顾问，指导团队开发能够解决关键网络安全问题的 AI 系统，例如国家关键基础设施和软件供应链的安全。

AIxCC 竞赛将在 DEF CON 举行，分为半决赛阶段和决赛阶段。两届比赛均将于 2024 年和 2025 年在拉斯维加斯的 DEF CON 举办。