Anthropic推出15,000美元漏洞赏金计划以加强AI安全

由亚马逊支持的AI初创公司Anthropic已推出漏洞赏金计划，并将为每份识别出其人工智能系统关键弱点的报告支付高达15,000美元。这是任何从事先进语言模型工作的公司中，众包安全测试最广泛的举措之一。

据该公司称，该赏金针对“通用越狱”攻击，即绕过生物武器和网络威胁等领域AI安全措施的方法。在将其下一代安全缓解系统向公众开放之前，Anthropic计划允许道德黑客对其进行测试，以防止潜在的滥用。

我们正在扩大漏洞赏金计划。这一新举措专注于在我们下一代安全系统中寻找通用越狱漏洞。

我们将为跨多个领域的新型漏洞提供奖励，包括网络安全。 https://t.co/OHNhrjUnwm

—— Anthropic (@AnthropicAI) 8月 8, 2024

Anthropic的漏洞赏金计划最初是一个与HackerOne合作进行的仅限邀请的计划，旨在利用网络安全研究人员在识别和修复其AI系统漏洞方面的技能。该公司计划在未来更广泛地开放它，可能为行业范围内的AI安全合作树立榜样。

这发生在英国竞争与市场管理局（CMA）调查亚马逊对Anthropic的40亿美元投资是否存在潜在竞争问题之际。在这种监管审查加剧的背景下，专注于安全可以提升Anthropic的声誉，并使其与竞争对手区分开来。

Anthropic设定了新的AI安全标准

虽然OpenAI和Google也有漏洞赏金计划，但它们主要集中在传统软件漏洞上，而不是特定于人工智能的漏洞。Meta因采取被一些人视为相对封闭的方法来研究确保日益智能机器安全开发而受到批评。通过明确针对此类问题并邀请外部审查，Anthropic为该领域的开放性树立了先例。

然而，人们怀疑仅靠漏洞赏金是否能有效解决与保护先进机器学习系统相关的全部担忧。虽然对于识别和修补特定缺陷很有价值，但它们可能无法解决AI对齐和长期安全方面的更广泛挑战。可能需要一种更全面的策略，包括广泛测试、提高可解释性，以及可能的新治理结构，以确保随着AI系统变得更强，它们仍然与人类价值观保持一致。