Anthropico 推出 1.5 万美元漏洞赏金计划，以加强人工智能安全性

由亚马逊支持的人工智能初创公司 Anthropic 推出了一项漏洞赏金计划，对于每份dent其人工智能系统关键漏洞的报告，将支付最高 15,000 美元的奖励。该计划是目前所有利用先进语言模型进行众包安全测试的公司中规模最大的举措之一。.

据该公司称，此次赏金计划旨在打击“通用越狱”攻击，这类攻击能够绕过人工智能在生物武器和网络威胁等领域的安全措施。在向公众开放其下一代安全缓解系统之前，Anthropic 计划允许道德黑客对其进行测试，以防止潜在的滥用行为。.

我们正在扩大漏洞赏金计划。这项新计划旨在寻找我们下一代安全系统中的通用越狱漏洞。

我们将为涵盖网络安全等广泛领域的新型漏洞提供奖励。https ://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) 2024年8月8日

Anthropic 的漏洞赏金计划最初是与 HackerOne 合作推出的邀请制项目，旨在利用网络安全研究人员的技能来dent和修复其人工智能系统中的漏洞。该公司计划未来扩大参与范围，并有可能为人工智能安全领域的全行业合作树立典范。.

在英国竞争与市场管理局 (CMA) 就亚马逊对 Anthropic 的 40 亿美元投资可能存在的竞争问题展开调查之际，Anthropic 专注于安全问题或许能够提升其声誉，并使其在竞争对手中脱颖而出。.

Anthropic制定了新的人工智能安全标准

虽然 OpenAI 和 Google 也设有漏洞赏金计划，但它们主要关注的是传统软件漏洞，而非人工智能特有的漏洞。Meta 因其在确保日益智能化的机器安全开发方面采取相对封闭的研究方法而受到批评。Anthropic 通过明确针对此类问题并邀请外部机构进行审查，为该领域的开放性树立了dent 。.

然而，人们怀疑仅靠漏洞赏金能否有效解决与高级机器学习系统安全相关的所有问题。虽然dent赏金对于识别和修复特定缺陷很有价值，但它可能无法应对人工智能与人类价值观相符以及长期安全性方面更广泛的挑战。为了确保人工智能系统在日益强大的过程中始终与人类价值观保持一致，可能需要一种更全面的策略，包括广泛的测试、提高可解释性以及建立新的治理结构。.