Anthropic、AI安全性を強化するために1万5,000ドルのバグ報奨金プログラムを立ち上げ

Amazonの支援を受けるAIスタートアップであるAnthropicは、バグ報奨金プログラムを立ち上げ、人工知能システムの重要な脆弱性を特定する毎のレポートに対して最大1万5,000ドルを支払う。このイニシアチブは、高度な言語モデルに取り組むどの企業よりも広範な取り組みの一つであり、セキュリティテストをクラウドソーシングするものだ。

同社によれば、この報奨金は「ユニバーサルジェイルブレイク」攻撃、すなわち生物兵器やサイバー脅威などの分野でAI安全性対策を回避する方法を対象としている。Anthropicは、次世代の安全性緩和システムを一般公開する前に、倫理的ハッカーがそれをテストし、潜在的な悪用を防ぐ計画を立てている。

バグ報奨金プログラムを拡大します。この新しいイニシアチブは、次世代のセキュリティシステムにおけるユニバーサル・ジェイルブレイクの発見に焦点を当てています。

サイバーセキュリティを含む幅広い分野における新規の脆弱性に対して報酬を提供します。 https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) 8月8日、2024年

HackerOneとの協力により招待制で始まったAnthropicのバグ報奨金プログラムは、AIシステムの脆弱性を特定し修正するサイバーセキュリティ研究者のスキルを求めている。同社は将来、より広く公開し、AI安全性における業界全体の協力モデルを提供する可能性がある。

これは、英国の競争市場庁（CMA）がAnthropicへの40億ドルの投資に関する競争上の懸念を調査している時期と重なっている。この規制監視の強化の背景の中で、安全性に焦点を当てることはAnthropicの評判を高め、競合他社と差別化することにつながる可能性がある。

Anthropicが新たなAI安全性の基準を設定

OpenAIとGoogleもバグ報奨金プログラムを持っているが、それらは主に人工知能特有のものではなく、従来のソフトウェアの脆弱性に集中している。Metaは、ますます賢明な機械の安全な開発を確保するための研究に対して、相対的に閉鎖的なアプローチを取ったとして批判されてきた。Anthropicは、このような問題を明示的にターゲットにし、外部からの検査を招くことで、業界内でオープンネスの先例を設定している。

しかし、バグ報奨金だけでは、高度な機械学習システムのセキュリティに関連する懸念の全範囲を効果的に解決できるかどうかについては疑念がある。特定の欠陥の特定と修正には価値があるが、AIのアライメントや長期的な安全性に関するより広範な課題に対処できない可能性がある。AIシステムがより強力になるにつれて人間の価値観と整合性を保つことを確保するには、広範なテスト、解釈可能性の向上、そして潜在的に新しいガバナンス構造を含むより包括的な戦略が必要かもしれない。