アントロピック、AIの安全性強化のため1万5000ドルのバグ報奨金プログラムを開始

Amazonの支援を受けるAIスタートアップ企業Anthropicは、バグ報奨金プログラムを開始し、同社の人工知能システムの重大な脆弱性をdent報告1件につき最大1万5000ドルを支払うことを発表しました。この取り組みは、高度な言語モデルを用いてセキュリティテストをクラウドソーシングする企業による、最も大規模な取り組みの一つです。.

同社によると、この報奨金は「ユニバーサルジェイルブレイク」攻撃、つまり生物兵器やサイバー脅威といった分野におけるAIの安全対策を回避できる手法を対象としている。アントロピックは、次世代の安全対策システムを一般公開する前に、倫理的なハッカーによるテストを実施し、潜在的な悪用を防ぐことを計画している。.

バグ報奨金プログラムを拡大します。この新しい取り組みは、次世代セキュリティシステムにおける普遍的な脱獄脆弱性の発見に重点を置いています。

サイバーセキュリティを含む幅広い分野にわたる新たな脆弱性に対して報奨金を提供します。https ://t.co/OHNhrjUnwm

— アントロピック（@AnthropicAI） 2024年8月8日

アンスロピックのバグ報奨金プログラムは、HackerOneとの共同で招待制の取り組みとして開始されましたが、AIシステムの脆弱性をdent・修正するサイバーセキュリティ研究者のスキルを求めています。同社は将来的にこのプログラムをさらに広く公開し、AIの安全性に関する業界全体の協力モデルを提供する可能性を秘めています。.

これは、英国の競争・市場庁（CMA）が、AmazonによるAnthropicへの40億ドルの投資を潜在的な競争問題として調査している中での発表です。規制当局の監視が強化される中、安全性に重点を置くことで、Anthropicの評判を高め、競合他社との差別化を図ることができる可能性があります。.

Anthropicが新たなAI安全基準を設定

OpenAIとGoogleもバグ報奨金プログラムを実施していますが、これらは主に従来のソフトウェアの脆弱性に焦点を当てており、人工知能特有の脆弱性には焦点を当てていません。Metaは、ますます知能化する機械の安全な開発を確保するための研究において、一部から比較的閉鎖的だと批判されてきました。Anthropicは、こうした問題を明確に標的とし、外部からの調査を募ることで、この分野におけるオープン性のdent 築いています。.

しかし、バグバウンティだけで高度な機械学習システムのセキュリティ確保に関するあらゆる懸念に効果的に対処できるかどうかは疑問です。特定の欠陥をdentて修正するには有益ですが、AIの整合性や長期的な安全性に関するより広範な課題には対応できない可能性があります。AIシステムがより強力になっても、人間の価値観との整合性を保つためには、広範なテスト、解釈可能性の向上、そして場合によっては新たなガバナンス構造を含む、より包括的な戦略が必要になる可能性があります。.