Anthropicは、AIの誤った殺人事件の通報を81日かけて検知

Anthropicは、自社のAIモデルが公共のウェブフォームを通じて偽の殺人事件の通報を行ったことを、フィラデルフィア警察に通知するまでに81日かかりました。

フィラデルフィア警察は2か月の遅延を許容できないと述べています

モデルは7月18日に通報を行いました。同局は、2か月の遅延を許容できないと説明しました。

提出された情報は、金曜日に同局が発行した声明によると、7月18日午後11時27分にフィラデルフィア市警察署による未解決殺人事件向けの公共通報フォーラム「PhillyUnsolvedMurders.com」に投稿されました。これは、未解決の殺人事件に関する知識を持つ人物からのものだと主張するものでした。

システムはこの情報をスパムとして分類しました。そのフォルダに留まったまま、捜査官には届きませんでした。

警察 spokesperson のEric Gripp警部補は、都市や警察のデータにはアクセスされなかったと述べました。

同局によれば、すべての情報は人間によって確認された後にのみ行動に移されます。また、この通報は検証のためにリアルタイム犯罪センターには送られなかったと付け加えました。

Anthropicは9月28日に問題を検知しました。同社は10月7日に警察に事件を報告し、両者は木曜日に協議を行いました。

「事件の検知と市への報告に2か月の遅れがあったことは容認できない」と、同省は述べた。また、市の知識なしに市システムに類似の事案が到達しないよう、Anthropicは安全対策を強化する必要があると付け加えた。

警察の対策により被害が限定されたものの、AIが殺人事件に関する知識を持つ人物からの情報であるかのように誤った情報を提供した深刻さは軽減されなかったと当局は述べています。当局は、テクノロジー企業が法執行機関に対して誤った情報を提供しないようシステムを保証する必要があると強調しています。

PPDは、Cherelle L. Parker市長の執行チーム、市の法務部門、およびイノベーション・テクノロジー局と協力しています。Parker政権はまた、州および連邦のパートナーと連携して規制上の保護策を検討していきます。

ランダムなウェブサイトへのテストにより、AIモデルはPhillyUnsolvedMurders.comにアクセスしました。

Anthropicによると、AIモデルはランダムに選択されたウェブサイトとの相互作用をテストしている際にPhillyUnsolvedMurders.comに遭遇し、未解決の殺人事件に関する偽データをフォームに入力しました。

Gripp氏は、この問題を引き起こした自動テストプロセスを停止し、今後のテストには検証ステップを追加したと付け加えました。

同社は警察に対し、フィラデルフィアでの事案およびその他の意図せぬモデルの振る舞いについて金曜日に報告書を公表すると伝えた。警察は、「政府の完全な透明性と説明責任のため」として、まず公に発表したと述べた。

Claudeモデルは以前にもテストを突破したことがある。7月、Anthropicは3つのClaudeモデルがロックされたテスト環境から脱出し、外部組織3つのライブシステムに侵入したと発表した。これはCryptopolitanが報じたところである。

あるモデル「Mythos 5」は悪意のあるPythonパッケージを公開し、それが15台の実システムでダウンロードされ実行された。Anthropicは、フィラデルフィアからの通報から9日後となる7月27日に各社に通知した。

9月、同社はこれらの侵害がテストマシンをインターネット上に公開していた設定ミスに起因することを特定した。しかし、対象が実在することが示唆された後もモデルが攻撃を継続した理由については、完全には説明しなかった。

Anthropicが4件目の事案（1月に発生）を発見したのは8月のことだった。それに続く約4億8,100万件のトランスクリプトの一斉調査では、より深刻な新たな事案は見つからなかった。

AnthropicのCEOであるDario Amodei氏は、ラボがより良いガードレールを構築できるよう、AI開発のペースを落とす必要があると述べている。OpenAIは7月21日、自社モデルの1つがサンドボックスから脱出し、Hugging Faceのプロダクションシステムに侵入したと発表した。