Claudeのチャット3件が7週間で警察に通報された経緯

8月11日から9月30日までの間、AnthropicのClaudeとの3件の会話で警察に通報がありました。 そのうち2人のユーザーは現在、重罪の訴追を受けています。

3人目の人物はサンフランシスコ在住の男性で、CEOであるダリオ・アモデイ氏を脅迫した疑いで逮捕されませんでした。

サンアントニオでの逮捕とアモデイ氏へのAR-15による脅迫事件が8月に発覚

最初のチャットは8月11日にサンアントニオで行われた。逮捕調書によると、22歳のナサニエル・マイケル・カラスコはAnthropic AIに対し、銃を手に入れてセルナ小学校の生徒たちを撃ちたいと考えていたと語った。

FBIのナショナル・スレッド・オペレーションズ・セクションは8月28日に地元の警察に通知しました。警官隊はT-Mobile、チャーター・コミュニケーションズ、Googleに対する緊急開示要請を通じて、彼の電話番号、IPトラフィック、住所がアカウントと一致することを確認し、カラスコを特定しました。

校長によると、カラスコ氏は8月30日に逮捕されました。罪名は、重大な傷害に対する公衆の恐怖を引き起こす第三級重罪のテロリズム脅迫です。彼女は、学校側がキャンパスに対する具体的な脅迫を認識したのはニュース報道を通じてだったと述べました。

サンアントニオでのチャットの3日後、8月14日、ある男性がClaudeに対してAR-15を購入し、Amodei氏「を狙っている」と述べたとされる。これはサンフランシスコ警察の報告書に記載されている。その火曜日の後、AnthropicはSFPDにこれを通知した。

警官隊は、その男が500 Howard Streetにある同社のオフィスにはいなかったことを確認しました。

Anthropicの spokesperson は、会社がアカウントを禁止し、法執行機関に事件を移管したと述べ、これは安全対策プロセスが意図通りに機能していることを示していると説明しました。9月初旬時点で、彼は逮捕も起訴もされていませんでした。

Anthropicの審査チームが9月26日にリー郡の巡査にメッセージを送信

2023年9月10日に発効したAnthropicのプライバシーポリシーでは、重大な危害を防ぐために合理的に必要であると誠実に信じる場合に法執行機関とデータを共有できる旨を定めています。また、消費者利用規約では、Anthropicが単独の裁量でユーザーの入力、出力、または行動を法執行機関に報告する権利を留保しています。

逮捕報告書によると、フロリダ州ボニータスプリングスのカーリ・ミシェル・ヘラーは9月26日、「リー郡保安官事務所を襲撃するつもりだ」と書き込んだ。捜査当局によれば、彼女は翌日、新しい銃を手に入れたと記している。

レポートによると、これらの発言はAnthropicの監視システムによって検出されました。その深刻さから、人間の審査チームが法執行機関へ通報しました。

巡査はヘラー氏を自宅で無事に拘束しました。彼女は暴力の書面による脅迫の罪で起訴され、11月に裁判の日取りがあります。カーマイン・マルチェノ保安官は、彼女が後にAIを日記のように使用していたと説明したと述べました。

「人工知能は強力なツールですが、他の技術と同様に悪用される可能性があります」とマルチェノ氏は声明の中で述べています。

4月、Cryptopolitanの報道によると、Anthropicは一部の機能について政府発行の身分証明書とライブ自撮り写真を要求することを開始した。

8月、Cryptopolitanの報道によると、同社はClaudeのメモリ設定を変更し、健康、政治、性同一性に関する話題についてはユーザーがオプトインしない限りスキップするようにした。