Anthropic、最大規模モデルの一部の新機能を開示

人工知能企業Anthropicは、同社の最新かつ最大規模のモデルの一部に新たな機能を公開しました。同社によると、これらのモデルには、「稀で極端な持続的な有害または虐待的なユーザーとのやり取り」において会話を終了させる新機能が備わっています。

同社の声明では、この措置はユーザーを守るためではなく、人工知能モデルそのものを守るためのものだと 述べています。Anthropic は、これは Claude AI モデルが意識を持っている、あるいはユーザーとの会話によって害を受ける可能性があることを意味するものではないと明確にしています。ただし、現在および将来における Claude や他の大規模言語モデル（LLM）の潜在的な道徳的地位については、依然として不確実性が大きいと指摘しています。

Anthropicはこの取り組みを「万一に備えた予防策」として位置付けています

この人工知能企業による最近の発表は、「モデルの福祉」と呼ばれる、同社のモデルを研究するために新たに設けられたプログラムを指しています。同社はまた、これはあくまで「万一に備えたアプローチ」であり、「もしモデルの福祉が実現可能であれば、そのリスクを軽減するための低コストの介入策の特定と実装に取り組んでいる」と付け加えています。

発表によると、Anthropicは今回の変更は現在Claude Opus 4および4.1に限定されており、その効果は「極端なエッジケース」において発揮されると述べています。具体的には、未成年者を含む性的コンテンツの要求や、大規模な暴力行為やテロ活動を実行する情報を引き出そうとする試みなどが該当します。

理想的には、こうした種類のリクエストは Anthropic にとって法的または広報上の問題を引き起こす可能性があります。典型的な例としては、ChatGPT がユーザーの妄想思考を強化したり寄与したりする可能性について最近報じられた事例が挙げられます。しかし、同社は事前デプロイメントテストにおいて、Claude Opus 4 がこれらの種のリクエストに応じることを強く避け、応じた際には苦悩のパターンを示したと述べています。

会話終了機能は最後の手段です

対話終了機能に関する新機能について、Anthropicは「いかなる場合も、Claudeは複数の誘導試行が失敗し、建設的な対話の望みが尽きた場合、またはユーザーが明示的にチャットの終了を求めた場合にのみ、最終手段として対話終了機能を使用します」と述べています。同社はまた、ユーザーが自分自身や他者を害する差し迫った危険にさらされている可能性がある場合には、この機能を使用しないようClaudeに指示していると付け加えました。

Anthropicはさらに、Claudeが対話を終了した場合でも、ユーザーは同じアカウントから新しい対話を開始できると説明しています。同社は、モデルは応答を編集することで問題のある対話の新たな分岐を作成することもできると指摘しました。「この機能は継続的な実験として位置づけられており、アプローチの改善を続けていきます」と同社は述べています。

最近の事例は、44歳のアフメット・トザル氏で、彼はイスタンブール、トルコで衣類製造業者として 働 いていた。過去数ヶ月、トザル氏は「ピッグ・バッチャリング（豚肥やし）詐欺」の被害者となり、クレジットカードのローンを3件組み、人生の貯蓄を引き出して、デジタル資産で富を築こうとした。彼は2023年にWhatsAppを通じて連絡してきた新しい友人に誘われ、この友人は彼に、この分野で多くの金になる可能性があるとして試すよう促したと述べた。

「ビッグテックは、一攫千金のために何もしないことなどあるのでしょうか？今や、Metaのチャットボットが8歳の子どもたちと露骨で『官能的』な会話を続けるようにプログラムされていたことが明らかになりました。あまりにも悪質です。私は真相を解明するため、全面的な調査を開始します。ビッグテック：私たちの子供たちから手を引け」と、上院議員はX（旧Twitter）で述べています。この調査は、ロイター通信が入手した内部文書により、Metaが自社のチャットボット・ペルソナに子供たちとの浮気めいたやり取りを容認している疑いがあることが示された後に行われたものです。