アントロピックは、いくつかの最大規模のモデルの新機能を公開しました

人工知能（AI）企業アンスロピックは、最新かつ最大規模のモデルの一部に新機能を搭載しました。同社によると、これらのモデルは「稀で極端なケースにおいて、ユーザーによる継続的な有害または虐待的なやり取り」において、会話を終了させる新機能を搭載しています。

同社は声明の中で、 述べている 。Anthropic社は、これは同社のAIモデル「Claude」が知覚力を持つ、あるいはユーザーとの会話によって危害を受ける可能性があるという意味ではないと明言した。しかしながら、Claudeをはじめとする他のLLM（論理言語モデル）の倫理的地位については、現在も将来も依然として大きな不確実性が残ると指摘している。

人類中心主義は、努力を念のための予防策として位置づける

人工知能企業の最近の発表では、「モデル福祉」と称する、同社のモデルを研究するために開発された最新のプログラムについて言及されています。同社はまた、万が一の事態に備え、「モデル福祉が実現可能になった場合に備えて、モデル福祉へのリスクを軽減するための低コストの介入策をdentし、実施する取り組みを進めている」と付け加えています。

発表によると、アントロピックは今回の変更は現在Claude Opus 4および4.1に限定されており、これらの変更は「極めて限定的なケース」においてのみ有効になると予想されていると述べている。こうしたケースには、未成年者を巻き込んだ性的コンテンツのユーザーからのリクエストや、大規模な暴力行為やテロ行為を可能にする情報の収集の試みなどが含まれる。.

理想的には、こうした種類の要求は、Anthropicにとって法的または広報上の問題を引き起こす可能性があり、典型的な例としては、ChatGPTがユーザーの妄想的思考を助長または促進する可能性があるという最近の報道が挙げられる。しかし、同社によると、導入前のテストでは、 Claude を示したというtron。

会話を終わらせる能力は最後の手段

アントロピック社は、会話を終了するための新機能について、「いずれの場合も、クロードは、リダイレクトを複数回試みても失敗し、生産的なやり取りの望みが絶たれた場合、またはユーザーがクロードにチャットの終了を明示的に指示した場合にのみ、会話終了機能を最終手段として使用します」と述べています。また同社は、ユーザーが自身または他者に危害を加える差し迫ったリスクがある場合には、クロードに対してこの機能を使用しないよう指示していると付け加えました。.

アントロピック社は、クロード氏が会話を終了しても、ユーザーは同じアカウントから新しい会話を開始できると付け加えた。また、このモデルはユーザーの返答を編集することで、問題のある会話に新たな分岐を作り出すこともできると同社は指摘した。「この機能は現在進行中の実験であり、今後もアプローチを改良していく予定です」と同社は述べている。.

この情報は、ジョシュ・ホーリー上院議員が 表明した た。漏洩した内部文書で、チャットボットが未成年者と恋愛関係の会話をすることを許可されていたと主張されたことを受け、ホーリー議員は、これらの製品が児童を搾取したり、傷つけたり、欺いたりする可能性があるかどうかを調査することが目的だと述べた。

「大手IT企業が手っ取り早く儲けたいなら、何でもやる、いや、何でもやる、なんていうものがあるだろうか？ 今、Metaのチャットボットが8歳児と露骨で『官能的な』会話をするようにプログラムされていたことがわかった。ひどい話だ。真相究明のため、徹底的な調査を開始する。大手IT企業よ、子供たちに手を出さないでくれ」と、上院議員はXで述べた。この調査は、ロイターが閲覧した内部文書で、Metaがチャットボットのペルソナに子供との軽薄なやり取りを許可していたとされることが明らかになったことを受けて開始された。.