Anthropic社が『Claude Fable 5』の隠された制限を撤回

Anthropic社は謝罪し、 AI開発者向けに『クロード・フェイブル5』の性能を密かに制限する方針を撤回した。科学者たちは、この制限的な方針によってAIの高度な機能がごく一部の企業にしか利用できなくなり、世界的な科学の発展が阻害される可能性があると警告していた。

6月10日に行われたAnthropic社の決定は、一企業の行動という枠を超えた、はるかに大きな意味を持つ。同社の時価総額が9650億ドル近くに達し、IPOを間近に控えていることを考えると、今回のdent AI業界における重要な矛盾を浮き彫りにした。それは、最高のモデルを開発する企業が、世界的なイノベーションを推進するオープンな研究文化と、自社の競争上のニーズをどのように両立させるかという問題である。.

Anthropicの『Claude Fable 5』における隠された制約が業界の怒りを買う

をリリースした Claude Fable 5 6月9日に際、Anthropicはサイバーセキュリティ、生物学、化学、AI研究を含む 4つの保護カテゴリを公開した。これらのカテゴリのうち3つは同様の動作をした。機密性の高いクエリが検出されると、システムはそれを完全に拒否するか、以前の最上位バージョンであるClaude Opus 4.8にユーザーを誘導し、警告を表示する。

しかし、4つ目のカテゴリーは他のカテゴリーとは異なっていた。Fable 5は、新たなAIに関する問い合わせに直面すると、ユーザーに知らせることなく出力品質を低下させる仕組みになっていた。Fortune 誌の発表に関する報道によると 、同社はシステムのパフォーマンスを阻害する対策を講じていたが、その詳細は一切明らかにしていなかった。詳細は、 Anthropic社の319ページに及ぶシステムカード。

Anthropicによると、この制限が実際に適用される確率は約0.03%だった。しかし、研究者たちはその確率以上に、この原理そのものに強い危機感を抱いた。

「我々は誤った判断を下してしまい、適切なバランスを取れなかったことをお詫び申し上げます」と、アントロピック社は説明したと報じられている。.

批評家たちは、クロード・フェイブル5の規制がdent したAI研究を脅かしていると述べている。

この批判は、普段は意見が一致しない人々から寄せられた。オープンソースの支持者、AIを扱う安全研究者、さらにはAnthropic社の元従業員までもが、システムカードの公開から数時間以内に反論した。.

AIスタートアップ企業Prime Intellectのリサーチリーダー、ウィル・ブラウン氏は、この方針はまるで会社が「自ら梯子を下ろし始めている」かのようだと述べた。さらに、最先端システムの安全性と信頼性を評価する企業が増えていると指摘し、こうした隠れた性能低下は、検証プロセスを妨害する可能性があると付け加えた。.

かつてアレン人工知能研究所で研究を率いていたオープンモデル研究者のネイサン・ランバート氏は、tron声明の中 述べた。「X」上で、 この政策は「アントロピックを明確に反科学的、ひいては反進歩的、反安全的と位置づけている」と批判した。

AnswerDotAIの共同創設者であるジェレミー・ハワード氏は、この問題を競争的な権力争いとして捉えた。ハワード氏によれば、Anthropicの研究者は依然として制限のないモデルを社内で使用できるため、最先端技術は進歩し続ける一方で、外部の研究者は後れを取ることになるという。「AIの最先端技術は進歩する一方で、権力の不均衡は拡大する」と彼は述べた。

元アントロピック社の社員も意見を述べた。以前同社のAI科学者イニシアチブを共同で率いていたベナム・ネイシャブール氏は、こうした能力を制限することは「科学技術の進歩を根本的に遅らせ、人類にとって全体的にマイナスになる」と投稿した。

それはアントロピック社のIPOにどのような影響を与えるだろうか？

この事件dent 、アントロピック社にとって非常にデリケートな時期に発生した。同社は 裏dent6月1日にIPO書類を秘密提出し、 9650億ドルの評価額で650億ドルを調達した。この場合の評価額は、企業顧客と研究コミュニティからの信頼に大きく左右される。

AI研究をめぐる論争とは別に、『Fable 5』のリリースは別の点でも批判にさらされた。このモデルが採用した高度な生物学的フィルターによって、細胞膜やミトコンドリアといった、通常高校で教えられるような内容に関する質問に答えることができなかったのだ。 によると 、TNTやパスワードのリスクについては問題なく説明できたものの、mRNAワクチンの仕組みや花粉症の原因については説明できなかったという。

マイクロソフトは、Anthropicが新たに導入したMythosクラスのデータ保持ポリシーに関連するデータ保持の問題のため、従業員によるFable 5の使用を制限した。信頼性と安全性の観点から、プロンプトと出力の保持期間は30日間に設定されており、フラグが立てられたコンテンツは最長2年間保持される。.

次は何?

Anthropic社は、改訂されたポリシーにより、『Fable 5』におけるAI開発の安全対策を可視化すると発表した。システムがユーザーが最先端のAI研究を行っていることを検知した場合、リクエストを拒否するか、別のシステムに切り替えてユーザーに通知する。.

Anthropicはトレードオフを認めた。安全対策が公になった以上、同社はそれをより広範に適用せざるを得ない。これは、より無害なクエリもブロックされることを意味する。同社は分類器の精度向上に取り組んでいると述べた。この一件は、さらに重大な問題を浮き彫りにした。AIモデルの能力が向上するにつれて、トレーニングコストも上昇し、競合他社によるこうしたツールへのアクセスを制限したいという誘惑も強まる。Anthropicの迅速な方針転換がdent となるのか、それとも単に次の秘密裏の制限の試みを遅らせるだけなのかは、業界の他の企業がどのように対応するかにかかっている。.