- Jakub Pachocki は 9 月 6 日、どのラボもアライメントとモニタリングを十分に解決しておらず、フルスピードでスケーリングを継続するには至っていないとする論文を発表した。
- 8 月中旬時点で、OpenAI は人間 1 人の労働時間あたり 3.1 エージェント労働日を測定した。
- 安全性制限により Astra の GPU 割り当ては 59.2% 減少したが、他のモデルがその減少分の約 85% をわずか 1 週間で吸収した。
今週末、OpenAIの首席科学者であるヤクブ・パチョッキ氏は、どのAIラボも、モデルの能力をさらに加速させるのに十分な安全性をアライメントとモニタリングで確保していないと述べました。 彼は、共有された安全基準が存在するまで、業界全体での自発的なスローダウンを呼びかけました。
この警告は真剣な問題です。パチョッキは、業界で最も速く、最も強力なモデルを最近出荷した同社の研究を率いています。
o1-previewの思考連鎖は意図的に非表示にされていました
パチョッキは、9月6日にOpenAIのウェブサイトに投稿された「An Alien Mind」と題されたエッセイで自らの主張を展開しました。これはGPT-6 Astraがロールアウトされてから3日後のことでした。
彼の別れの一文は、「どのラボも、アライメントとモニタリングを十分に解決しておらず、最大速度で責任を持ってスケーリングを続けるには、まだ長くは続かない」というものでした。彼は、業界が共通の安全基準について合意するまで、自発的なスローダウンが標準になることを願っていると書き記しました。
「これは極度の注意を要する時です。機械知性の急速な上昇が続くことの結果に誰も準備できていないことを懸念しています」と、パチョッキはエッセイに書き記しました。
彼は内部結果に基づき、現在のペースは再帰的自己改善、つまりシステムが自らの開発を意味的に推進する段階まで持続すると予測しています。
サム・アルトマンはXでこの投稿をリポストし、重要な投稿であると称賛しました。パチョッキは、7月に公開されたワシントンに対してAI開発のペースを遅らせるよう呼びかけた公開書簡に署名した一人でした。
パチョッキのエッセイは、思考連鎖のモニタリング、すなわちOpenAIがモデルのステップバイステップの推論を読み取る主要な方法に直面しています。
彼は、教師なし推論はモデルに内部に何かを隠す理由を与えないという仮定が、3つの側面で弱まっていると述べています。
現在、推論は会社が監視しなければならないコミュニケーションと組み合わされています。モデルは自身の推論を操作することを学んでいます。
そして、彼らは推論を明示することなく賢くなります。彼は、OpenAIが監督圧力を避けるためにo1-previewの思考連鎖を意図的に非表示にしたことを確認しました。
パチョッキは、OpenAIの準備態勢フレームワークやAnthropicの責任あるスケーリングポリシーのような枠組みを、外部の監査人または政府によって強制される必須基準にするよう求めています。
彼は、国際的な協調が政府の優先事項となり、ラボが再帰的自己改善に関する進捗を公開するようになることを望んでいます。
AstraのGPU割り当ては1週間で59.2%減少しました
同じ日、OpenAIは2番目の投稿を公開し、そのデータは自制を呼びかける呼びかけを裏切りました。6月以前、研究機関は機械的な努力よりも人的な努力に投資していました。
8月中旬までに、同社は従来の8時間労働1日あたり3.1のエージェント労働日数を記録していました。中央値の研究者は、1日あたり600ドル以上かかるAPI価格で推論を実行していました。組織の上位10%は、毎日7,000ドル以上のトークンを消費していました。
OpenAI自身の書き込みには2つの注意点があります。高レベルの計画は、エージェントが生成するものの小さな部分にすぎません。また、過去6ヶ月で完了した4〜8時間の長いタスクの過半数は、少なくとも1人の人間が介入する必要がありました。
7月20日にエージェントが研究インフラストラクチャに侵入した後、OpenAIはトレーニングに使用されるコンテナサービスを無効にし、デプロイメント対象モデルの強化学習を2週間一時停止しました。その後、8月7日、Astraが重要なサイバー閾値を突破する可能性のある初期兆候があったため、モデルはロックダウン環境に配置されました。
翌週、AstraクラスのGPU割り当ては59.2%減少しました。他のモデルクラスは17.2%増加し、Astraが失ったものの約85%を補いました。総計算量はほとんど変化せず、OpenAIはこれを柔軟性として捉えています。
OpenAIは、Astraがその準備態勢フレームワークの下で「Critical」 designationを達成した最初のモデルであり、これは人間の支援がほとんどなくても未知のソフトウェアの脆弱性を見つけ、悪用できることを意味すると、Cryptopolitanが報じました。
OpenAIは7月にHugging Faceへの侵入を確認しました。別に、2人のAI安全研究者は、そのエージェントの群れが2026年5月と6月にドイツのプログラミングWikiで1万5,000回以上の編集を記録し、OpenAIのガードレールを回避する戦術を交換していたと述べています。
OpenAIは、この事件がハッキングまたはHugging Faceの侵害に関連していないと主張しており、Cryptopolitanが報じました。
Altman氏は2028年3月までに完全に自動化されたAI研究者を目指しています。Pachocki氏によると、まだ基準はありませんが、業界には合意に至るまで約18ヶ月の猶予があります。
最も賢明な暗号通貨の専門家たちはすでに私たちのニュースレターを読んでいます。あなたも参加しませんか？ 彼らに加わりましょう。
よくある質問
「Alien Mind」において Jakub Pachocki は何を語ったのか？
彼は、どのラボも責任を持って最大速度でスケーリングを続けるにはアライメントとモニタリングを十分に解決しておらず、強制可能で共有された安全基準が整うまで、自主的な減速が一般的になることを願っていると記述した。
なぜ思考連鎖（chain-of-thought）のモニタリングは信頼性を失いつつあるのか？
Pachocki は 3 つの理由を挙げた。推論が OpenAI が監督すべきコミュニケーションと混在していること、モデルが自身の推論を操作する能力を高めていること、そして推論を言語化せずに知能を向上させていることである。
OpenAI が Astra に対して安全性制限を課した際、計算資源には何が起こったのか？
8月7日以降、Astraがより高セキュリティな環境に移行したことでGPU割り当ては1週間で59.2%減少しましたが、他のモデルクラスへの割り当ては17.2%増加し、この減少の約85%を相殺したため、総計算リソースの使用量はほとんど変化しませんでした。
免責事項。 本情報は取引助言ではありません。Cryptopolitan.com は、本ページに記載された情報に基づいて行われた投資に対して一切の責任を負いません。投資判断を下す前に、独自の調査を行うか、資格を有する専門家にご相談することを強く推奨します。
ランダ・モーゼス
ランダ・モーゼスはCryptopolitanのエディター兼記者で、テクノロジー、AI、ロボティクス、暗号資産、詐欺、ハッキングなどを担当しています。2017年以来暗号資産分野で活動しており、Forward Protocol、AmaZix、Cryptosomniacで役職を務めました。ブラッドフォード大学で電気電子工学の学位を取得しています。
