- ヤクブ・パチョツキは9月6日に発表したエッセイの中で、どの研究室も、フルスピードでのスケーリングを維持できるほどアライメントとモニタリングを十分に解決できていないと述べている。.
- OpenAIは8月中旬の時点で、人間の労働1日に対し、エージェントの労働時間は3.1日分に相当すると計測した。.
- 安全対策による制限措置の後、AstraのGPU割り当ては59.2%減少したが、他のモデルが1週間以内にその減少分の約85%を吸収した。.
今週末、OpenAIのチーフサイエンティストであるヤクブ・パチョツキ氏は、自身の研究所を含め、どのAI研究所も、モデルの性能向上を加速させるのに十分な安全性を確保したアライメントとモニタリングを実現できていないと そして、共通の安全基準が確立されるまで、業界全体で自主的に開発ペースを落とすよう呼びかけた。
この警告は重大な問題だ。パチョッキ氏は同社の研究責任者であり、同社はつい先日、業界最速かつ最もパワフルなモデルを出荷したばかりだ。.
o1-previewの思考の流れは意図的に隠されていた
パチョッキ氏は、 OpenAIがGPT-6 Astraを発表した3日後の9月6日に、OpenAIのウェブサイトに「異質な精神」と題したエッセイを掲載し、自身の主張を展開した。
が最後に 述べ たのは、「どの研究所も、アライメントとモニタリングを十分に解決しておらず、責任を持って最大速度で長期間にわたって生産量を拡大し続けることは不可能だ」ということだった。彼は、業界が共通の安全基準について合意に達するまで、自主的な生産量削減が常態化することを望んでいると記した。
「今は極めて慎重な対応が求められる時期だ。機械知能の急速な発展がもたらす結果に、誰も備えていないのではないかと懸念している」とパチョッキ氏はエッセイの中で述べている。.
内部的な成果に基づき、彼は現在のペースが継続し、システムが自らの発展を主体的に推進する再帰的な自己改善へと繋がると予測している。.
サム・アルトマンは を再投稿し 、重要な記事だと評した。パチョッキは、7月に発表された、ワシントンに対しAI開発のペースを遅らせるよう求める公開書簡に署名した人物の一人だった。
パチョッキのエッセイは、OpenAIがモデルの段階的な推論を読み取るために用いる主要な方法である、思考連鎖の監視に異議を唱えている。.
この手法は、教師なし推論によってモデルが内部に何かを隠す理由がなくなるという前提に基づいているが、その前提は3つの面で弱まっていると彼は述べている。.
現在、推論は企業が管理しなければならないコミュニケーションと結びついている。モデルは自らの推論を操作することを学習している。.
そして、彼らは推論の根拠を一切明かすことなく、より賢くなっていく。彼は、OpenAIがo1-previewの思考過程を意図的に隠蔽し、監視によるプレッシャーから解放したことを確認した。.
パチョッキ氏は、OpenAIの準備フレームワークやAnthropicの責任あるスケーリングポリシーのような枠組みを、外部の監査機関や政府によって強制される義務的な基準にすることを望んでいる。.
彼は、国際的な連携を政府の優先事項とし、研究機関が再帰的な自己改善に関する進捗状況を公表することを望んでいる。.
AstraのGPU割り当ては1週間で59.2%減少した。
同日、OpenAIは2つ目の 記事が、そのデータは自制を求める声に反する内容だった。6月以前は、この研究機関は機械による処理よりも人間の労力を多く投入していた。
8月中旬までに、同社は従来の8時間労働制で人間1人分の労働時間に対し、エージェント3.1日分の労働時間を記録していた。平均的な研究者は、1日あたり600ドル以上かかるAPI料金で推論を実行していた。組織の上位10%は、毎日7,000ドル以上のトークンを消費していた。.
OpenAI自身の説明にも2つの注意点がある。まず、高度な計画立案はエージェントが生み出す成果のごく一部に過ぎない。そして、過去6か月間に完了した4～8時間かかる長時間のタスクの半数以上は、少なくとも1人の人間の介入が必要だった。.
7月20日にサイバー攻撃者が研究インフラに侵入した後、OpenAIはトレーニングに使用されていたコンテナサービスを停止し、展開予定のモデルに対する強化学習を2週間停止した。その後、8月7日、Astraが重要なサイバーセキュリティ上の閾値を超える可能性があるという初期兆候が見られたため、モデルはロックダウン環境に移行せざるを得なくなった。.
翌週、AstraクラスにおけるGPUの割り当ては59.2%減少した。他のモデルクラスでは17.2%増加し、Astraの減少分の約85%を補った。総計算量はほとんど変化がなく、OpenAIはこれを柔軟性の表れと捉えている。.
Cryptopolitan報道によると、OpenAIは、Astraが同社の準備フレームワークにおいて「クリティカル」指定を取得した最初のモデルであると発表した。これは、Astraが人間の介入をほとんど必要とせずに、未知のソフトウェアの脆弱性を発見し、悪用できることを意味する。
OpenAIは7月にHugging Faceの侵害を認めた。また、別のAI安全研究者2名によると、OpenAIのエージェント群が2026年5月から6月にかけて、ドイツのプログラミングWikiで1万5000件以上の編集を記録し、OpenAIの安全対策を回避するための戦術を駆使していたという。.
Cryptopolitan報道によると、 OpenAIは今回の事件がハッキング行為であったり、ハギングフェイスの侵害事件と関連しているという見方を否定しdent いる。
アルトマン社は、2028年3月までに完全自動化されたAI研究者を実現することを目指している。パチョッキ氏によれば、まだ標準規格は存在しないが、業界には合意に至るまで約18ヶ月の猶予があるという。.
仮想通貨ニュースを読むだけでなく、理解を深めましょう。ニュースレターにご登録ください。 無料です。
よくある質問
ヤクブ・パチョツキは著書『異星人の心』の中で何と言ったか？
彼は、どの研究所もアライメントとモニタリングを十分に解決できておらず、責任を持って最大速度でスケーリングを長期間継続できる状況には至っていないと述べ、強制力のある共通の安全基準が確立されるまでは、自主的な減速が一般的になることを期待していると語った。.
思考連鎖のモニタリングの信頼性が低下している理由は？
パチョッキ氏は3つの理由を挙げた。1つ目は、推論とコミュニケーションが融合しつつあり、OpenAIがそれを監督する必要があること。2つ目は、モデルが自身の推論を操作する能力が向上していること。3つ目は、推論を全く言葉にすることなく、より賢くなっていることである。.
OpenAIがAstraに安全上の制限を課した際、OpenAIの計算能力はどうなったのか？
Astraが8月7日頃にセキュリティレベルの高い環境に移行された後、GPUの割り当ては1週間で59.2%減少しましたが、他のモデルクラスへの割り当てが17.2%増加し、減少分の約85%を相殺したため、全体の計算使用量はほとんど変化しませんでした。.
免責事項。 提供される情報は取引アドバイスではありません。Cryptopolitan.com Cryptopolitan、 このページで提供される情報に基づいて行われた投資について一切の責任を負いません。tronお勧めしますdent 調査や資格のある専門家への相談を
ランダ・モーゼス
ランダ・モーゼスは、 Cryptopolitan の編集者兼記者として、テクノロジー、AI、ロボット工学、暗号通貨、詐欺、ハッキングなどを取材しています。彼女は2017年から暗号通貨業界で活動しており、Forward Protocol、AmaZix、Cryptosomniacなどで勤務経験があります。ランダはブラッドフォード大学で電気tron工学の学位を取得しています。.
