-
清華大学とMicrosoftは、合成データのみを使用して、いかなる段階でも実世界の入力を用いずに、完全なAIコーディングモデルを学習させました。
-
NvidiaのH20およびH200チップを採用したこのモデルは、パラメータ数や学習データ量が少なくても、より大規模なコーディングモデルを上回る性能を発揮しました。
-
中国はまた、既存のAIチップと比較して数百万倍少ないエネルギー消費で4.6 PFLOPSの演算能力を実現する光ベースのACCELチップも公開しました。
Tsinghua大学とMicrosoft Research Asiaは、フェイクデータのみを使用して完全なAIモデルをトレーニングした。現実世界のサンプルは全く使用しなかった。
データセット全体は、SynthSmithと呼ばれる新しいパイプラインを通じて人工的に生成され、システムは開始から終了までNvidiaチップ上で実行された。チームは単なる新奇性のテストを成功させただけでなく、人間のデータでトレーニングされたはるかに大きなモデルを上回る70億パラメータの動作モデルを構築した。
1月11日にarXivに投稿された彼らの論文は、トレーニングされたX-Coderが現実のテキストを一切見ていないにもかかわらず、140億パラメータのコーディングモデルを上回ったと主張している。
「詳細な分析により、スケーリング法則が合成データセットでも成立することが明らかになった」と研究者らは書いた。このチームには、Tsinghua大学、Microsoft Research Asia、Wuhan Universityの名前が含まれていた。
研究者たちは、現実世界のデータを完全にスキップするためにNvidiaチップを使用した
トレーニングのセットアップはNvidiaハードウェアに大きく依存していた。教師ありファインチューニングには、220時間連続で128個のNvidia H20チップを使用した。その後、強化学習フェーズを処理するために、32個のH200チップに切り替え、さらに7日間フル稼働させた。これらはランダムな選択ではなかった。H20は推論向けに調整されており、H200はハイエンドトレーニング用に構築されている。これらは現在、中国の企業が利用可能な最も強力なチップであり、これはNvidiaが中国での利用を可能にするよう強くロビー活動を行った後、トランプ政権が承認した輸出管理の免除のおかげである。
研究者たちは、スケーリングに関してパイプライン自体が問題だったわけではないと語った。すべては計算資源の問題であった。
Tsinghuaの修士課程学生であり、筆頭著者であるWu Jieは、パイプラインを1,000億または1兆パラメータのモデルに拡張しなかった本当の理由は、単に「パイプライン自体の制限ではなく、計算資源の制約である」と語った。
コードを公開することで、彼らは他の人が巨額のトレーニングコストを支払うことなく、このプロジェクトを基盤に構築できることを望んでいる。論文はまた、AIにおける一つの傾向を指摘している。
モデルは今や、より長い時間枠で「思考」し、複雑な推論を処理することが期待されており、これによりトレーニングだけでなく推論時の計算資源の必要性が大幅に高まっている。
中国のチームが古い製造技術を使用してより高速なチップを構築
別に、光粒子ではなく電気を使用して中国の科学者によって構築された新しいチップACCELがある。このチップ（All-Analogue Chip Combining Electronics and Lightの略）は実験室でテストされ、4.6 PFLOPSを記録した。
これはNvidiaのA100の3,000倍速く、中国のチップは400万倍少ないエネルギーを使用した。これは、画像認識や自律運転などの特定のタスクのために作られた最も効率的なAIチップの一つである。
まだCPUやスマートフォンのチップを置き換えることはないが、チームはウェアラブル、電気自動車、またはスマートファクトリーで機能する可能性があると考えている。
このチップは、半導体製造国際株式会社（SMIC）によって20年前のプロセスを使用して構築された。中国がまだアクセスできない先進的なリソグラフィ装置の必要性を回避した。
「光計算システムのデプロイメントは、複雑な構造的設計やノイズおよびシステムエラーへの脆弱性のため、以前は課題であった」と、Tsinghuaは記事の中で語った。
このチップは、光とアナログエレクトロニクスを新しいフレームワークで組み合わせることで、この問題を回避している。ファイル圧縮などの一般的な計算タスクは処理できないが、AIビジョンや低光センシングには優れている。
一つの驚くべき詳細：現代のチップを1時間稼働させるのに必要なエネルギーは、ACCELを500年間稼働させるのに十分である。この低電力消費は、チップの小型化を制限する熱問題に対処しやすくもする。
チップの機能には、交通識別、低光イメージング、リアルタイムビジョンが含まれ、センシングプロセスで環境光を直接使用する。チームは、これは汎用チップではないが、非常に特定のニーズを満たすと語った。
資金は国家重点研究開発プログラムと中国国家自然科学基金から提供された。研究者の一人が共同設立した北京のチップ会社MakeSensも関与しており、同社も最近低消費電力アナログチップをローンチした。
プロジェクトのリーダーの一人であるTsinghuaのDai Qionghaiは、新しい計算アーキテクチャの構築は第一歩に過ぎないと語った。
「より重要な課題は、この新しいアーキテクチャを実用的なアプリケーションに持ち込み、主要な国家的および公衆のニーズを解決することであり、それが私たちの責任である。」
このチップが市場に登場するのはいつかについて、チームは何も発表していません。
これをお読みいただいているあなたは、すでに一歩先を行っています。当社のニュースレターでその先を行ってください。
Jai Hamid
ジャイ・ハミドは、過去6年間、暗号通貨、株式市場、テクノロジー、世界経済、そして市場に影響を与える地政学的イベントを報道してきました。彼女は、AMB Crypto、Coin Edition、CryptoTaleなどのブロックチェーン専門出版物で、市場分析、大手企業、規制、マクロ経済動向に関する記事を担当してきました。ロンドン・スクール・オブ・ジャーナリズムを卒業し、アフリカ有数のテレビネットワークで3回にわたり暗号通貨市場の洞察を提供しています。
