Chainbaseが暗号通貨に特化したAI言語モデルのオープンソースを公開

Chainbaseは、オープンソースのAIモデル「Theia-Llama-3.1-8B」をリリースしました。これは暗号通貨に特化した言語モデルです。

同社は8月にTheiaChatと呼ばれるチャットボットのアルファ版をリリースしました。これはTheiaの機能を公開するためにリリースされたものです。

Theiaのトレーニングは2つのソースから得られました

モデルの学習に使用されたデータは、CoinMarketCapおよびその他の調査レポートから取得されました。Theia-Llama-3.1-8Bの学習と微調整に使用されたCoinMarketCapのデータには、ホワイトペーパー、公式ブログ投稿、ニュース記事などのプロジェクト文書が含まれています。

調査レポートは信頼できるオンラインソースから入手され、プロジェクトの基礎、市場の影響、開発の進捗状況に関する詳細な洞察を提供します。

ブログ 記事では さらに、これら 2 つの主要ソースからのデータも、冗長性を減らし、エラーを排除するために手動およびアルゴリズムによるフィルタリングを経たことが詳しく説明されています。

Chainbaseは、モデルの微調整と最適化にも高度な技術を採用しました。チームは効率的な微調整のためにLoRA（Low-Rank Adaptation）を活用しました。これにより、ベースとなるLlama-3.1-8B-Instructモデルを暗号通貨分野に適応させることができました。

トレーニング プロセスは LLaMA Factory と DeepSpeed を使用して強化され、ZeRO、オフロード、スパース アテンション、1 ビット Adam、パイプライン並列処理などの高度なテクニックが組み込まれ、トレーニングが高速化され、メモリ使用量が削減されました。

Chainbaseは、微調整に加え、効率的な展開に向けてモデルを最適化しました。この量子化プロセスにより、モデルのメモリ使用量が削減され、許容可能な精度を維持しながら推論速度が向上します。

Chainbaseは暗号通貨AIモデルのベンチマークを提案した

Theia-Llama-3.1-8Bのパフォーマンスを評価するために、Chainbaseは暗号AIモデルのベンチマークを提案しました。

ベンチマークでは、暗号知識の理解と生成、知識の範囲、推論機能など、7 つの側面にわたってモデルを評価します。

暗号分野における理解と生成能力に焦点を当てた初期ベンチマーク結果では、Theia-Llama-3.1-8Bが他の11種類のLLM（OpenAI、Google、Meta、Qwen、DeepSeekなどの人気モデルを含む）よりも優れた性能を示しました。このモデルは、パープレキシティスコア1.184、BERTスコア0.861を達成し、現在市場に出回っている主流のモデルを上回りました。

Chainbaseはブログ記事の中で、Theia-Llama-3.1-8Bの性能は現在市場に出回っている主流モデルを凌駕していると述べています。 「今後は、より大規模なモデルを構築し、モデルのより多くの側面を評価していく予定です」 とChainbaseは述べています。