Chainbase stellt Open-Source-KI-Sprachmodell mit Fokus auf Kryptowährungen vor

Chainbase hat das Open-Source-KI-Modell Theia-Llama-3.1-8B veröffentlicht. Es handelt sich um ein Sprachmodell mit Schwerpunkt auf Kryptowährungen.

Das Unternehmen hatte im August eine Alpha-Version des Chatbots namens TheiaChat veröffentlicht. Diese wurde damals herausgebracht, um die Funktionen von Theia vorzustellen.

Das Theia-Training stammte aus zwei Quellen

Die zum Trainieren des Modells verwendeten Daten stammen von CoinMarketCap und anderen Forschungsberichten. Die für das Training und die Feinabstimmung von Theia-Llama-3.1-8B verwendeten Daten von CoinMarketCap umfassen Projektdokumente wie Whitepaper, offizielle Blogbeiträge und Nachrichtenartikel.

Die Forschungsberichte wurden aus glaubwürdigen Online-Quellen bezogen, um detaillierte Einblicke in die Grundlagen des Projekts, seinen Markteinfluss und den Entwicklungsfortschritt zu geben.

Der Blogbeitrag erläutert weiter, dass die Daten aus diesen beiden primären Quellen zusätzlich einer manuellen und algorithmischen Filterung unterzogen wurden, um Redundanzen zu reduzieren und Fehler zu eliminieren.

Chainbase setzte zudem ausgefeilte Techniken zur Feinabstimmung und Optimierung des Modells ein. Das Team nutzte LoRA (Low-Rank Adaptation) für eine effiziente Feinabstimmung. Dies trug dazu bei, das Basismodell Llama-3.1-8B-Instruct an den Kryptowährungsbereich anzupassen.

Der Trainingsprozess wurde mithilfe von LLaMA Factory und DeepSpeed ​​optimiert, wobei fortschrittliche Techniken wie ZeRO, Offload, Sparse Attention, 1-Bit Adam und Pipeline-Parallelität zum Einsatz kamen, um das Training zu beschleunigen und den Speicherverbrauch zu reduzieren.

Neben der Feinabstimmung optimierte Chainbase das Modell auch für einen effizienten Einsatz. Dieser Quantisierungsprozess reduziert den Speicherbedarf des Modells und beschleunigt die Inferenz bei gleichzeitig akzeptabler Genauigkeit.

Chainbase schlug einen Benchmark für Krypto-KI-Modelle vor

Um die Leistung von Theia-Llama-3.1-8B zu bewerten, hat Chainbase einen Benchmark für Krypto-KI-Modelle vorgeschlagen.

Der Benchmark bewertet Modelle anhand von sieben Dimensionen, darunter das Verständnis und die Generierung von Kryptowissen, die Wissensabdeckung und die Fähigkeiten zum logischen Denken.

Erste Benchmark-Ergebnisse mit Fokus auf Verständnis- und Generierungsfähigkeiten im Kryptobereich zeigen, dass Theia-Llama-3.1-8B elf andere LLMs übertrifft. Darunter befinden sich gängige Modelle von OpenAI, Google, Meta, Qwen und DeepSeek. Das Modell erreichte einen Perplexitätswert von 1,184 und einen BERT-Wert von 0,861 und übertrifft damit die derzeit am Markt erhältlichen Standardmodelle.

Chainbase gab in seinem Blogbeitrag außerdem an, dass die Leistung des Theia-Llama-3.1-8B die gängiger Modelle auf dem Markt übertrifft. „Als Nächstes werden wir größere Modelle entwickeln und weitere Dimensionen der Modelle evaluieren“, so Chainbase.