Chainbase stellt Open-Source-KI-Sprachmodell mit Fokus auf Krypto vor
- Chainbase veröffentlicht das Open-Source-KI-Modell Theia-Llama-3.1-8B.
- Das Modell wurde auf einem umfassenden, kryptoorientierten Datensatz trainiert.
- Benchmark-Ergebnisse zeigen, dass Theia Mainstream-Modelle übertrifft.
Chainbase hat das Open-Source-KI-Modell Theia-Llama-3.1-8B veröffentlicht. Es handelt sich um ein Sprachmodell mit Fokus auf Krypto.
Das Unternehmen hatte im August eine Alpha-Version des Chatbots namens TheiaChat eingeführt. Diese wurde damals veröffentlicht, um die Funktionen von Theia offenzulegen.
Das Training von Theia stammte aus zwei Quellen
Die zum Training des Modells verwendeten Daten stammen von CoinMarketCap und anderen Forschungsberichten. Die von CoinMarketCap für das Training und Fine-Tuning von Theia-Llama-3.1-8B genutzten Daten umfassen Projektdokumente wie Whitepapers, offizielle Blogbeiträge und Nachrichtenartikel.
Die Forschungsberichte wurden von vertrauenswürdigen Online-Quellen bezogen, um fundierte Einblicke in die Fundamentaldaten, den Markteinfluss und den Entwicklungsfortschritt des Projekts zu liefern.
Der Blogbeitrag erläutert weiter, dass die Daten aus diesen beiden primären Quellen auch manuellen und algorithmischen Filtern unterzogen wurden, um Redundanzen zu reduzieren und Fehler zu eliminieren.
Chainbase setzte zudem ausgefeilte Techniken beim Fine-Tuning und der Optimierung des Modells ein. Das Team nutzte LoRA (Low-Rank Adaptation) für effizientes Fine-Tuning. Dies ermöglichte die Anpassung des Basis-Modells Llama-3.1-8B-Instruct an den Kryptowährungsbereich.
Der Trainingsprozess wurde durch LLaMA Factory und DeepSpeed verbessert, wobei fortschrittliche Techniken wie ZeRO, Offload, Sparse Attention, 1-Bit Adam und Pipeline-Parallelismus eingesetzt wurden, um das Training zu beschleunigen und den Speicherverbrauch zu reduzieren.
Neben dem Fine-Tuning optimierte Chainbase das Modell für eine effiziente Bereitstellung. Dieser Quantisierungsprozess verringert den Speicherbedarf des Modells und beschleunigt die Inferenz, während eine akzeptable Genauigkeit erhalten bleibt.
Chainbase schlug einen Benchmark für Crypto-AI-Modelle vor
Um die Leistung von Theia-Llama-3.1-8B zu bewerten, entwickelte Chainbase einen Benchmark für Crypto-AI-Modelle.
Der Benchmark bewertet Modelle in sieben Dimensionen, darunter Verständnis und Generierung von Krypto-Wissen, Wissensabdeckung sowie Reasoning-Fähigkeiten.
Erste Benchmark-Ergebnisse mit Fokus auf Verständnis- und Generierungsfähigkeiten im Kryptobereich zeigen, dass Theia-Llama-3.1-8B elf weitere LLMs übertrifft. Dazu gehören populäre Modelle von OpenAI, Google, Meta, Qwen und DeepSeek. Das Modell erzielte eine Perplexity-Score von 1,184 und einen BERT-Score von 0,861 und übertraf damit gängige Modelle, die derzeit auf dem Markt verfügbar sind.
Chainbase erklärte auch in ihrem Blogbeitrag, dass die Leistung von Theia-Llama-3.1-8B die von derzeit auf dem Markt verfügbaren Mainstream-Modellen übertrifft. „Als Nächstes werden wir größere Modelle aufbauen und weitere Dimensionen der Modelle auswerten“, erklärte Chainbase.
Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Vignesh Karunanidhi
Vignesh ist ein Krypto-Inhaltsautor, Krypto-Journalist, Content-Editor und Social-Media-Manager. Er arbeitet seit über 6 Jahren mit Watcher.guru, BeInCrypto, CoinGape, Milkroad und Airdrops zusammen. Seine Fähigkeiten im Bereich Tech-, Robotik-, Business- und KI-Nachrichten wurden durch einen Master of Commerce vertieft.
