Chainbase dévoile un modèle de langage IA open source axé sur les cryptomonnaies

Chainbase a publié le modèle d'IA open source Theia-Llama-3.1-8B. Il s'agit d'un modèle de langage axé sur la cryptographie.

L'entreprise avait lancé une version alpha du chatbot, baptisée TheiaChat, en août. Cette version avait été dévoilée à l'époque afin de présenter les fonctionnalités de Theia.

La formation de Theia s'appuyait sur deux sources

Les données utilisées pour entraîner le modèle proviennent de CoinMarketCap et d'autres rapports de recherche. Les données de CoinMarketCap utilisées pour entraîner et optimiser Theia-Llama-3.1-8B incluent des documents de projet tels que des livres blancs, des articles de blog officiels et des articles de presse.

Les rapports de recherche ont été obtenus auprès de sources en ligne crédibles afin de fournir des informations approfondies sur les fondamentaux du projet, son influence sur le marché et son état d'avancement.

L' article de blog précise en outre que les données provenant de ces deux sources principales ont également fait l'objet d'un filtrage manuel et algorithmique afin de réduire les redondances et d'éliminer les erreurs.

Chainbase a également utilisé des techniques sophistiquées pour affiner et optimiser le modèle. L'équipe a eu recours à LoRA (Low-Rank Adaptation) pour un ajustement précis. Cela a permis d'adapter le modèle de base Llama-3.1-8B-Instruct au domaine des cryptomonnaies.

Le processus d'entraînement a été amélioré grâce à LLaMA Factory et DeepSpeed, intégrant des techniques avancées telles que ZeRO, le déchargement, l'attention clairsemée, Adam 1 bit et le parallélisme de pipeline pour accélérer l'entraînement et réduire l'utilisation de la mémoire.

Outre l'ajustement fin, Chainbase a optimisé le modèle afin de faciliter son déploiement. Ce processus de quantification réduit l'empreinte mémoire du modèle et accélère l'inférence tout en conservant une précision acceptable.

Chainbase a proposé un modèle de référence pour l'IA cryptographique

Pour évaluer les performances de Theia-Llama-3.1-8B, Chainbase a proposé un benchmark pour les modèles d'IA crypto.

Ce référentiel évalue les modèles selon sept dimensions, notamment la compréhension et la génération de connaissances cryptographiques, la couverture des connaissances et les capacités de raisonnement.

Les premiers résultats de tests comparatifs, axés sur la compréhension et la génération de cryptographie, montrent que Theia-Llama-3.1-8B surpasse 11 autres modèles de langage (LLM), dont des modèles populaires d'OpenAI, Google, Meta, Qwen et DeepSeek. Le modèle a atteint un score de perplexité de 1,184 et un score BERT de 0,861, surpassant ainsi les modèles les plus utilisés actuellement sur le marché.

Chainbase a également indiqué dans son article de blog que les performances de Theia-Llama-3.1-8B surpassent celles des modèles courants actuellement disponibles sur le marché. « Nous allons ensuite développer des modèles plus grands et évaluer davantage de dimensions de ces modèles », a précisé Chainbase.