Chainbase dévoile l’open source d’un modèle de langage IA axé sur la crypto
- Chainbase publie le modèle open-source Theia-Llama-3.1-8B.
- Le modèle est entraîné sur un ensemble de données complet orienté crypto.
- Les résultats des benchmarks montrent que Theia surpasse les modèles grand public.
Chainbase a publié le modèle IA open source, Theia-Llama-3.1-8B. C’est un modèle de langage axé sur la crypto.
L’entreprise avait lancé une version alpha du chatbot appelée TheiaChat en août. Elle a été publiée à l’époque pour divulguer les fonctionnalités de Theia.
L’entraînement de Theia provenait de deux sources
Les données utilisées pour entraîner le modèle ont été extraites de CoinMarketCap et d’autres rapports de recherche. Les données de CoinMarketCap utilisées pour entraîner et affiner Theia-Llama-3.1-8B comprennent des documents de projet tels que des livres blancs, des articles de blog officiels et des articles d’actualités.
Les rapports de recherche ont été obtenus auprès de sources en ligne crédibles pour fournir des informations approfondies sur les fondamentaux du projet, l’influence sur le marché et les progrès du développement.
Le article de blog détaille davantage que les données de ces deux sources principales ont également été soumises à un filtrage manuel et algorithmique pour réduire la redondance et éliminer les erreurs.
Chainbase a également utilisé des techniques sophistiquées pour l’affinage et l’optimisation du modèle. L’équipe a utilisé LoRA (Low-Rank Adaptation) pour un affinage efficace. Cela a permis d’adapter le modèle de base Llama-3.1-8B-Instruct au domaine de la cryptomonnaie.
Le processus d’entraînement a été amélioré en utilisant LLaMA Factory et DeepSpeed, incorporant des techniques avancées comme ZeRO, offload, attention sparse, Adam 1-bit et parallélisme de pipeline pour accélérer l’entraînement et réduire l’utilisation de la mémoire.
En plus de l’affinage, Chainbase a optimisé le modèle pour le préparer à un déploiement efficace. Ce processus de quantification réduit l’empreinte mémoire du modèle et accélère l’inférence tout en maintenant une précision acceptable.
Chainbase a proposé un benchmark pour les modèles IA crypto
Pour évaluer les performances de Theia-Llama-3.1-8B, Chainbase a proposé un benchmark pour les modèles IA crypto.
Le benchmark évalue les modèles sur sept dimensions, y compris la compréhension et la génération de connaissances crypto, la couverture des connaissances et les capacités de raisonnement.
Les résultats initiaux du benchmark, axés sur les capacités de compréhension et de génération dans le domaine crypto, montrent que Theia-Llama-3.1-8B surpasse 11 autres LLM. Cela inclut des modèles populaires d’OpenAI, Google, Meta, Qwen et DeepSeek. Le modèle a obtenu un score de perplexité de 1,184 et un score BERT de 0,861, surpassant les modèles grand public actuellement sur le marché.
Chainbase a également déclaré dans leur article de blog que les performances de Theia-Llama-3.1-8B dépassent celles des modèles grand public actuellement disponibles sur le marché. « Ensuite, nous construirons des modèles plus grands et évaluerons plus de dimensions des modèles, » a déclaré Chainbase.
Si vous lisez ceci, vous êtes déjà en avance. Restez ainsi grâce à notre newsletter.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Vignesh Karunanidhi
Vignesh est rédacteur de contenu crypto, journaliste crypto, éditeur de contenu et gestionnaire des médias sociaux. Il a travaillé avec Watcher.guru, BeInCrypto, CoinGape, Milkroad et Airdrops pendant plus de 6 ans. Ses compétences dans la couverture des actualités technologiques, robotiques, commerciales et de l'IA ont été affinées grâce à un master en commerce.
