Chainbase desvela el código abierto de un modelo de lenguaje AI centrado en cripto
- Chainbase lanza el modelo de IA de código abierto Theia-Llama-3.1-8B.
- El modelo está entrenado con un conjunto de datos integral orientado al sector cripto.
- Los resultados de las pruebas muestran que Theia supera a los modelos más populares.
Chainbase ha lanzado el modelo de AI de código abierto, Theia-Llama-3.1-8B. Es un modelo de lenguaje que se centra en cripto.
La compañía había lanzado una versión alpha del chatbot llamada TheiaChat en agosto. Se lanzó en ese momento para revelar las características de Theia.
El entrenamiento de Theia se basó en dos fuentes
Los datos utilizados para entrenar el modelo se tomaron de CoinMarketCap y otros informes de investigación. Los datos de CoinMarketCap utilizados para entrenar y ajustar finamente Theia-Llama-3.1-8B incluyen documentos de proyectos como whitepapers, publicaciones oficiales de blog y artículos de noticias.
Los informes de investigación se obtuvieron de fuentes en línea confiables para proporcionar una visión profunda de los fundamentos del proyecto, su influencia en el mercado y su progreso de desarrollo.
El post del blog detalla aún más que los datos de estas dos fuentes principales también pasaron por un filtrado manual y algorítmico para reducir la redundancia y eliminar errores.
Chainbase también utilizó técnicas sofisticadas para el ajuste fino y la optimización del modelo. El equipo empleó LoRA (Adaptación de Bajo Rango) para un ajuste fino eficiente. Esto ayudó a adaptar el modelo base Llama-3.1-8B-Instruct al dominio de las criptomonedas.
El proceso de entrenamiento se mejoró utilizando LLaMA Factory y DeepSpeed, incorporando técnicas avanzadas como ZeRO, descarga (offload), atención dispersa, Adam de 1 bit y paralelismo de tuberías para acelerar el entrenamiento y reducir el uso de memoria.
Además del ajuste fino, Chainbase optimizó el modelo para prepararlo para un despliegue eficiente. Este proceso de cuantización reduce la huella de memoria del modelo y acelera la inferencia mientras mantiene una precisión aceptable.
Chainbase propuso un punto de referencia para modelos de IA cripto
Para evaluar el rendimiento de Theia-Llama-3.1-8B, Chainbase propuso un punto de referencia para modelos de IA cripto.
El punto de referencia evalúa los modelos en siete dimensiones, incluida la comprensión y generación de conocimiento cripto, la cobertura del conocimiento y las capacidades de razonamiento.
Los resultados iniciales del punto de referencia, centrados en las capacidades de comprensión y generación en el dominio cripto, muestran que Theia-Llama-3.1-8B supera a otros 11 modelos de lenguaje grande (LLM). Esto incluye modelos populares de OpenAI, Google, Meta, Qwen y DeepSeek. El modelo logró una puntuación de perplejidad de 1.184 y una puntuación BERT de 0.861, superando a los modelos principales actualmente en el mercado.
Chainbase también declaró en su publicación de blog que el rendimiento de Theia-Llama-3.1-8B supera al de los modelos principales disponibles actualmente en el mercado. "A continuación, construiremos modelos más grandes y evaluaremos más dimensiones de los modelos," declaró Chainbase.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Vignesh Karunanidhi
Vignesh es escritor de contenido cripto, periodista cripto, editor de contenido y gestor de redes sociales. Ha trabajado con Watcher.guru, BeInCrypto, CoinGape, Milkroad y Airdrops durante más de 6 años. Sus habilidades para cubrir noticias de tecnología, robótica, negocios e inteligencia artificial se perfeccionaron gracias a una maestría en Comercio.
