Chainbase presenta el código abierto de un modelo de lenguaje de IA centrado en las criptomonedas

Chainbase ha lanzado el modelo de IA de código abierto Theia-Llama-3.1-8B. Se trata de un modelo de lenguaje centrado en las criptomonedas.

La compañía lanzó una versión alfa del chatbot, TheiaChat, en agosto. Se lanzó en ese momento para revelar las características de Theia.

El entrenamiento de Theia se extrajo de dos fuentes

Los datos utilizados para entrenar el modelo se obtuvieron de CoinMarketCap y otros informes de investigación. Los datos de CoinMarketCap utilizados para entrenar y perfeccionar Theia-Llama-3.1-8B incluyen documentos del proyecto como informes técnicos, entradas de blog oficiales y artículos de noticias.

Los informes de investigación se obtuvieron de fuentes en línea creíbles para proporcionar información detallada sobre los fundamentos del proyecto, la influencia del mercado y el progreso del desarrollo.

La publicación del blog detalla además que los datos de estas dos fuentes principales también pasaron por un filtrado manual y algorítmico para reducir la redundancia y eliminar errores.

Chainbase también empleó técnicas sofisticadas para ajustar y optimizar el modelo. El equipo utilizó LoRA (adaptación de bajo rango) para un ajuste eficiente. Esto ayudó a adaptar el modelo base Llama-3.1-8B-Instruct al mundo de las criptomonedas.

El proceso de entrenamiento se mejoró utilizando LLaMA Factory y DeepSpeed, incorporando técnicas avanzadas como ZeRO, descarga, atención dispersa, Adam de 1 bit y paralelismo de canalización para acelerar el entrenamiento y reducir el uso de memoria.

Además del ajuste, Chainbase optimizó el modelo para prepararlo para una implementación eficiente. Este proceso de cuantificación reduce el consumo de memoria del modelo y acelera la inferencia, manteniendo una precisión aceptable.

Chainbase propuso un modelo de referencia de IA para criptomonedas

Para evaluar el rendimiento de Theia-Llama-3.1-8B, Chainbase propuso un punto de referencia para los modelos de IA criptográfica.

El punto de referencia evalúa modelos en siete dimensiones, incluida la comprensión y generación de conocimiento criptográfico, la cobertura de conocimiento y las capacidades de razonamiento.

Los resultados iniciales de las pruebas de referencia, centradas en la comprensión y la capacidad de generación en el ámbito criptográfico, muestran que Theia-Llama-3.1-8B supera a otros 11 LLM. Esto incluye modelos populares de OpenAI, Google, Meta, Qwen y DeepSeek. El modelo alcanzó una puntuación de perplejidad de 1,184 y una puntuación BERT de 0,861, superando a los modelos convencionales actualmente en el mercado.

Chainbase también afirmó en su blog que el rendimiento de Theia-Llama-3.1-8B supera al de los modelos convencionales disponibles actualmente en el mercado. «A continuación, desarrollaremos modelos más grandes y evaluaremos más dimensiones de los mismos», declaró Chainbase.