Chainbase revela código aberto de modelo de linguagem de IA com foco em criptomoedas

A Chainbase lançou o modelo de IA de código aberto Theia-Llama-3.1-8B. Trata-se de um modelo de linguagem com foco em criptomoedas.

A empresa lançou uma versão alfa do chatbot chamada TheiaChat em agosto. O lançamento teve como objetivo apresentar as funcionalidades do Theia.

O treinamento de Theia foi extraído de duas fontes.

Os dados utilizados para treinar o modelo foram obtidos do CoinMarketCap e de outros relatórios de pesquisa. Os dados do CoinMarketCap usados ​​para treinar e ajustar o Theia-Llama-3.1-8B incluem documentos do projeto, como white papers, posts oficiais no blog e artigos de notícias.

Os relatórios de pesquisa foram obtidos de fontes online confiáveis ​​para fornecer informações detalhadas sobre os fundamentos do projeto, sua influência no mercado e seu progresso de desenvolvimento.

A postagem no blog detalha ainda que os dados dessas duas fontes primárias também passaram por filtragem manual e algorítmica para reduzir a redundância e eliminar erros.

A Chainbase também utilizou técnicas sofisticadas para o ajuste fino e a otimização do modelo. A equipe empregou o LoRA (Low-Rank Adaptation) para um ajuste fino eficiente. Isso ajudou na adaptação do modelo base Llama-3.1-8B-Instruct ao domínio das criptomoedas.

O processo de treinamento foi aprimorado com o uso do LLaMA Factory e do DeepSpeed, incorporando técnicas avançadas como ZeRO, offload, atenção esparsa, Adam de 1 bit e paralelismo de pipeline para acelerar o treinamento e reduzir o uso de memória.

Além do ajuste fino, a Chainbase otimizou o modelo para prepará-lo para uma implantação eficiente. Esse processo de quantização reduz o consumo de memória do modelo e acelera a inferência, mantendo uma precisão aceitável.

A Chainbase propôs um benchmark para modelos de IA em criptomoedas.

Para avaliar o desempenho do Theia-Llama-3.1-8B, a Chainbase propôs um benchmark para modelos de IA criptográfica.

O teste de avaliação analisa os modelos em sete dimensões, incluindo compreensão e geração de conhecimento criptográfico, abrangência do conhecimento e capacidades de raciocínio.

Os resultados iniciais de testes comparativos, focados na compreensão e capacidade de geração no domínio criptográfico, mostram que o Theia-Llama-3.1-8B supera outros 11 modelos de lógica latente (LLMs). Isso inclui modelos populares da OpenAI, Google, Meta, Qwen e DeepSeek. O modelo alcançou uma pontuação de perplexidade de 1,184 e uma pontuação BERT de 0,861, superando os principais modelos atualmente disponíveis no mercado.

A Chainbase também afirmou em sua postagem no blog que o desempenho do Theia-Llama-3.1-8B supera o dos modelos convencionais atualmente disponíveis no mercado. "Em seguida, construiremos modelos maiores e avaliaremos mais dimensões dos modelos", declarou a Chainbase.