Chainbase ha rilasciato il modello di intelligenza artificiale open-source Theia-Llama-3.1-8B. Si tratta di un modello linguistico incentrato sulla crittografia.
L'azienda aveva lanciato una versione alpha del chatbot, chiamata TheiaChat, ad agosto. Il rilascio era finalizzato a illustrare le funzionalità di Theia.
La formazione di Theia è stata tratta da due fonti
I dati utilizzati per addestrare il modello sono stati ricavati da CoinMarketCap e da altri report di ricerca. I dati di CoinMarketCap utilizzati per addestrare e ottimizzare Theia-Llama-3.1-8B includono documenti di progetto come white paper, post ufficiali del blog e articoli di notizie.
I rapporti di ricerca sono stati ottenuti da fonti online attendibili per fornire approfondimenti dettagliati sui fondamenti del progetto, sull'influenza sul mercato e sullo stato di avanzamento del suo sviluppo.
Il post del blog spiega inoltre che i dati provenienti da queste due fonti primarie sono stati sottoposti a filtraggio manuale e algoritmico per ridurre la ridondanza ed eliminare gli errori.
Chainbase ha inoltre utilizzato tecniche sofisticate per la messa a punto e l'ottimizzazione del modello. Il team ha impiegato LoRA (Low-Rank Adaptation) per una messa a punto efficiente. Ciò ha permesso di adattare il modello base Llama-3.1-8B-Instruct al dominio delle criptovalute.
Il processo di addestramento è stato ottimizzato utilizzando LLaMA Factory e DeepSpeed, incorporando tecniche avanzate come ZeRO, offload, sparse attention, 1-bit Adam e parallelismo pipeline per velocizzare l'addestramento e ridurre l'utilizzo della memoria.
Oltre alla messa a punto, Chainbase ha ottimizzato il modello per prepararlo a un'implementazione efficiente. Questo processo di quantizzazione riduce l'ingombro di memoria del modello e velocizza l'inferenza, mantenendo al contempo un'accuratezza accettabile.
Chainbase ha proposto un benchmark per un modello di intelligenza artificiale applicato alle criptovalute
Per valutare le prestazioni di Theia-Llama-3.1-8B, Chainbase ha proposto un benchmark per i modelli di intelligenza artificiale applicati alla crittografia.
Il benchmark valuta i modelli in base a sette dimensioni, tra cui la comprensione e la generazione di conoscenze crittografiche, la copertura delle conoscenze e le capacità di ragionamento.
I primi risultati dei benchmark, incentrati sulle capacità di comprensione e generazione nel dominio crittografico, mostrano che Theia-Llama-3.1-8B supera altri 11 modelli LLM. Tra questi figurano modelli popolari di OpenAI, Google, Meta, Qwen e DeepSeek. Il modello ha raggiunto un punteggio di perplessità di 1,184 e un punteggio BERT di 0,861, superando i modelli più diffusi attualmente sul mercato.
Chainbase ha inoltre affermato nel suo post sul blog che le prestazioni di Theia-Llama-3.1-8B superano quelle dei modelli più diffusi attualmente disponibili sul mercato. "In seguito, costruiremo modelli più grandi e valuteremo ulteriori dimensioni dei modelli", ha dichiarato Chainbase.
