Chainbase svela l'open source del modello linguistico AI focalizzato sulla crypto
- Chainbase rilascia il modello open-source di IA Theia-Llama-3.1-8B.
- Il modello è addestrato su un dataset completo orientato al settore critto.
- I risultati dei benchmark mostrano che Theia supera i modelli mainstream.
Chainbase ha rilasciato il modello AI open source, Theia-Llama-3.1-8B. È un modello linguistico che si concentra sulla crypto.
L'azienda aveva lanciato una versione alpha del chatbot chiamata TheiaChat ad agosto. È stato rilasciato all'epoca per divulgare le funzionalità di Theia.
L'addestramento di Theia è stato tratto da due fonti
I dati utilizzati per addestrare il modello sono stati presi da CoinMarketCap e altri report di ricerca. I dati di CoinMarketCap utilizzati per addestrare e perfezionare Theia-Llama-3.1-8B includono documenti di progetto come whitepaper, post ufficiali del blog e articoli di notizie.
I report di ricerca sono stati ottenuti da fonti online credibili per fornire approfondimenti dettagliati sui fondamentali del progetto, sull'influenza di mercato e sui progressi dello sviluppo.
Il post del blog dettagliano ulteriormente che i dati di queste due fonti principali sono stati anche sottoposti a filtraggio manuale e algoritmico per ridurre la ridondanza ed eliminare gli errori.
Chainbase ha anche utilizzato tecniche sofisticate nel perfezionamento e nell'ottimizzazione del modello. Il team ha utilizzato LoRA (Low-Rank Adaptation) per un perfezionamento efficiente. Questo ha aiutato ad adattare il modello base Llama-3.1-8B-Instruct al dominio della criptovaluta.
Il processo di addestramento è stato migliorato utilizzando LLaMA Factory e DeepSpeed, incorporando tecniche avanzate come ZeRO, offload, attenzione sparsa, 1-bit Adam e parallelismo di pipeline per accelerare l'addestramento e ridurre l'utilizzo di memoria.
Oltre al perfezionamento, Chainbase ha ottimizzato il modello per prepararlo a un'efficiente distribuzione. Questo processo di quantizzazione riduce l'impronta di memoria del modello e accelera l'inferenza mantenendo un'accuratezza accettabile.
Chainbase ha proposto un benchmark per i modelli AI crypto
Per valutare le prestazioni di Theia-Llama-3.1-8B, Chainbase ha proposto un benchmark per i modelli AI crypto.
Il benchmark valuta i modelli su sette dimensioni, tra cui la comprensione e la generazione della conoscenza crypto, la copertura della conoscenza e le capacità di ragionamento.
I risultati iniziali del benchmark focalizzati sulla comprensione e sulle capacità di generazione nel dominio crypto mostrano che Theia-Llama-3.1-8B supera altri 11 LLM. Questo include modelli popolari di OpenAI, Google, Meta, Qwen e DeepSeek. Il modello ha raggiunto un punteggio di perplexity di 1,184 e un punteggio BERT di 0,861, superando i modelli mainstream attualmente sul mercato.
Chainbase ha anche dichiarato nel loro post del blog che le prestazioni di Theia-Llama-3.1-8B superano quelle dei modelli mainstream attualmente disponibili sul mercato. “Successivamente, costruiremo modelli più grandi e valuteremo più dimensioni dei modelli,” ha dichiarato Chainbase.
Non limitarti a leggere le notizie sulle criptovalute. Comprendile. Iscriviti alla nostra newsletter. È gratuita.
Dichiarazione di responsabilità. Le informazioni fornite non costituiscono consigli di trading. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti effettuati sulla base delle informazioni fornite in questa pagina. Si consiglia vivamente di effettuare ricerche indipendenti e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Vignesh Karunanidhi
Vignesh è uno scrittore di contenuti crypto, giornalista crypto, editor di contenuti e social media manager. Ha lavorato con Watcher.guru, BeInCrypto, CoinGape, Milkroad e Airdrops per oltre 6 anni. Le sue competenze nella copertura di notizie su tecnologia, robotica, business e intelligenza artificiale si sono affinate grazie a una laurea magistrale in Commercio.
