Компания Chainbase выпустила модель искусственного интеллекта с открытым исходным кодом, Theia-Llama-3.1-8B. Это языковая модель, ориентированная на криптовалюты.
В августе компания запустила альфа-версию чат-бота под названием TheiaChat. Ее выпуск был призван раскрыть функциональные возможности Theia.
Обучение по программе Theia проводилось на основе двух источников
Данные, использованные для обучения модели, были взяты с сайта CoinMarketCap и из других исследовательских отчетов. Данные CoinMarketCap, использованные для обучения и тонкой настройки модели Theia-Llama-3.1-8B, включают в себя проектные документы, такие как технические документы, официальные сообщения в блоге и новостные статьи.
Исследовательские отчеты были получены из авторитетных онлайн-источников, чтобы предоставить подробную информацию об основных принципах проекта, его влиянии на рынок и ходе разработки.
В сообщении в блоге также подробно описывается, что данные из этих двух основных источников прошли ручную и алгоритмическую фильтрацию для уменьшения избыточности и исключения ошибок.
Chainbase также использовала сложные методы для тонкой настройки и оптимизации модели. Команда применила LoRA (Low-Rank Adaptation) для эффективной тонкой настройки. Это помогло адаптировать базовую модель Llama-3.1-8B-Instruct к сфере криптовалют.
Процесс обучения был усовершенствован с использованием LLaMA Factory и DeepSpeed, включая передовые методы, такие как ZeRO, разгрузка, разреженное внимание, 1-битный Adam и конвейерный параллелизм, для ускорения обучения и сокращения использования памяти.
Помимо тонкой настройки, Chainbase оптимизировала модель, чтобы подготовить ее к эффективному развертыванию. Этот процесс квантизации уменьшает объем памяти, занимаемый моделью, и ускоряет вывод результатов, сохраняя при этом приемлемую точность.
Chainbase предложила эталонную модель для крипто-ИИ
Для оценки производительности Theia-Llama-3.1-8B компания Chainbase предложила эталонный тест для моделей криптографического ИИ.
Этот эталонный тест оценивает модели по семи параметрам, включая понимание и генерацию криптографических знаний, охват знаний и способности к рассуждению.
Первые результаты тестирования, сфокусированные на возможностях понимания и генерации в криптографической области, показывают, что Theia-Llama-3.1-8B превосходит 11 других моделей LLM. В их число входят популярные модели от OpenAI, Google, Meta, Qwen и DeepSeek. Модель достигла показателя перплексии 1,184 и показателя BERT 0,861, превзойдя основные модели, представленные в настоящее время на рынке.
В своем блоге Chainbase также заявила, что производительность Theia-Llama-3.1-8B превосходит показатели основных моделей, представленных в настоящее время на рынке. «Далее мы будем создавать более крупные модели и оценивать их по большему количеству параметров», — говорится в заявлении Chainbase.
