Chainbase 发布开源加密人工智能语言模型

Chainbase发布了开源人工智能模型Theia-Llama-3.1-8B。这是一个专注于加密货币领域的语言模型。.

该公司于8月份推出了名为TheiaChat的聊天机器人早期版本。当时发布该版本是为了展示Theia的功能。.

Theia的训练内容来自两个方面。

用于训练模型的数据来自 CoinMarketCap 和其他研究报告。CoinMarketCap 中用于训练和微调 Theia-Llama-3.1-8B 模型的数据包括项目文档，例如白皮书、官方博客文章和新闻报道。.

研究报告均来自可靠的在线资源，旨在深入了解项目的基本情况、市场影响和发展进展。.

该 博客文章 进一步详细说明，来自这两个主要来源的数据还经过了人工和算法过滤，以减少冗余并消除错误。

Chainbase 还运用了复杂的技术来微调和优化模型。团队使用 LoRA（低秩自适应）进行高效的微调，这有助于将基础的 Llama-3.1-8B-Instruct 模型适配到加密货币领域。.

训练过程通过 LLaMA Factory 和 DeepSpeed 得到增强，并结合了 ZeRO、卸载、稀疏注意力、1 位 Adam 和流水线并行等先进技术，以加快训练速度并减少内存使用量。.

除了微调之外，Chainbase 还对模型进行了优化，使其能够高效部署。这种量化过程降低了模型的内存占用，加快了推理速度，同时保持了可接受的准确率。.

Chainbase提出了一个加密人工智能模型基准测试。

为了评估 Theia-Llama-3.1-8B 的性能，Chainbase 提出了加密 AI 模型基准测试。.

该基准测试从七个维度评估模型，包括加密知识理解和生成、知识覆盖范围和推理能力。.

初步基准测试结果显示，Theia-Llama-3.1-8B 在加密领域的理解和生成能力方面优于其他 11 个 LLM 模型，其中包括来自 OpenAI、Google、Meta、Qwen 和 DeepSeek 的热门模型。该模型的困惑度得分为 1.184，BERT 得分为 0.861，超越了目前市场上的主流模型。.

Chainbase在其博客文章中还指出，Theia-Llama-3.1-8B的性能优于目前市面上主流的模型。 “接下来，我们将构建更大的模型，并评估模型的更多维度，” Chainbase表示。