체인베이스, 암호화폐에 초점을 맞춘 AI 언어 모델의 오픈소스 공개

체인베이스는 오픈소스 AI 모델인 Theia-Llama-3.1-8B를 출시했습니다. 이는 암호화폐에 초점을 맞춘 언어 모델입니다.

이 회사는 8월에 TheiaChat이라는 챗봇의 알파 버전을 출시했습니다. 당시 Theia의 기능을 공개하기 위해 출시되었습니다.

테이아 훈련은 두 가지 출처에서 가져왔습니다.

모델 학습에 사용된 데이터는 CoinMarketCap 및 기타 연구 보고서에서 가져왔습니다. Theia-Llama-3.1-8B 학습 및 미세 조정에 사용된 CoinMarketCap 데이터에는 백서, 공식 블로그 게시물, 뉴스 기사 등 프로젝트 문서가 포함됩니다.

연구 보고서는 프로젝트의 기본 사항, 시장 영향, 개발 진행 상황에 대한 심층적인 통찰력을 제공하기 위해 신뢰할 수 있는 온라인 소스에서 얻었습니다.

블로그 게시물에서는 이 두 가지 주요 소스의 데이터도 중복을 줄이고 오류를 제거하기 위해 수동 및 알고리즘 필터링을 거쳤다고 자세히 설명합니다.

체인베이스는 모델 미세 조정 및 최적화에 정교한 기법을 활용했습니다. 효율적인 미세 조정을 위해 LoRA(Low-Rank Adaptation) 기법을 활용했습니다. 이를 통해 기본 Llama-3.1-8B-Instruct 모델을 암호화폐 영역에 적용하는 데 도움이 되었습니다.

LLaMA Factory와 DeepSpeed를 사용하여 학습 과정을 개선하고, ZeRO, 오프로드, 스파스 어텐션, 1비트 Adam, 파이프라인 병렬 처리와 같은 고급 기술을 통합하여 학습 속도를 높이고 메모리 사용량을 줄였습니다.

체인베이스는 미세 조정 외에도 효율적인 배포를 위해 모델을 최적화했습니다. 이러한 양자화 프로세스는 모델의 메모리 사용량을 줄이고 추론 속도를 높이는 동시에 허용 가능한 정확도를 유지합니다.

Chainbase는 암호화 AI 모델 벤치마크를 제안했습니다.

Theia-Llama-3.1-8B의 성능을 평가하기 위해 Chainbase는 암호화 AI 모델에 대한 벤치마크를 제안했습니다.

벤치마크는 암호화 지식 이해 및 생성, 지식 적용 범위, 추론 능력을 포함한 7가지 측면에서 모델을 평가합니다.

암호화 분야의 이해 및 생성 능력에 초점을 맞춘 초기 벤치마크 결과, Theia-Llama-3.1-8B는 다른 11개 LLM보다 우수한 성능을 보였습니다. 여기에는 OpenAI, Google, Meta, Qwen, DeepSeek의 인기 모델이 포함됩니다. 이 모델은 1.184의 복잡도 점수와 0.861의 BERT 점수를 달성하여 현재 시중에 출시된 주류 모델을 능가했습니다.

체인베이스는 블로그 게시물에서 Theia-Llama-3.1-8B의 성능이 현재 시장에 나와 있는 주류 모델들을 능가한다고 밝혔습니다. "다음 단계로 더 큰 모델을 구축하고 모델의 다양한 측면을 평가할 것" 이라고 덧붙였습니다.