카자흐스탄, 첫 대규모 언어 모델 출시 예정

12월 16일, 카자흐스탄은 첫 대형 언어 모델(LLM)인 KazLLM을 출시하며 큰 기술적 도약을 이루게 됩니다. 이 출시일은 카자흐스탄의 독립 33주년 기념일과 맞닿아 있습니다.

또한 읽기: 생성형 AI가 비디오 게임 NPC에 생기를 불어넣다

스마트 시스템 및 인공지능 연구소(ISSAI)는 7월 18일 나자르바예프 대학교에서 가진 브리핑에서 이를 발표했습니다. 프로젝트의 데이터 수집은 3월에 시작되었으며, 모델은 NVIDIA H100 노드가 탑재된 클라우드 컴퓨팅 플랫폼을 사용하여 훈련되고 있습니다.

학생들과 전문가들이 AI 개발에 힘을 모으다

나자르바예프 대학교 학생, 아스타나 IT 대학교 학생, 볼라슈크 장학생 및 현지 참가자들이 KazLLM 프로젝트에 협력하고 있습니다. 이 이니셔티브의 주요 목표는 KazLLM을 생성하고 지능형 AI 도구 및 애플리케이션을 생산할 수 있는 인력을 양성하는 것입니다.

기술 격차 해소가 ISSAI 설립자이자 소장인 아타칸 바롤 교수가 이 프로젝 통해 해결하고자 하는 목표입니다. 그는 프로젝트 완료 후 카자흐스탄이 선도 국가들보다 기술적으로 18개월 뒤처질 것이라고 말했습니다. 음성 기능 통합은 이 간격을 12개월로 단축할 것으로 예상되며, 추가적인 언어 비전 모델 발전은 카자흐스탄을 AI 개발의 최전선에 위치시킬 수 있습니다.

위키피디아 기사, 뉴스 매체, 정부 웹사이트 및 Common Crawl과 같은 오픈 데이터셋은 프로젝트 데이터의 일부 출처입니다. ISSAI는 지난 5년 이상 카자흐어에 특화된 다양한 자연어 처리 데이터셋을 생성해 왔습니다. 이 광범위한 데이터셋 컬렉션은 KazLLM을 효과적이고 정확하게 훈련하는 데 매우 중요합니다.

카자흐스탄, AI 혁신으로 국가 및 정보 보안 문제 해결 기대

KazLLM 프로젝트는 국가 및 정보 보안과 관련이 있습니다. 카자흐스탄은 데이터 유출과 왜곡된 정보 제공으로 이어질 수 있는 외국 기술에 대한 의존도를 최소화하기 위해 현지에서 제작된 언어 모델을 생성하고자 합니다.

대외 관계 부소장 및 수석 데이터 사이언티스트인 마디나 압드라흐마노바는 모델의 광범위한 훈련 코퍼스를 강조했습니다. “카자흐어, 러시아어, 영어, 터키어로 최소 1000억 개의 토큰으로 구성되며, 각 언어는 250억 개의 토큰으로 표현될 것입니다.”라고 소장은 말했습니다.

현재 프로젝트에는 300억 개 이상의 토큰이 포함되어 있으며, 이 중 260억 개는 영어를 카자흐어로 변환하는 Tilmash 번역기를 통해 생성된 토큰입니다. 이 번역 기능은 모델이 카자흐어로 일관되고 정확한 텍스트를 생성할 수 있도록 보장합니다.

또한 읽기: 오픈AI, 가벼운 버전 출시… 저렴한 AI 모델 'GPT-4o 미니' 발표

ISSAI는 OpenAI 모델과 같은 사용자 친화적인 인터페이스를 KazLLM에 만들어 접근성을 높일 계획입니다. 완료되면 모델 상호 작용, 인간 피드백을 통한 강화 학습 및 다양한 상황에 대한 튜닝을 지원하여 성능을 극대화할 수 있습니다. KazLLM은 일반 구독 패키지와 숙련된 사용자를 위한 API로 제공될 예정입니다.