카자흐스탄, 첫 대규모 언어 모델 출시 예정

카자흐스탄은 12월 16일, 자국 최초의 대규모 언어 모델(LLM)인 KazLLM을 출시하며 기술적으로 큰 도약을 이룰 예정이다. 이번 출시는 카자흐스탄 독립 33주년 기념일과도 맞물린다.

관련 기사: 생성형 AI가 비디오 게임 NPC에 생명을 불어넣다

스마트 시스템 및 인공지능 연구소(ISSAI)는 7월 18일 나자르바예프 대학교에서 열린 브리핑에서 이 사실을 발표했습니다. 해당 프로젝트의 데이터 수집은 3월에 시작되었으며, NVIDIA H100 노드가 탑재된 클라우드 컴퓨팅 플랫폼을 사용하여 모델 학습이 진행되고 있습니다.

dent전문가들이 인공지능 개발을 위해 힘을 합칩니다

나자르바예프 대학교dent, 아스타나 IT 대학교dent, 볼라샤크 장학금 졸업생 및 지역 참여자들이 KazLLM 프로젝트에 협력하고 있습니다. 이 프로젝트의 주요 목표는 KazLLM을 설립하고 지능형 AI 도구 및 애플리케이션을 개발할 수 있는 인력을 양성하는 것입니다.

ISSAI 설립자 겸 소장인 아타칸 바로 교수는 이 프로젝트를 통해 다른 국가들과의 기술 격차를 해소하고자 합니다. 그는 프로젝트가 완료되면 카자흐스탄이 기술적으로 선진국에 비해 18개월 정도 뒤처지게 될 것이라고 말했습니다. 음성 인식 기능을 통합하면 이 격차가 12개월로 단축될 것으로 예상되며, 추가적인 언어 비전 모델 개발이 이루어지면 카자흐스탄이 인공지능 개발의 선두에 설 수 있을 것이라고 전망했습니다.

위키피디아 문서, 뉴스 매체, 정부 웹사이트, 그리고 Common Crawl과 같은 공개 데이터셋은 이 프로젝트에 필요한 데이터를 얻는 주요 출처입니다. ISSAI는 5년 이상 카자흐어에 특화된 다양한 자연어 처리 데이터셋을 구축해 왔습니다. 이러한 방대한 데이터셋은 KazLLM을 효과적이고 정확하게 학습시키는 데 매우 중요한 역할을 합니다.

카자흐스탄은 인공지능 혁신을 통해 국가 안보 및 정보 안보 문제를 해결하고자 합니다

KazLLM 프로젝트는 국가 안보 및 정보 보안에 중요한 의미를 지닙니다. 카자흐스탄은 자체 개발한 언어 모델을 통해 데이터 유출 및 정보 왜곡을 초래할 수 있는 외국 기술에 대한 의존도를 최소화하고자 합니다.

대외 관계 부국장이자 수석 데이터 과학자인 마디나 압드라흐마노바는 모델의 방대한 학습 데이터셋을 강조했습니다. 그녀는 "카자흐어, 러시아어, 영어, 터키어 등 4개 언어로 된 최소 1000억 개의 토큰으로 구성될 것이며, 각 언어는 250억 개의 토큰으로 표현될 것"이라고 말했습니다.

현재 이 프로젝트는 300억 개 이상의 토큰을 보유하고 있으며, 그중 260억 개는 영어를 카자흐어로 변환하는 Tilmash 번역기를 통해 생성되었습니다. 이러한 번역 기능을 통해 모델은 일관성 있고 정확한 카자흐어 텍스트를 생성할 수 있습니다.

관련 기사: OpenAI, 더 저렴한 AI 모델인 GPT-4o mini 출시로 경량화 전략 추진

ISSAI는 KazLLM을 더욱 쉽게 사용할 수 있도록 OpenAI 모델과 유사한 사용자 친화적인 인터페이스를 개발할 계획입니다. 개발이 완료되면 모델 상호작용, 사용자 피드백을 통한 강화 학습, 다양한 상황에 맞춘 성능 최적화 기능을 지원할 수 있게 됩니다. KazLLM은 일반 구독 패키지와 숙련된 사용자를 위한 API 형태로 제공될 예정입니다.