소형 언어 모델(SLM)은 인공지능 분야의 차세대 핵심 기술로 주목받고 있습니다

기업들이 대규모 언어 모델(LLM)에 막대한 투자를 하고 있는 가운데, 인공지능 분야의 일부 전문가들은 소규모 언어 모델(SLM)이 차세대 핵심 기술이 될 것이라고 예측하고 있습니다.

이는 연말연시를 앞두고 기술 기업들이 기술 개발에 더 많은 자금을 투자하면서 업계 활동이 지속적으로 증가하는 가운데 나온 것입니다.

미래는 소형 언어 모델에 있다

억만장자 일론 머스크가 운영하는 xAI와 같은 기업들은 안드레센 호로위츠, 카타르 투자청, 세쿼이아, 밸러 에쿼티 파트너스로부터 50억 달러를 추가 유치했으며, 아마존은 오픈AI.

이러한 대형 기술 기업들을 비롯한 여러 기업들이 다양한 작업을 처리할 수 있는 대규모 LLM(Learning Leadership Model) 개발에 수십억 달러를 투자하고 있지만, AI의 현실은 모든 기업에 적용 가능한 단일 솔루션은 없으며 기업별로 작업별 맞춤형 모델이 필요하다는 것입니다.

AWS 최고경영자 맷 가먼은 파트너십 확대 및 투자 관련 보도자료에서 앤스로픽(Anthropic)을 기반으로 생성형 AI를 개발하는 AWS 고객들로부터 이미 폭발적인 반응을 얻고 있다고 밝혔습니다.

대부분의 회사에서 LLM은 특정 프로젝트에 여전히 가장 적합한 선택이지만, 다른 회사에서는 비용, 에너지 및 컴퓨팅 자원 측면에서 부담이 될 수 있습니다.

일부 기업에 대안을 맥밀런은dent 제시해 온 테라데이터의 사장 겸 CEO인 다른 견해를 가지고 있습니다. 그는 미래가 SLM에 있다고 확신합니다.

"미래를 내다보면, 소규모 및 중규모 언어 모델과 도메인별 LLM과 같은 통제된 환경이 훨씬 더 나은 해결책을 제공할 것이라고 생각합니다."

맥밀런 ~

SLM은 맞춤형 출력을 생성하는데 , 이는 언어 모델이 그러한 출력을 생성하도록 특별히 훈련되었기 때문입니다. SLM에서 생성된 데이터는 내부적으로 보관되므로, 언어 모델은 잠재적으로 민감한 데이터를 사용하여 훈련될 수 있습니다.

LLM은 에너지 소모가 크기 때문에, 소규모 언어 버전(SLM)은 프로젝트의 실제 요구 사항에 맞춰 컴퓨팅 및 에너지 사용량을 조정하도록 훈련됩니다. 이러한 조정을 통해 SLM은 현재의 대규모 모델보다 효율적이면서도 비용이 절감됩니다.

특정 분야의 지식을 얻기 위해 AI를 사용하려는 사용자에게는 광범위한 지식을 제공하지 않는 도메인 특화형 LLM( . 이러한 LLM은 특정 정보 범주만을 깊이 있게 이해하고 해당 분야에서 더 정확하게 응답하도록 훈련됩니다. 예를 들어 CMO와 CFO를 구분하는 것과 같은 방식입니다.

SLM이 선호되는 이유

데이터 과학자 협회(ADaSci)에 따르면 백만 명의 사용자를 위해 70억 개의 매개변수를 가진 SLM을 완벽하게 개발하는 데 필요한 전력은 단 55.1MWh(메가와트시)에 불과합니다.

ADaSci는 1750억 개의 파라미터를 사용하여 GPT-3를 학습시키는 데 약 12억 8700만 MWh의 전력이 소모된다고 밝혔 으며, 이 수치에는 해당 전력이 실제로 공공 시설에 공급될 때 발생하는 전력량은 포함되지 않았습니다. 따라서 SLM은 LLM 학습에 소모되는 에너지의 약 5% 정도만 사용합니다.

대규모 모델은 일반적으로 클라우드 컴퓨터에서 실행됩니다. 이는 개별 기기에서 사용할 수 있는 컴퓨팅 성능을 훨씬 초과하는 연산 능력을 요구하기 때문입니다. 하지만 이로 인해 기업은 정보가 클라우드로 이동하면서 정보 통제력을 잃게 되고, 인터넷을 통해 데이터가 전송될 때 응답 속도가 느려지는 등의 문제를 겪게 됩니다.

앞으로 기업의 AI 도입은 획일적인 방식이 아닌, 효율성과 최적의 비용 효율적인 도구 선택에 초점을 맞추게 될 것이며, 이는 각 프로젝트에 적합한 규모의 모델을 선택하는 것을 의미합니다.

이는 범용 LLM이든, 더 작고 특정 도메인에 특화된 LLM이든 모든 모델에 대해 수행될 것이며, 어떤 모델이 더 나은 결과를 제공하고, 더 적은 리소스를 필요로 하며, 클라우드.

다음 단계에서는 대중이 AI가 생성한 답변에 높은 신뢰를 갖고 있기 때문에 AI가 비즈니스 의사 결정에 필수적인 요소가 될 것입니다.

“인공지능 모델을 훈련시킬 때는 훌륭한 데이터를 기반으로 해야 한다는 점을 명심해야 합니다.”

맥밀런 ~

맥밀런은 "바로 그것이 우리가 추구하는 바입니다. 신뢰할 수 있는 데이터 세트를 제공하고, 고객과 그들의 고객이 결과물을 신뢰할 수 있도록 분석 기능과 역량을 제공하는 것입니다."라고 덧붙였습니다.

세계적으로 효율성과 정확성에 대한 수요가 높아짐에 따라, 규모가 작고 특정 분야에 특화된 LLM(Learning Leadership Management)은 기업과 일반 대중이 신뢰할 수 있는 결과를 제공하는 또 다른 대안을 제시합니다.