알리바바의 새로운 방식은 AI 검색 비용을 거의 90% 절감합니다

알리바바 그룹 홀딩스는 검색 중심 인공지능 모델 학습 비용을 거의 90%까지 줄일 수 있는 방법을 발견했다고 밝혔습니다.

에서 논문 지난주 arXiv 서버에 게시된

알리바바는 이러한 접근 방식이 강화 학습에서 가장 비용이 많이 드는 단계 중 하나인 수만 건의 쿼리를 유료 애플리케이션 프로그래밍 인터페이스(API)를 통해 처리하는 과정을 제거한다고 주장합니다.

ZeroSearch는 이러한 병목 현상을 활용합니다. 이미 광범위한 지식 기반을 보유한 참조 모델이 검색 엔진 역할을 하여 각 쿼리에 대해 유용한 문서와 의도적으로 잡음이 섞인 문서를 생성합니다. 그런 다음 새로운 모델은 이러한 자체 제작 잡음 문서를 기반으로 학습됩니다.

미세 조정은 명확한 질문과 깔끔한 ​​답변에서 시작됩니다. 시간이 지남에 따라 "커리큘럼 배포"를 통해 불필요한 정보, 오타, 모순이 추가되어 훈련생 모델이 개방형 인터넷에 더 가까운 환경을 경험하게 됩니다.

논문에 따르면, 데이터의 잡음은 추론 능력을 강화하고 시스템이 복잡한 데이터 환경에서도 살아남을 수 있도록 학습시킨다. 연구진은 "핵심은 LLM(Learning Language Model)이 대규모 사전 학습을 통해 광범위한 세계 지식을 습득했으며, 검색어가 주어졌을 때 관련성 높은 문서를 생성할 수 있다는 점"이라고 설명한다.

이제 팀들은 모든 쿼리에 대해 외부 업체에 비용을 지불할 필요가 없습니다. 이러한 변화는 특히 자원이 제한적인 소규모 팀에게 매우 중요합니다. 예를 들어, API를 통해 구글에 64,000개의 쿼리를 전송하는 데는 약 586.70달러가 소요됩니다. 하지만 140억 개의 매개변수를 가진 AI 모델 약 70.80달러만 소요되어 88%의 비용 절감 효과를 볼 수 있습니다.

알리바바의 ZeroSearch는 추가 하드웨어가 필요하지 않습니다

제로서치(ZeroSearch) 팀은 하드웨어 요구 사항을 추가하지 않는다고 주장합니다. 표준적인 지도 학습 기반 미세 조정 방식을 사용하기 때문에 클라우드 컴퓨팅 요구 사항은 일반적인 개발 예산 범위 내에 머무릅니다.

이 논문은 이미 학계 머신러닝 분야에서 주목을 받고 있습니다. 업계 관계자들은 이러한 절감 효과가 향후 회계연도의 예산 편성에 영향을 미칠 수 있다고 전망합니다.

업계 경쟁사들은 새로운 생성형 AI 제품을 출시하면서 대규모 언어 모델 학습 비용을 줄이기 위해 경쟁적으로 노력해 왔습니다.

알리바바의 새로운 기능은 구글과 오픈AI 같은 미국 기업들과 경쟁하는 중국 기업들의 움직임 속에 등장했습니다. 이들 미국 기업들은 인공지능 에이전트에 막대한 투자를 해왔습니다. 알리바바는 비용을 거의 10분의 1로 줄였다고 발표하며, 인공지능 검색 비용의 판도가 곧 바뀔 수 있음을 시사했습니다.