- 스탠포드와 워싱턴대가 수학, 논리, 코딩 테스트에서 오픈AI의 o1에 필적하는 AI 모델 s1을 단 50달러 만에 개발했습니다.
- 연구진은 저비용 학습 방법인 증류(distillation)를 통해 구글의 제미니 2.0 모델을 활용했으며, 모든 내용을 깃허브(GitHub)에서 오픈소스로 공개했습니다.
- 오픈AI 등 주요 기업들은 저비용 복제본이 수십억 달러 규모의 투자에 영향을 줄 수 있다는 우려로 인해 불만을 나타내고 있습니다.
스탠퍼드와 워싱턴 대학교의 AI 연구원들은 아무도 가능하다고 생각하지 않았던 일을 해냈다고 합니다. 월요일 발표된 연구 보고서에 따르면 그들은 클라우드 컴퓨팅 크레딧 50달러 미만으로 s1이라는 AI 모델을 구축했습니다.
s1 모델 보고서에 따르면 수학 및 코딩 테스트 벤치마크에서 OpenAI의 o1과 DeepSeek의 R1을 포함한 최상위 추론 모델과 동등한 성능을 발휘합니다. 더 좋은 점은 전체 프로젝트가 GitHub에서 코드, 데이터 등을 모두 공개했다는 것입니다.
팀은 새로운 것을 구축하는 대신 기성 모델을 사용하기로 시작했습니다. 거기서부터 그들은 증류(distillation)라는 과정을 통해 미세 조정을 수행했습니다. 그들의 연구에 따르면 그들은 Google의 Gemini 2.0 Flash Thinking Experimental 모델에서 추론력을 증류했습니다.
그들은 s1이 Gemini의 문제 해결 기술을 모방하도록 학습시켰습니다. "우리는 단순함을 목표로 했습니다,"라고 참여한 스탠퍼드 연구원 중 한 명인 Niklas Muennighoff은 말했습니다.
작은 데이터셋, 큰 결과
증류는 비용을 절감하려는 AI 팀들 사이에서 빠르게 선택무기가 되고 있습니다. 지난달 버클리 연구진이 개발한 유사한 AI 모델은 훈련 비용이 450달러로, 업계 기준으로는 여전히 저렴했습니다. 그러나 스탠퍼드와 워싱턴대는 더 작은 데이터셋과 간소화된 기법을 사용하여 모델을 증류함으로써 비용을 약 50달러로 낮췄습니다.
연구진은 Google의 Gemini 2.0에서 상세한 답변과 단계별 추론이 포함된 1,000개의 질문만 손으로 선별했습니다. 이 데이터셋은 s1이 높은 수준의 성능을 발휘하는 데 필요한 모든 지식을 제공했습니다. 팀의 논문에 따르면 모델은 문제를 해결하는 방법을 학습했습니다.
지도 미세 조정(SFT)이 이를 가능하게 하는 핵심이었습니다. 거대한 데이터셋과 막대한 컴퓨팅 파워가 필요한 강화 학습 대신, 연구자들은 SFT를 선택했습니다. 이는 AI가 데이터셋에서 발견된 행동을 직접 모방하도록 훈련시키는 방법으로, 더 저렴하고 빠르며 이 경우 효과적이었습니다.
베이스 모델은 알리바바가 소유한 AI 연구소인 Qwen에서 나왔습니다. 그들의 기성 모델은 무료로 다운로드할 수 있어 프로젝트의 예산 친화성을 더욱 높였습니다. 30분 미만과 16개의 Nvidia H100 GPU만 사용하여 팀은 s1 훈련을 완료했습니다. "오늘날 필요한 컴퓨팅을 약 20달러에 임대할 수 있습니다,"라고 Muennighoff은 말했습니다.
"기다려" 명령이 s1의 정확도를 높였습니다
연구원들은 s1의 추론력을 개선하기 위해 영리한 트릭을 포함시켰다고 합니다. 그들은 문제 해결 중에 "기다려(wait)"라는 단어를 추가했습니다. 모델에게 잠시 멈추고 작업을 다시 확인하도록 지시함으로써 정확도를 높였습니다. 연구 논문은 이 수정이 s1이 제출하기 전에 더 나은 답변을 고려할 충분한 시간을 주었음을 자세히 설명합니다.
OpenAI는 주시하고 있습니다. 그들은 이미 DeepSeek가 API에서 데이터를 부적절하게 수집하여 AI 경쟁사를 구축했다고 비난했습니다. s1이 얼마나 저렴한 복제가 가능한지 보여주면서 OpenAI와 같은 대형 기업들은 만족스럽지 않습니다. AI 모델의 상품화는 그들의 수익성에 해를 끼칠 수 있습니다.
하지만 그 기술 회사는 다른 문제들도 있습니다. 화요일, 일론 머스크의 법률 팀은 오클랜드 연방법원에서 OpenAI와 대립했습니다. 일론은 OpenAI의 초기 투자자였으며, 회사가 비영리 임무를 포기하고 원래 목표를 배신했다고 주장합니다.
그들은 회사가 완전히 영리 기업으로 전환하는 것을 막기 위해 소송을 제기했습니다. 일론의 변호인인 마크 토버오프는 금요일 법원에 일론이 회사가 항상 이익보다 공공의 이익을 우선시할 것이라고 믿었기 때문에 설립부터 2018년까지 OpenAI에 4,500만 달러를 투자했다고 말했습니다.
요브온 곤살레스 로저스 판사는 이를 "무리"라고 부르며 일론이 서면 계약 없이 그렇게 많은 돈을 투자한 이유를 의문시했습니다. "그건 손짓만으로 엄청난 돈입니다,"라고 그녀는 비웃었습니다. 변호인 토버오프는 일론과 OpenAI의 CEO인 샘 알트만이 당시 밀접한 관계를 맺고 있었으며 모든 것이 신뢰를 바탕으로 구축되었다고 설명했습니다.
하지만 사건은 아직 죽지 않았습니다. 판사는 OpenAI와 마이크로소프트의 밀접한 관계에 우려를 나타냈습니다. LinkedIn 공동 창립자 리드 호프먼과 마이크로소프트 임원 데이나 템플턴이라는 두 주요 인물이 OpenAI 이사회에 관여했습니다. 템플턴은 2023년 알트만의 짧은 해임 후 비의결권 멤버로 추가되었지만 나중에 독점 우려로 인해 제거되었습니다.
일론은 그들의 계획을 막고 xAI라는 자신의 AI 벤처를 통해 회사에 더 많은 통제권을 얻으려 합니다. 그는 이를 소송의 원고로 추가했습니다. OpenAI는 일론의 요청이 그들의 사업을 마비시키고 "공상적"인 주장에 기반한다고 주장합니다.
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
Jai Hamid
Jai Hamid 은 지난 6 년간 암호화폐, 주식 시장, 기술, 글로벌 경제 및 시장에 영향을 미치는 지정학적 사건들을 취재해 왔습니다. 그녀는 AMB Crypto, Coin Edition, CryptoTale 등 블록체인 전문 매체에서 시장 분석, 주요 기업, 규제 및 거시경제 동향에 관해 활동했습니다. 런던 저널리즘 스쿨을 졸업했으며 아프리카 최고 TV 네트워크 중 하나에서 세 차례 암호화폐 시장 인사이트를 공유했습니다.
