Anthropic, 최신 클로드 3.7 쏘넷 AI 모델 포켓몬 레드benchmark

- Anthropic은 닌텐도 게임보이의 고전 게임 '포켓몬 레드'를 사용하여 최신 Claude 3.7 Sonnet 모델을 벤치마킹했습니다.
- 이 모델은 게임 내에서 12개의 마일스톤을 달성했으며 35,000회 이상의 작업을 수행했습니다.
- Claude 3.7 Sonnet은 문제의 복잡도에 따라 사용자가 원하는 만큼 '생각'할 수 있습니다.
Anthropic은 닌텐도 게임보이에서 클래식 게임인 포켓몬 레드를 사용하여 최신 AI 모델인 클로드 3.7 쏘넷을 벤치마킹했다. 이 모델은 이전 버전들과 비교해 현저히 더 나은 성능을 보였으며, 게임 내 12개의 주요 마일스톤을 달성했다.
최근 블로그 게시글에서 앤트로픽은 최근 테스트에 대한 세부 사항을 공개했습니다. 동사는 Y축에 게임 내 '마일스톤', X축에 '행동 수'를 표시한 그래프를 게시했습니다. 이는 3.7 Sonnet의 성능을 3.5 Sonnet(신형), 3.5 Sonnet, 3.0 Sonnet과 비교한 것입니다. 이 모델들 중 3.7이 가장 우수한 성능을 보였는데, 총 12개의 마일스톤을 달성하기 위해 35,000회 이상의 행동을 수행했습니다. 게임 내 체육관 리더 3명과 대결하여 각각의 배지를 획득하는 데 성공했습니다. 비교를 위해, 앤트로픽의 이전 모델인 3.0 Sonnet은 몇 천 회 정도의 행동만 수행할 수 있었으며 게임의 초기 단계를 넘지 못했습니다.

Anthropic은 최근 게임 플레이 테스트와 관련하여 “포켓몬은 클로드 3.7 쏘넷의 능력을 감상할 수 있는 재미있는 방법이지만, 이러한 능력은 게임 플레이를 훨씬 넘어선 실제 세계에 영향을 미칠 것으로 기대한다”고 밝혔다.
클로드 3.7 쏘넷의 독특한 기능 중 하나는 ‘확장된 사고(Extended thinking)’를 수행한다는 점이다. DeepSeek의 R1과 OpenAI의 o3-mini와 마찬가지로 클로드 3.7 쏘넷은 더 복잡한 문제를 추론할 수 있다. 이는 더 많은 시간을 할애하는 대신 더 많은 컴퓨팅 파워를 사용함으로써 이루어진다.
클로드 3.7이 aforementioned 마일스톤을 달성하는 데 소비한 컴퓨팅 파워의 정확한 양은 아직 명확하지 않다. 또한 Anthropic은 모델이 게임의 마지막 체육관 리더인 서지(Surge)에 도달하는 데 얼마나 걸렸는지 명확히 밝히지 않았다.
포켓몬 레드 테스트는 새로운 모델의 능력을 가볍게 보여주는 방식일 뿐이라고 보는 것이 안전합니다. 이는 새로운 모델이 확장된 추론 능력을 갖추고 있으며, 더 복잡한 문제를 해결하기 위해 필요할 경우 더 많은 시간을 할애할 수 있음을 보여줍니다. 결국 연구자들은 모델의 능력을 테스트하기 위해 스트리트 파이터, 체스 등 비디오 게임을 플레이하게 하는 방식으로 자주 시작해 왔습니다.
클로드 3.7 쏘넷은 사용자가 원하는 만큼 생각할 수 있다
클로드 3.7 쏘넷은 사용자가 원하는 만큼 생각할 수 있는 것으로 알려졌다. 실시간 답변과 신중하게 구성된 응답을 모두 제공하기 때문에 ‘하이브리드 AI 추론 모델’로 홍보된다. 추론 기능을 활성화할지 여부는 사용자에게 달려 있으며, 이를 통해 클로드 3.7 쏘넷이 문제 해결에 더 많거나 적은 시간을 할애하게 된다.
여기서의 목표는 옵션을 단순화하여 사용자 경험을 개선하는 것 같다. 대부분의 채팅봇은 현재 일반 사용자에게 다소 혼란스러운 모델 선택기를 갖추고 있다. 이러한 모델들은 일반적으로 다양한 설정 범위를 가지고 있으며 기능이 다르다. 예를 들어, OpenAI의 ChatGPT도 광범위한 옵션을 제공한다.
사실, 샘 알트먼은 최근 자사의 업데이트된 로드맵에서 오픈AI의 장기 목표는 ChatGPT의 서비스를 통합하여 사용자가 이동 중에도 문제 해결책을 검색할 수 있도록 하는 것이라고 언급했습니다. 이러한 관점에서 ChatGPT도 에이전트 중심 접근 방식을 취할 가능성이 있습니다.
클로드 3.7 쏘넷은 DeepSeek R1 및 o3-mini보다 비싸다
Anthropic은 월요일 개발자와 사용자를 대상으로 클로드 3.7 쏘넷을 출시했다. 그러나 모델의 추론 기능은 프리미엄 채팅봇 플랜을 선택한 사용자만 이용할 수 있다. 현재 입력 토큰 100만 개당 3달러, 출력 토큰 100만 개당 15달러로 책정되어 있다. 이는 사용자가 3달러를 지불하면 75만 단어를 입력할 수 있음을 의미한다. 따라서 DeepSeek의 R1과 ChatGPT의 o3-mini 모두보다 비싸다. 그러나 이 두 모델은 클로드 3.7 쏘넷과 같은 하이브리드가 아니라 매우 엄격한 ‘추론 모델’이다.
추론 모델은 일반적으로 속도가 느리고 질문에 답변하는 데 더 많은 시간이 소요된다. 예시로는 xAI의 Grok 3(Think), Google의 Gemini 2.0 Flash Thinking, DeepSeek의 R1, 그리고 물론 ChatGPT의 o3-mini 모델이 있다.
Anthropic의 제품 및 연구 책임자 다이앤 펜(Dianne Penn)에 따르면, 회사는 사용자가 명시적으로 설정을 선택해야 하는 대신 클로드가 문제 해결에 얼마나 많은 시간을 할애할지 스스로 결정할 수 있기를 원한다. 이와 관련하여 Anthropic은 블로그 게시글에서 “즉시 답변할 수 있는 질문과 사고가 필요한 질문을 위해 인간이 두 개의 별도 뇌를 가지지 않는 것과 유사하다”고 밝혔다.
그러나 xAI의 Grok 3가 덜 제한적이고 토론에 더 개방적으로 시도하는 것과 달리, 클로드 3.7 쏘넷은 특정 질문에 대한 답변을 거부할 것이다. 사실 이번 초순, Grok 3의 베타 버전은 트럼프에게 사형 선고를 제안하는 수준까지 갔으며, 이는 xAI의 엔지니어링 책임자 이고르 바부슈킨(Igor Babuschkin)이 확인했듯이 이후 수정된 ‘끔찍하고 나쁜 실패’로 간주되었다.

그러나 이전 모델들과 비교할 때, 클로드 3.7 쏘넷은 덜 자주 거부하며 무해한 프롬프트와 유해한 프롬프트를 구분할 수 있다. Anthropic에 따르면, 이전 모델인 클로드 3.5 쏘넷과 비교할 때 불필요한 거부 응답이 45% 감소했다.
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.

슈마스 후마윤
슈마스는 전직 기술 콘텐츠 작가이자 연구원입니다.














