도르시의 블록, 엔비디아 랙 하나로 데사 음성 학습

잭 도시리의 Block은 새로운 음성 모델 Dessa를 텍스트나 사전 학습된 모델이 아닌 인간의 음성 데이터만으로 훈련했습니다.

Block은 완성된 모델을 MacBook Pro M4 Max 이상에서 로컬로 실행할 수 있다고 밝혔습니다. 이 연구실은 단일 랙의 Nvidia 서버에서 학습을 진행했습니다.

Block은 Dessa가 생생한 실시간 대화를 이어갈 수 있는 최초의 AI라고 밝혔으며, 인간 음성 데이터만으로 훈련되었습니다. 이를 개발한 소규모 연구실은 직접 Dorsey에게 보고합니다.

풀듀플렉스 모델이 오픈AI의 GPT-Live-1과 비주도형 데모에서 대화

대부분의 음성 비서들은 사용자가 말하는 내용을 텍스트로 변환하고, 언어 모델을 통해 처리한 뒤 다시 음성으로 되돌립니다. Block이 말하길, 이 파이프라인은 감정, 아이러니, 웃음, 그리고 갈라지는 슬픈 목소리를 모두 배제해 버린다고 합니다.

Dessa는 중간에 텍스트를 거치지 않고 음성을 음성으로 변환하는 모델입니다. 두 사람이 서로 동시에 말하고 듣는 것처럼 동작합니다.

언제 끼어들고 언제 “응!” 또는 “알겠어!” 같은 반응을 보일지 알고 있습니다. Block은 이것이 실시간보다 빠르게 작동한다고 말했습니다.

Block은 녹음 과정에서 AI 모델에 어떤 지시나 가이드도 제공되지 않았다고 밝혔습니다. AI가 스스로 무엇을 말할지, 언제, 어떻게 말할지를 결정합니다.

녹음 영상에서 Dessa는 문장 중간에 웃거나 놀라 숨을 쉬며, 크게 말해달라는 요청에 따라 목소리를 키웁니다. 한 녹음에서는 OpenAI의 GPT-Live-1과 대화하는 모습이 담겼습니다.

Block은 GPT-Live-1의 개발사가 Dessa를 검증하거나 승인하지 않았다고 밝혔습니다.

우리는 완전히 음성 데이터만으로 훈련되어 현실적인 대화가 가능한 첫 번째 AI 모델을 만들었습니다!

Dessa는 소비자용 GPU에서 실행할 수 있는 풀듀플렉스 음성-음성 변환 모델입니다.

음성 분야에서의 GPT3 같은 순간입니다. pic.twitter.com/XVD8sSyJn8

— 라가반 투라이라트남 (@RagavanThurair) 2026년 10월 23일

GB200 NVL72는 수천 배 적은 단어 수로 모델 언어를 학습했습니다

Dessa는 랙 규모 시스템인 단일 Nvidia GB200 NVL72에서 학습했습니다. 연구실 측은 이 모델이 텍스트 기반 LLM에 필요한 단어 수보다 '수백 배 적은 단어'로 언어를 학습했다고 밝혔습니다.

Block은 음성 데이터가 작업을 더 어렵게 만들었다고 설명했습니다. 구어체 단자는 인쇄된 동일한 단어보다 바이트 수가 수천 배 많습니다.

이 연구실은 토론토 딥러닝 스타트업 Dessa의 전직 멤버들이 설립했으며, 팀은 8년 이상 생성형 음성 모델을 개발해 왔습니다.

라가반 투라이라트남이 프로젝트를 이끌고 있으며, 그는 X에서 이번 출시를 “음성 분야의 GPT3 같은 순간”이라고 호칭했습니다.

Dessa는 공개되지 않았습니다. Block은 대기 목록을 운영 중이며, 팀이 미처 예상하지 못한 위험을 발견하기 위해 소수의 AI 안전성 연구자에게 초기 접근 권한을 제공하고 있습니다.

Block이 이 모델을 구축하게 된 세 가지 이유가 있습니다. 두 가지는 호기심과 인간과 AI 간의 더 나은 이해입니다.

세 번째 이유는 무엇일까요? 바로 안전성입니다.

Block은 극심한 고통 속에 있지만 음성 AI가 이를 인지하지 못하고 계속 말을 걸고 있는 상황을 상상합니다.

크립토폴리탄은 2월 Block(NYSE: XYZ)이 직원의 40%를 해고했다고 보도했습니다.

Block Inc.는 7월 Buzz를 출시했습니다. Buzz는 인간과 AI 에이전트가 채널을 공유할 수 있는 직장용 채팅 앱입니다.