캘리포니아 대학교 연구진은 인공지능(AI) 기반 뇌-컴퓨터 인터페이스(BCI)를 이용해 2005년 뇌졸중으로 말을 잃은 앤 존슨의 뇌 신호를 실시간 음성으로 변환하는 데 성공했습니다. 이 시스템은 알렉사나 시리와 같은 기기에서 사용하는 기술과 유사하며, 8초의 지연 시간이 있었던 기존 모델을 개선했습니다.
캘리포니아 대학교 버클리 캠퍼스와 샌프란시스코 캠퍼스의 연구진은 개발했습니다 . 현재 앤은 샌프란시스코와 버클리 캠퍼스의 연구진과 함께 언젠가 자신과 같은 사람들이 얼굴 표정과 음성을 일치시키는 디지털 아바타를 통해 더욱 자연스럽게 소통할 수 있도록 하는 뇌-컴퓨터 인터페이스(BCI) 기술 개발을 돕고 있습니다.
UC 버클리 전기공학 및 컴퓨터과학 조교수이자 월요일 학술지 네이처 뉴로사이언스에 발표된 연구의 공동 저자인 고팔라 아누만치팔리는 앤에게 이식된 장치가 '말하려는 의도를 유창한 문장으로 변환했다'고 확인했습니다. 연구 결과를 검토한 캔자스 대학교 언어 및 응용 신경과학 연구소의 조너선 브럼버그는 이러한 진전을 환영하며 AP 통신 "신경과학 분야에서 상당히 큰 발전"이라고 말했습니다.
BCI 기술 덕분에 한 여성이 거의 20년 만에 말하는 능력을 되찾았습니다
독심술이 등장합니다
뇌-컴퓨터 인터페이스 분야의 획기적인 발전: 새로운 임플란트가 생각을 단 3초 만에 실시간 음성으로 변환합니다. 이는 마비 환자의 자연스러운 의사소통을 위한 중요한 진전입니다.
네이처 뉴로사이언스에 발표된 이 연구는 AI 알고리즘이 어떻게 작동하는지 보여줍니다… pic.twitter.com/XdGhrBlU63
— Chubby♨️ (@kimmonismus) 2025년 4월 1일
뇌졸중으로 하반신 마비가 된 한 여성이 UC 버클리와 UC 샌프란시스코 연구진이 그녀의 사례에 맞춰 특별히 개발한 실험적인 뇌-컴퓨터 인터페이스를 통해 거의 20년 만에 목소리를 되찾았습니다. 3월 31일 네이처 뉴로사이언스(Nature Neuroscience)에 발표된 이 연구는 인공지능을 활용하여 "앤"이라는 이름으로 널리 알려진 참가자의 생각을 실시간으로 자연스러운 음성으로 변환했습니다.
아누만치팔리는 이 인터페이스가 뇌의 언어 중추에 부착된 전극망을 이용해 신경 신호를 읽어낸다고 설명했습니다. 그는 루게릭병, 뇌간 뇌졸중(앤의 경우처럼), 또는 부상과 같이 신체에 접근할 수 없게 되어 인지 기능은 온전하지만 움직이거나 말할 수 없는 '갇힌' 상태가 되는 경우가 있다는 점을 분명히 했습니다. 아누만치팔리는 인공 사지 제작에는 상당한 진전이 있었지만, 언어 기능을 회복하는 것은 여전히 더 복잡한 문제라고 지적했습니다.
"시각, 운동 능력, 배고픔처럼 다른 종과 공유하는 특징과는 달리, 언어는 우리를 다른 종과 구별짓는 특징입니다. 바로 그 점 때문에 언어는 매우 흥미로운 연구 주제가 됩니다."
–고팔라 아누만치팔리
하지만 아누만치팔리는 지능적인 행동이 뉴런과 대뇌 피질 조직에서 어떻게 나타나는지는 여전히 큰 미스터리 중 하나라고 인정했습니다. 이 연구는 BCI(뇌-컴퓨터 인터페이스)를 사용하여 앤의 뇌에서 발생하는 전기 신호와 컴퓨터를 직접 연결하는 경로를 만들었습니다.
새로운 BCI 장치는 이전 버전의 지연 문제를 개선했습니다
미국 연구진이 개발한 혁신적인 방법은 80밀리초 단위로 여성의 뇌 활동을 분석하고 이를 합성 음성으로 변환함으로써 이전 기술 버전에서 흔히 발생했던 답답한 지연 현상을 없앴습니다. 최근 여러 BCI 음성 번역 프로젝트에서 나오고 , 각 프로젝트는 생각에서 말을 생성하는 데 걸리는 시간을 줄이는 것을 목표로 합니다.
사이언스 얼럿(Science Alert)에 따르면, 기존의 대부분의 BCI(뇌-컴퓨터 인터페이스) 방식은 소프트웨어가 의미를 해독하기 전에 '텍스트 전체'를 고려해야 했기 때문에, 발화 시작과 발성 사이의 시간이 상당히 길어질 수 있었습니다.
UC 버클리와 샌프란시스코 연구진이 발표한 보고서에 따르면, 역동적인 대화와 유창한 의사소통을 위해서는 음성 합성 지연 시간과 디코딩 속도를 개선하는 것이 필수적입니다. UC 공동 연구팀은 BCI 음성 지연이 음성 합성에 필요한 추가 시간과 청취자가 합성된 오디오를 이해하는 데 걸리는 시간으로 인해 더욱 심화된다고 설명했습니다.
기존의 대부분의 방법은 '화자'가 직접 발성하는 동작을 반복하며 인터페이스를 훈련하는 방식에 의존했는데, 이는 말하기 연습이 부족하거나 말하기에 어려움을 겪는 사람들에게 충분한 데이터를 디코딩 소프트웨어에 제공하는 데 어려움이 있었습니다. 이러한 두 가지 난관을 극복하기 위해 UC 연구진은 47세 참가자가 1,000개가 넘는 단어로 구성된 어휘집에서 100개의 고유한 문장을 소리 없이 '말하는' 동안 그녀의 "감각운동 피질 활동"을 기반으로 유연한 심층 학습 신경망을 훈련시켰습니다.
