AI 기반 BCI 기술이 뇌졸중 생존자에게 18 년 만에 실시간 음성 가능하게 함

캘리포니아 대학교 연구진은 인공 지능(AI) 기반의 뇌-컴퓨터 인터페이스(BCI)를 사용하여 2005년 뇌졸중 이후 무음 상태가 된 앤 존슨의 뇌 신호를 실시간 음성으로 변환했습니다. 이 시스템은 알렉사(Alexa)와 시리(Siri)와 같은 장치의 기술과 유사한 기술을 활용했으며, 8초의 지연 시간이 있던 이전 모델보다 개선되었습니다. 

캘리포니아 대학교 버클리 캠퍼스와 캘리포니아 대학교 샌프란시스코의 연구진은 개발 47세 사지마비 환자의 자연스러운 음성을 복원할 수 있는 맞춤형 뇌-컴퓨터 인터페이스 시스템입니다. 오늘날 앤은 UC 샌프란시스코와 UC 버클리의 연구원들이 BCI 기술을 개발하는 데 도움을 주고 있으며, 이는 언젠가 그녀와 같은 사람들이 생성된 음성에 맞춰 얼굴 표정을 일치시키는 디지털 아바타를 통해 더 자연스럽게 소통할 수 있게 해줄 것입니다.

월요일 Nature Neuroscience 저널에 게재된 연구의 공동 저자이자 UC 버클리의 전기공학 및 컴퓨터과학 조교수인 고팔 아누만치팔리는 임플란트 장치가 앤의 ‘말하려는 의도를 유창한 문장으로 변환했다’고 확인했습니다. 캔자스 대학교 음성 및 응용 신경과학 연구소의 조나단 브럼버그는 이 발견을 환영하며 아소시에이티드 프레스(AP) “이것은 신경과학 분야에서 꽤 큰 진전이다.”라고 말했습니다.

BCI 기술이 약 20년 만에 여성의 음성을 되찾게 하다

마음 읽기가 곧 현실이 된다

뇌-컴퓨터 인터페이스의 획기적인 진전: 새로운 임플란트가 3초 만에 생각을 실시간 음성으로 변환하여 마비 환자의 자연스러운 소통을 위한 중요한 단계를 마련했습니다.

Nature Neuroscience에 게재된 이 연구는 AI 알고리즘이… pic.twitter.com/XdGhrBlU63

— Chubby♨️ (@kimmonismus) 4월 1일, 2025

뇌졸중으로 마비된 한 여성이 UC 버클리 및 UC 샌프란시스코 연구원들이 개발하고 그녀의 사례에 맞게 특별히 맞춤화된 실험용 뇌-컴퓨터 인터페이스를 통해 거의 20년 간의 침묵 끝에 목소리를 되찾았습니다. 3월 31일 Nature Neuroscience에 게재된 이 연구는 ‘앤’으로 널리 알려진 참가자의 생각을 실시간 자연 음성으로 변환하기 위해 인공 지능을 활용했습니다.

아누만치팔리는 인터페이스가 뇌의 음성 중심 부위에 배치된 전극 그리드를 사용하여 신경 신호를 읽는다고 설명했습니다. 그는 ALS, 뇌간 뇌졸중(앤의 경우와 동일), 또는 부상으로 인해 신체가 접근 불가능해지고 사람이 ‘고립(lock-in)’되어 인지 기능은 정상이지만 움직이거나 말할 수 없는 상황들이 명확히 존재한다고 덧붙였습니다. 아누만치팔리는 인공 사지 제작에서 상당한 진전이 있었음에도 불구하고 음성 복원은 더 복잡하다고 지적했습니다.

“시각, 운동, 또는 배고픔과 달리, 음성은 다른 종들과 공유되지 않으며 우리를 구분짓는 특징입니다. 그 자체만으로도 흥미로운 연구 주제입니다.”

–고팔 아누만치팔리

그러나 아누만치팔리는 뉴런과 피질 조직에서 지능적 행동이 어떻게 나타나는지에 대해서는 여전히 큰 미스터리가 남아 있음을 인정했습니다. 이 연구는 BCI를 사용하여 앤의 뇌 전기 신호와 컴퓨터 간의 직접적인 경로를 생성했습니다.

새로운 BCI 장치가 이전 버전의 지연 문제를 개선

미국 연구진의 혁신적인 방법은 뇌 활동을 80밀리초 단위로 분석하고 이를 그녀의 음성 합성 버전으로 변환함으로써 이전 기술 버전들을 괴롭혔던 frustrating한 지연 시간을 제거했습니다. 수개의 BCI 음성 번역 프로젝트가 생산된 최근 긍정적인 결과를 보였으며, 각각 생각에서 음성 생성까지 걸리는 시간을 줄이는 것을 목표로 하고 있습니다.

Science Alert에 따르면, 대부분의 기존 BCI 방법은 소프트웨어가 의미를 해석하기 전에 ‘텍스트의 완전한 덩어리’가 고려되어야 했으며, 이는 음성 시작과 발화 사이의 초를 크게 늘릴 수 있었습니다.

UC 버클리 및 샌프란시스코 연구진이 발표한 보고서에 따르면, 음성 합성 지연 시간과 디코딩 속도를 개선하는 것은 역동적인 대화와 유창한 소통에 필수적이었습니다. UC 공동 연구진은 BCI 음성 지연 시간이 음성 합성이 재생되는 데 필요한 추가 시간과 청취자가 합성 오디오를 이해하는 데 걸리는 시간으로 인해 악화된다고 설명했습니다.

보고에 따르면 대부분의 기존 방법은 ‘화자’가 음성 발성 동작을 공개적으로 수행하여 인터페이스를 훈련시키는 데 의존했으며, 이는 연습이 부족하거나 항상 말하기가 어려웠던 개인들에게 충분한 데이터를 디코딩 소프트웨어에 제공하는 데 도전이 될 수 있었습니다. 이러한 두 가지 장벽을 극복하기 위해 UC 연구진은 47세 참가자가 1,000단어 조금 넘는 어휘 중 100개의 고유한 문장을 ‘묵음’하는 동안 그녀의 ‘감각운동 피질 활동’에 유연한 딥러닝 신경망을 훈련시켰습니다.