컴퓨터 화면 속 한 여성이 초록색 눈에 살짝 힘을 주며 “내 목소리가 어떤가요?”라고 묻는다. 컴퓨터로 만든 게 분명해 보이는 이미지에 음성도 자꾸 끊기지만 그럼에도 이는 무척 놀라운 순간이다. 이 이미지는 18년 전 발병한 뇌졸중 후유증으로 실어증에 걸린 여성의 디지털 아바타다. 그녀는 뇌 이식과 AI 알고리즘을 활용한 실험에 참여하면서 자기 목소리를 복제한 인공 음성으로 말할 수 있게 됐다. 더불어 아바타를 통해 제한적으로라도 얼굴 표정을 전달할 수 있게 됐다.

최근 두 연구팀이 <네이처(Nature)>에 게재한 논문들은 뇌 임플란트 분야가 매우 빠르게 발전하고 있음을 보여줬다. 다만 이 연구들은 아직은 개념 검증 단계에 머물러 있어 앞으로 일반 대중이 이 기술을 사용하게 되기까지는 갈 길이 멀다. 각각의 연구는 말하는 능력을 상실한 여성 참가자 두 명을 대상으로 진행됐다. 이 중 한 명은 뇌간 뇌졸중 후유증으로, 다른 한 명은 루게릭병 후유증으로 인해 말을 할 수 없게 된 상태다.

연구에서 각 참가자는 뇌에 각기 다른 기록 장치를 이식받았다. 그러자 이들은 분당 60~70개의 단어를 말할 수 있게 됐다. 이는 일반적인 말하기 속도의 약 절반 수준 정도지만, 이전에 보고됐던 것보다는 4배 이상 빠른 속도다. 캘리포니아 대학교 샌프란시스코 캠퍼스의 신경외과의사 에드워드 창(Edward Chang)이 이끄는 연구진은 얼굴 표정을 이루는 미세한 움직임을 제어하는 뇌 신호도 포착했다. 이것으로 연구진은 참가자들의 말을 거의 실시간으로 표현하는 아바타를 생성할 수 있었다.

두 연구에 참여하지 않은 캐나다 밴쿠버 브리티시컬럼비아 대학교의 신경윤리학자 주디 일레스(Judy Illes)는 “이 논문은 뇌 과학 및 공학 분야의 매우 세련되면서 엄격한  면모를 보여주고 있다”라고 말했다. 일레스는 특히 표현력 있는 아바타가 추가된 점을 높이 평가했다. 그녀는 “의사소통이란 그저 사람 사이에 오가는 단어가 아니라 억양, 표정, 강세, 맥락을 통해 전달되는 단어와 메시지”라며 “개인의 특성을 진정한 기초 과학과 공학, 신경공학으로 가져오려 한 것이 창의적이면서도 상당히 사려 깊은 시도였다고 생각한다”고 덧붙였다.

창의 연구진은 이 문제를 10년 넘게 연구해 왔다. 2021년 이들은 뇌간 뇌졸중을 겪은 환자의 뇌 신호를 포착해 느리긴 해도 이를 단어나 문장으로 옮겨 쓸 수 있다는 것을 입증했다. 최신 논문에서는 전극 개수를 두 개로 늘린 더 큰 임플란트를 사용했다. 이 임플란트는 신용카드 크기 정도의 장치로, 약 20년 전 뇌졸중 발병 이후 말을 할 수 없게 된 앤이라는 이름의 환자의 뇌 신호를 포착하기 위해 사용됐다.

이 임플란트는 생각을 번역하는 것이 아니라, 발음을 형성하는 입술, 혀, 턱과 후두의 근육 움직임을 제어하는 전기 신호를 포착한다. 이 논문의 저자이자 창 연구실의 대학원생인 알렉산더 실바(Alexander Silva)는 “예를 들어 ‘P’ 소리나 ‘B’ 소리를 내려면 입술을 오므려야 한다. 따라서 뇌의 전기 신호는 입술을 제어하는 특정 전극을 활성화할 것”이라고 말했다. 연구진은 참가자의 두피에 부착된 단자를 통해 이 신호를 컴퓨터로 전송하여 AI 알고리즘으로 해독했다. 또 정확도를 높이기 위해 언어모델을 이용한 자동 교정 기능을 활용했다. 연구진은 이 기술로 1,024개의 어휘를 사용해 앤의 뇌 신호를 분당 78개 단어로 번역했다. 이때 오류율은 23%로 나타났다.

여기서 더 나아가 연구진은 최초로 뇌 신호를 곧바로 음성으로 해석하는 데 성공했다. 그리고 이들이 포착한 근육 신호는 참가자가 아바타를 통해 행복, 슬픔, 놀람의 세 가지 다른 감정을 세 단계 강도로 표현할 수 있게 해 주었다. 창은 “말은 단어뿐만이 아니라 화자가 누구인지까지 전달한다”며 “목소리와 표정은 우리 정체성의 일부이기도 하다”라고 설명했다. 이 연구 시험의 참가자인 앤은 연구진에게 “상담자가 되는 것이 꿈”이라고 말했다. 그녀는 내담자가 이 같은 아바타를 더 편안하게 느낄지 모른다고 생각한다. 연구진은 그녀의 결혼식 영상에 녹음된 목소리를 사용해 아바타가 그녀의 목소리처럼 소리를 내도록 만들었다.

또 다른 연구팀인 스탠퍼드 연구진은 2023년 1월 출판 전 논문으로 연구 결과를 발표한 바 있다. 연구진은 팻 베넷(Pat Bennett)이라는 이름의 루게릭병 환자에게 단일 뉴런의 신호를 기록할 수 있는 아스피린 알약 크기의 아주 작은 임플란트 네 개를 이식했다. 베넷은 25차례에 걸쳐 음절, 단어, 문장을 소리 내 읽으며 시스템을 훈련시켰다.

이어 연구진은 그녀에게 시스템 훈련 과정에서 사용하지 않았던 문장을 읽게 해 기술을 테스트했다. 50개 어휘에서 추출된 문장을 테스트했을 때 오류율은 약 9%였다. 대부분의 영어 단어가 포함되도록 어휘 개수를 12만 5,000개로 확장했을 때는 오류율은 약 24%로 증가했다.

뇌-컴퓨터 인터페이스를 통한 인공 음성은 매끄럽지 못하다. 일반 발화보다 느리다. 오류율은 23~24% 정도로 이전보다 나아지긴 했지만 아직은 부족하다. 문장을 완벽하게 재현할 때도 있지만, 때로는 ‘감기는 좀 어떤가(How is your cold)?’라는 질문을 비슷한 다른 말로(‘Your old’) 잘못 내놓기도 한다.

하지만 과학자들은 이 기술이 더 발전할 수 있다고 확신한다. 스탠퍼드 연구진의 논문 저자인 신경과학자 프랜시스 윌릿(Francis Willett)은 “흥미롭게도 전극을 더 많이 추가할수록 해석 성능이 더 높아진다”면서 “전극과 뉴런 개수를 늘리면 훨씬 더 정확해질 수 있을 것”이라고 말했다.

현실적으로 이들 연구에서 사용된 시스템은 가정에서 활용하기 적절하지 않다. 참가자들은 머리에 선을 연결하고 대형 컴퓨터로 신호를 분석해야 하기 때문에 실험실을 벗어나 뇌 임플란트로 외부와 소통할 수 없었다. 암스테르담에 있는 UMC 위트레흐트 뇌 센터(UMC Utrecht Brain Center)의 신경과학자이자 앞선 두 논문을 논평한 닉 램지(Nick Ramsey)는 “이 지식을 사람들에게 유용한 것으로 바꾸기 위해서는 아직 할 일이 많이 남아 있다”고 말했다.

또한 일레스는 각 연구진이 한 명의 참가자를 대상으로 한 연구 결과를 보고하고 있으며, 유사한 뇌 질환을 가지고 있는 사람이라도 이와 동일하게 적용되지 않을 수 있다고 경고한다. 그녀는 “이 연구는 개념 검증 단계 정도”라면서 “우리는 뇌 손상이 매우 복잡다단하고 다양한 양상으로 나타난다는 것을 알고 있고, 이를 일반화할 수 있는지는 뇌졸중이나 루게릭병 환자군 내에서조차 가능성은 있어도 확신할 수는 없는 문제”라고 말했다.

그럼에도 이 기술은 의사소통 능력을 잃은 사람들을 위한 새로운 기술적 해결책이 나올 가능성을 보여준다. 창은 “이 기술이 하나의 해결책이 될 수 있다는 가능성과 이를 이루기 위한 방법이 있다는 것을 우리는 증명했다”라고 말했다.

발화 능력은 매우 중요하다. 창 연구의 참가자는 평소 서판을 이용해 의사소통했다. 그녀는 “남편이 매번 일어나서 내가 쓴 서판을 번역하는 데 아주 질렸다”라며 “남편이 내게 반박할 기회를 주지 않아 우리는 다투지도 않았다. 나로서는 당연히 불만이었다!”라고 전했다.