KAIST, 뇌파로 ‘이게 아닌데’ 읽는 AI…명령 없이 의도 눈치채는 협업기술

사람이 일일이 말하거나 몸짓으로 지시하지 않아도, 뇌에서 무의식적으로 나오는 ‘이게 아닌데’라는 반응을 읽어 AI가 스스로 행동을 고치는 기술이 개발됐다.

KAIST는 뇌인지과학과 이상완 석좌교수 연구팀이 마이크로소프트연구소 아시아(MSRA)와 공동으로, 사람의 뇌파를 이용해 AI를 실시간으로 사람의 목표에 맞추는 차세대 뇌-컴퓨터 인터페이스(BCI) 기술 ‘신경 가치 정렬(NVA)’을 개발했다고 10일 밝혔다. 지금까지 AI는 사람의 말이나 행동, 몸짓 같은 겉으로 드러난 정보로만 의도를 추정해 왔는데, 같은 행동이라도 목적이 다를 수 있어 의도를 자주 잘못 읽었다. 이번 기술은 그 오류를 사람이 다시 명령해 바로잡는 대신, 사람의 뇌 반응을 직접 읽어 AI가 스스로 수정하게 했다는 점에서 ‘명령하는 AI’에서 ‘의도를 눈치채는 AI’로의 전환을 앞당길 것으로 기대된다.

말·행동만으로는 의도를 다 못 읽는다

AI가 사람과 자연스럽게 협업하려면 사람이 실제로 무엇을 원하는지 정확히 파악해야 한다. 그러나 지금까지 AI는 사람의 말, 행동, 몸짓처럼 겉으로 드러난 정보만으로 의도를 짐작해 왔다. 이 방식에는 근본적인 한계가 있다.

핵심 문제는 ‘목표-행동 모호성’이다. 같은 행동이라도 그 목적이 여러 가지일 수 있다는 뜻이다. 예를 들어 사람이 컵을 집는 행동만 보고서는 직접 물을 마시려는 것인지, 다른 사람에게 건네려는 것인지 구별하기 어렵다. 반대로 같은 목표라도 여러 다른 방식으로 이룰 수 있다. 겉으로 보이는 행동과 실제 의도가 일대일로 대응하지 않는 것이다.

이 모호성 때문에 AI가 사람의 의도를 잘못 이해하면, 사람이 다시 명령하거나 행동을 일일이 교정해야 했다. “그게 아니야”, “이렇게 해”라고 계속 알려줘야 하는 번거로움이 협업의 걸림돌이었다. 연구팀은 이 문제를 겉으로 드러난 정보가 아니라 ‘뇌 신호’에서 풀 수 있다고 봤다.

‘이게 아닌데’…뇌의 두 신호를 구분하다

연구팀이 주목한 것은 사람이 예상과 다른 상황을 마주쳤을 때 뇌에서 무의식적으로 발생하는 ‘예측 오차’다. 쉽게 말해 AI가 잘못된 행동을 했을 때 사람이 순간적으로 느끼는 “이게 아닌데”라는 뇌의 반응이다. 이 반응은 말이나 행동으로 표현하기 전에, 뇌에서 자동으로 일어난다.

특히 연구팀은 이 반응을 두 종류로 구분했다. 하나는 AI가 사람의 궁극적인 목표 자체를 잘못 이해했을 때 나타나는 ‘보상 예측 오차(RPE)’이고, 다른 하나는 목표는 맞지만 그 목표를 이루는 행동 방식이 예상과 다를 때 나타나는 ‘상태 예측 오차(SPE)’다. ‘무엇을 하려는가’가 어긋났는지, ‘어떻게 하는가’가 어긋났는지를 나누는 것이다.

실제로 연구팀이 AI의 작업을 지켜보는 사람의 실시간 뇌파(EEG·두피에 붙인 전극으로 뇌의 전기 활동을 측정하는 방식)를 측정한 결과, AI가 목표를 잘못 이해했을 때와 행동 방식이 잘못됐을 때 뇌가 서로 다른 신호를 보내는 것을 확인했다. 두 오류가 동시에 발생할 때 나타나는 특징적인 뇌파 패턴도 찾아냈다. 여기에 딥러닝을 적용해, 사람이 “틀렸다”고 말하지 않아도 뇌파만으로 “목표가 틀렸다”거나 “방법이 틀렸다”는 반응을 AI가 구분해 알아채도록 했다.

목표는 다시 찾고, 방법은 고친다

읽어낸 뇌 신호는 AI에 실시간으로 전달돼 스스로 행동을 고치는 데 쓰인다. 연구팀이 제안한 ‘신경 가치 정렬(NVA)’ 알고리즘의 작동 방식은 두 신호에 따라 갈린다. 상태 예측 오차(SPE)가 감지되면 AI는 “목표는 맞지만 방법이 잘못됐다”고 판단해 행동 방식을 바꾸고, 보상 예측 오차(RPE)가 나타나면 “목표 자체를 잘못 이해했다”고 판단해 사람이 실제로 원하는 것이 무엇인지 다시 찾는다.

성능은 시뮬레이션으로 검증됐다. 사람의 목표가 갑자기 바뀌거나 일부 뇌 신호가 빠지는 등 불확실한 상황에서도, 이 방식은 겉으로 드러난 행동에만 의존하는 기존 방식보다 사람의 의도 변화에 더 빠르게 적응했다. 목표와 방법이라는 두 종류의 피드백을 분리해 활용한 덕분에, 신호가 불완전해도 더 안정적으로 사람의 뜻에 맞춰갈 수 있었다.

다만 이 기술은 아직 시뮬레이션 단계로, 실제 활용까지는 과제가 남아 있다. 뇌파에서 읽어낸 신호를 실제 로봇의 행동에 곧바로 연결하는 실시간 시스템을 만들고, 다양한 사용자와 환경에서 신호 해독의 정확도를 높이는 검증이 필요하다. 연구팀은 이 기술이 가정·산업 현장의 로봇, 자율주행차, 말이나 움직임이 어려운 환자를 돕는 의료·재활 로봇, 학생의 인지 상태에 맞춘 맞춤형 교육 등으로 확장될 수 있을 것으로 내다봤다. 이상완 교수는 “행동 결과만으로 의도를 추정하던 기존 방식에서 벗어나, 행동 이면의 뇌 인지 신호를 AI 협업에 직접 활용할 수 있음을 보여줬다는 데 의미가 있다”고 말했다. 이번 연구에는 KAIST 서흔 박사과정생이 제1저자로 참여했으며, 연구 결과는 국제 학술지 ‘IEEE 트랜잭션스 온 사이버네틱스’에 지난달 온라인 게재됐다.