인간은 외부 자극을 인지하기 위해 오감을 모두 사용하기는 하지만, 이 중 시각이 차지하는 비중은 77%에 이르며, 뒤를 이어 청각과 후각, 그리고 촉각과 미각은 극히 적은 부분을 차지하고 있는 것으로 알려져 있다.

촉각과 미각이 전체 감각에서 차지하는 비중이 낮은 이유는 직접적인 접촉을 통해서만 자극을 수용할 수 있기 때문이지 이 감각들이 중요하지 않아서라고 말하기는 힘들다. 교육에서는 일반적으로 시청각 교육이라고 할 정도로 시각과 청각에 중점을 둔 교육이 이뤄지고 있지만, 실제로는 촉각 또한 교육에서 매우 중요한 위치를 차지하고 있다. 특히 촉각의 경우 손을 통해 만들어지는 기억의 중추가 되기 때문에 악기 연주나 그림 그리기, 도자기 빚기, 혹은 젓가락질이나 키보드 타이핑, 뜨개질이나 바느질과 같이 섬세하고 정교한 움직임을 요구하는 다양한 영역에서 촉각은 중요한 감각으로 자리 잡고 있다.

이렇게 손으로 하는 기술을 학습을 위해서는 지금까지 수없이 동일한 동작을 반복함으로써 숙련도를 높이는 데 초점을 맞춰왔다. 그러나 이런 방식은 전문가의 지속적인 피드백이 필요하고 많은 시간과 노력, 비용이 필요했다.

과연 최신 센서와 AI 기술이 이런 손으로 하는 학습에 어떤 도움을 줄 수 있을까? 문제는 외과 수술이나 음악, 미술과 같은 분야의 학습에서는 촉각 기반의 상호작용이 중요함에도 불구하고 지금까지 촉각은 캡처하고 저장하고 전송하기 위한 디지털화의 과정이 어렵다고 알려져 있었다.

장갑을 이용한 촉각의 저장과 재생

MIT CSAIL(Computer Science and Artificial Intelligence Laboratory)의 연구진이 발표한 적응형 스마트 장갑(Adaptive Smart Glove)은 촉각 피드백을 이용해 사용자에게 새로운 기술을 가르치고, 로봇을 보다 정밀하게 조작할 수 있게 하고, 외과의사나 조종사의 훈련을 도울 수 있을 것으로 기대를 모으고 있다.

연구진은 터치 기반의 지시를 캡처, 재현, 전달할 수 있는 스마트 장갑을 개발하고, 여기에 촉각 피드백에 대한 사용자의 반응 방식에 적응해 사용자 경험을 최적화하기 위한 간단한 머신러닝 에이전트를 개발 및 적용했다. 이 시스템은 잠재적으로 사람들에게 신체 기술을 가르치고, 반응형 로봇의 원격 조작을 개선하며, 가상 현실에서 훈련을 지원하는 데 도움을 준다. 〈네이처 커뮤니케이션(Nature Communications)〉에 게재된 논문에 의하면 연구진은 스마트 장갑을 만들기 위해 디지털 자수 기계를 사용해 촉각 센서와 햅틱 액추에이터(Haptic Actuator)를 섬유에 내장했다. 이를 이용해 손의 여러 부위에 피드백을 보내 동작을 수행하기 위한 최적의 방식을 알려준다.

예를 들면 스마트 장갑으로 피아노 연주를 연습할 경우, 전문가가 스마트 장갑을 착용하고 간단한 곡을 연주하면서 손가락이 건반을 누르는 순서를 캡처했다. 이후 머신러닝 에이전트가 이 시퀀스를 햅틱 피드백으로 변환하고, 이를 학생들의 장갑에 입력했다. 결과적으로 학생들이 키보드의 동일 위치에 손을 가져가면 해당 손가락의 액추에이터가 진동하면서 연주해야 할 손가락과 순서를 알려준다. 특히 이 과정에서 개별적인 학생들의 주관적인 특성을 고려해 각 사용자에 맞춰 최적화했다.

논문의 주 저자인 MIT CSAIL 소속 이유 루오(Yiyue Luo) 연구원은 “사람들은 보통 물리적인 상호작용을 다른 사람과 공유하지 못한다. 따라서 피아노 연주나 무용과 같은 기술을 배우기 위해서는 상대의 움직임을 관찰하면서 배우는 경우가 많다”며 “촉각 상호작용을 전달할 때 가장 큰 어려움은 사람마다 촉각 피드백을 다르게 인식한다는 점이다. 이를 극복하기 위해 개인의 장갑에 맞는 적응형 햅틱을 생성하는 방법을 학습하는 머신러닝 에이전트를 개발해 최적의 동작을 학습하는 방식을 도입했다”고 설명했다.

이 스마트 장갑은 디지털 제작 방식으로 사용자의 손에 맞춰 제작된다. 컴퓨터가 개인의 손 치수에 맞춰 장갑을 디자인하고 자수 기계로 센서와 햅틱 액추에이터를 장착하는 방식이다. 10분 이내에 천 소재의 스마트 장갑을 만들 수 있으며, 사용자 12명의 햅틱 피드백으로 훈련된 적응형 머신러닝 모델로 15초의 새로운 사용자 데이터만 있으면 피드백을 개인화할 수 있다.

다른 두 가지 실험에서는 노트북으로 게임을 하는 동안 장갑을 착용한 사용자에게 시간에 따른 촉각 피드백을 전달했다. 리듬 게임을 실행한 참여자들은 좁고 구불구불한 길을 따라 목표 구역에 도착하는 방법을 배우고, 레이싱 게임에서는 정해진 경로를 따라 코인을 모으고 결승선을 향해 가는 동안 차량의 균형을 유지하는 방법을 훈련했다.

실험에서 최적화된 햅틱을 적용한 참여자들이 높은 게임 점수를 획득한 반면, 햅틱이 없거나 최적화되지 않은 햅틱을 사용한 참여자들은 상대적으로 낮은 점수를 획득했다.

MIT CSAIL의 보이치에흐 마투식(Wojciech Matusik) 교수는 “이번 연구는 사용자와 환경에 대한 데이터를 지속적으로 수집하는 개인화된 AI 에이전트를 구축하는 첫 번째 단계”라며 “이런 에이전트는 복잡한 작업을 수행하고 새로운 기술을 학습하고, 더 정교하고 세밀한 움직임을 구현할 수 있도록 돕는다”고 말했다.

로봇 원격 제어, 학습, 스포츠, 재활치료 등 다양한 응용 가능

로봇 원격 조작 실험에서 연구원들은 장갑이 로봇 팔의 동작을 반영해 적절한 피드백을 제공함으로써 더욱 섬세한 작업을 가능하게 해 준다는 것을 알 수 있었다.

이유 루오 연구원은 “이 기술은 로봇에게 사람처럼 행동하도록 가르치는 것과 유사하다”고 말한다. 연구진은 원격 조작으로 로봇에게 다양한 종류의 빵을 형태를 망가트리지 않으면서 조작하는 방법을 가르쳤다. 최적의 방법을 가르침으로써 인간은 제조 환경에서 로봇을 보다 정밀하게 제어할 수 있었고, 로봇은 작업자와 더욱 안전하고 효과적으로 협업할 수 있었다.

연구진을 이끈 다니엘라 루스(Daniela Rus)와 에르나 비터비(Erna Viterbi) MIT CSAIL 교수는 “스마트 장갑은 로봇 기술에 있어서 중요한 혁신”이라며 “사람의 피부와 유사한 고해상도 센서로 촉각 상호작용을 캡처하고 저장할 수 있어 로봇이 촉각을 통해 세상을 인식할 수 있게 해준다. 촉각 센서를 섬유에 완벽하게 통합하면, 물리적인 동작과 디지털 피드백 사이의 격차를 크게 줄여 반응형 로봇의 원격 조작이나 몰입형 가상 현실 교육에 있어서 엄청난 잠재력을 발휘할 것”이라고 내다봤다.

스마트 장갑은 원격 조작 로봇 외에도 가상 현실에서 몰입감 있는 경험을 제공하기 위한 인터페이스로도 유용하다. 스마트 장갑을 사용하면 게임 등의 디지털 환경에 촉각을 더할 수 있기 때문에 게이머는 주변 환경을 실제처럼 느낄 수 있다. 따라서 정밀함이 중요한 외과 의사나 파일럿 등의 시뮬레이션 훈련 과정에서 보다 개인화된 촉각 기반 경험을 제공할 수 있다.

연구진은 스마트 장갑을 신체의 다른 부분까지 확장할 수 있다고 보고 있다. 예를 들면 더욱 강력한 햅틱 피드백을 통해 손보다 덜 민감한 발이나 엉덩이 등 기타 신체 부위에 촉각을 전달하는 인터페이스를 구현할 수 있을 것으로 내다보고 있다.

연구진은 또한 현재 스마트 장갑은 인터페이스 키를 누르거나 물건을 잡는 등의 간단한 동작만 지원하지만, 향상된 AI 에이전트를 사용하면 점토를 조작하거나 비행기 운전과 같은 복잡한 작업도 지원할 수 있을 것으로 기대하고 있다.

물론 비슷한 시도는 이미 오래전부터 이어져 왔다. 이미 센스글로브(SenseGlove)와 같이 상용화된 제품도 등장하고 있으며, 적용 분야 또한 가상세계에서의 몰입 경험, 기술 훈련, 혹은 재활치료와 같은 다양한 분양에서 활용이 시도되고 있다.

특히 이런 웨어러블 센서는 장갑 외에도 신발이나 옷, 혹은 몸에 착용하는 액세서리 형태, 심지어 외부의 카메라를 이용한 동작 인식 등 다양한 방식으로 적용되고 있다. 그리고 이를 이용한 학습의 영역 또한 점차 확장돼, 예술이나 기술 영역은 물론이고, 스포츠나 재활치료, 혹은 로봇 제어나 가상 세계에서의 몰입 경험에 이르는 다양한 영역에서 새로운 활용도를 찾아가고 있다.