Forget Boston Dynamics. This robot taught itself to walk

강화학습으로 걷는 법 터득한 로봇

보스턴 다이내믹스가 공개한 노련한 동작의 로봇 영상이 사람들의 이목을 끌고 있다. 로봇이 스스로 걸을 수 있도록 훈련시키는 것은 어려운 작업이다.

2족 보행 로봇 캐시(Cassie)는 강화학습(Reinforcement Learning)을 이용해 걷는 법을 터득했다. 이 기술은 시행착오를 통해 AI가 복잡한 행동을 수행할 수 있도록 훈련시킨다. 다리가 두 개인 이 로봇은 웅크리고 걷기, 예상치 못한 하중 견디기 등 다양한 동작을 새로 터득했다.

춤도 출 수 있을까? 보스턴 다이내믹스의 영상들이 화제가 된 이후, 로봇의 능력은 과연 어디까지 인가에 대한 기대감이 고조되고 있다. 이 영상들에서 휴머노이드 로봇 아틀라스(Atlas)는 한 발로 서고 상자를 뛰어넘으며 춤을 추는 모습을 보여준다. 이 영상은 수백만 조회수를 기록했고 패러디 영상까지 나왔다. 아틀라스가 스스로 동작을 통제하는 모습은 인상 깊다. 안무 구성은 아마도 인간의 손에 의해서 구현됐을 것이다. (보스턴 다이내믹스가 구체적인 내용을 발표하지 않았기 때문에 어느 정도인지는 파악하기 어렵다.)

캐시와 관련하여 공동 연구를 수행한 UC버클리대의 종위 리(Zhongyu Li)는 다음과 같이 주장한다. “이런 영상을 보고, 휴머노이드 로봇의 개발이 어렵지 않으며, 이미 해결된 문제라고 생각하는 사람들도 있을 것이다. 그러나 사람이 사는 세상에서 휴머노이드 로봇이 안정적으로 작동하고 생활하려면 아직 갈 길이 멀다.” 캐시는 아직 춤을 출 수는 없다. 그러나 사람 크기의 로봇 캐시를 스스로 걷도록 훈련시키면 다양한 지형에 대처할 수 있고, 비틀거리거나 고장 났을 때 더 빨리 균형을 유지할 수 있다.

제한적인 가상 환경: 강화학습은 시뮬레이션에서 다양한 로봇 걷기 훈련에 사용되어 왔다. 그러나 이 능력을 현실에 접목시키기란 어려운 문제다. 첼시 핀(Chelsea Finn) 스탠퍼드대 인공지능 로봇 공학 연구원은 “가상 에이전트와 관련된 많은 영상이 전혀 현실적이지 않다”고 말했다. (그는 이 연구에 참여하지 않았다.) 가상 환경 속의 시뮬레이션 물리 법칙과 실제 물리 법칙(예: 로봇의 발과 지면 사이 마찰) 간의 작은 차이는 로봇이 학습한 내용을 현실에서 적용할 때 커다란 실패로 이어지기도 한다. 동작이 조금이라도 어긋날 경우 무거운 2족 로봇은 균형을 잃고 넘어질 가능성이 있다.

이중 시뮬레이션: 그러나 현실 세계에서 시행착오를 통해 대형 로봇을 훈련시키는 것은 위험할 수 있다. 문제 해결을 위해 UC버클리대 연구팀은 두 종류의 가상 환경을 설정했다. 첫 번째로, 캐시는 시뮬레이션에서 로봇 동작과 관련된 기존의 대용량 데이터베이스를 바탕으로 걷는 법을 터득했다. 이 시뮬레이션은 심메카닉스(SimMechanics)라는 두 번째 가상 환경으로 전송되었다. 심메카닉스는 실제 물리학을 상당히 정확하게 반영하지만, 대신 속도가 느려진다. 캐시가 잘 걷는 것처럼 보였을 때는, 학습된 보행 모델이 실제 로봇에 장착된 상태일 때였다.

실제 캐시는 별도의 조정 없이 시뮬레이션에서 학습된 모델을 사용하여 보행이 가능했다. 캐시는 노면이 고르지 않고 미끄러운 지형에서 걸을 수 있고, 예상치 못한 하중을 견딜 수 있으며, 밀어도 균형을 유지할 수 있다. 테스트 도중, 캐시의 오른쪽 다리에 있는 모터 2개가 손상되었지만 스스로 동작을 조정하여 이를 극복하였다. 핀 연구원은 흥미로운 연구라고 생각한다. 임페리얼 칼리지 런던(Imperial College London)의 로봇 학습 연구소(Robot Learning Lab) 수장을 맡고 있는 에드워드 존스(Edward Johns)는 여기에 동의하며 다음과 같이 의견을 밝혔다. “내가 본 사례 중, 가장 성공적인 케이스다.”

UC버클리대 연구팀은 이 접근 방식을 활용하여 캐시의 동작을 더 다양하게 하려고 한다. 그러나 로봇 댄스를 기대하는 것은 아직까지 무리일 것이다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.