This super-realistic virtual world is a driving school for AI

AI가 만든 초현실적 가상세계, 자율주행차 개발 속도 높여줄까

자율주행차 스타트업 와비(Waabi)는 자율 주행 학습을 위한 새로운 접근 방식에 사활을 걸고 있다.

자율주행 자동차 개발은 투입되는 돈과 노력에 비해 성장 속도는 더딘 사업이다. 이미 오랫동안 막대한 노력과 수십억 달러가 투자됐지만 이 기술은 여전히 시험 단계에 머물러 있다.

하지만 이러한 상황을 개선할 수 있다고 자신하는 사람이 있다.

바로 와비(Waabi) 창업자 라퀼 어타슨(Raquel Urtasun)이다. 어타슨은 자율주행 자동차 개발에 진척이 없자 싫증을 느끼고, 4년 간 몸담았던 승차호출 서비스 회사인 우버를 떠나 지난해 와비를 세웠다. 현재 자율주행 자동차 관련 실무를 보는 동시에 토론토 대학 교수도 겸직 중인 그녀는 “현시점을 기준으로 자율주행에 대한 기존의 접근 방식들은 진전이 너무 느리다”며 “이전과는 근본적으로 다르게 접근해야 한다”고 창업 동기를 밝혔다.

최근 와비는 어타슨이 자율주행 자동차 개발 속도를 획기적으로 단축할 수 있다고 믿는 새로운 해결책을 내놓았다. 바로 ‘실차’ 테스트를 포기하는 것이다.

조금 더 자세히 설명해 보면 이렇다.

지난 여섯 달 동안 와비는 ‘와비 월드(Waabi World)’라는 극사실적 가상환경(super-realistic virtual environment)을 구축해왔다. 이들은 실제 자동차로 인공지능(AI) 운전자를 훈련시키는 대신 시뮬레이션 내에서 가능한 모든 상황을 구현하려고 한다. 최종 개발 단계 전까지는 실제 도로에서 실제 차량을 대상으로 한 AI 테스트도 하지 않아 시간을 단축하겠다는 계획이다.

문제는, AI가 실제 도로처럼 혼란스러운 상황에 대처하는 법을 배우려면 현실에서 당면할 만한 모든 사건에 미리 노출되어야 한다는 점이다. 자율주행 자동차 회사들이 지난 10년 동안 세계 곳곳에서 수백만 킬로미터를 주행한 이유가 바로 이 때문이다. 크루즈(Cruise)나 웨이모(Waymo) 등 몇몇 기업은 미국 내 한적한 도시 환경에서 자율주행 자동차 주행 테스트를 시작했다. 하지만 여전히 진행이 더디다. “왜 이런 무인 자동차들이 현실 세계에서 더 자주 보이지 않을까? 왜 그 차량들은 상용화되지 못했을까?” 어타슨은 묻는다.

와비는 도로 주행 테스트를 하지 않을 뿐만 아니라 아직 완성된 차조차 없지만, 그럼에도 불구하고 어타슨은 대담한 주장을 펼치고 있다. 실제 거리에서 소프트웨어를 시험하는 데 드는 비용을 크게 절약함으로써, 그녀는 와비가 경쟁사보다 더 빠르고 저렴하게 인공지능 운전자를 개발하여 산업 전반에 공급할 수 있을 것이라고 생각한다.

가상 운전자

그 전에도 자율주행 소프트웨어를 시험할 목적으로 가상 현실 세계를 만들려는 시도는 있었다. 수년 전부터 시뮬레이션은 자율주행 자동차 업계의 중추였다. 그러나 문제는 시뮬레이션만으로 최종적인 기술 장벽을 충분히 극복할 수 있느냐는 것이다. 아마존이 2020년 인수한 자율주행차 스타트업 죽스(Zoox)의 공동창업자이자 CTO인 제시 레빈슨(Jesse Levinson)은 “아직 아무도 자율주행차를 위한 가상공간(Matrix)를 구축하지 못했다”라고 말했다.

실제로 현재 거의 모든 자율주행차 회사가 어떤 형태로든 시뮬레이션 기법을 채택하고 있다. 이들은 실제 도로에서 마주칠 수 있는 것보다 더 다양한 시나리오에 AI를 노출시키면서 테스트 진행 속도를 높이고 비용도 절감한다. 그러나 대부분은 시뮬레이션을 실제 테스트와 결합하여 실제 주행과 가상 주행을 오가는 방식을 사용한다.

와비 월드는 시뮬레이션을 한 단계 더 발전시킨 형태이다. 와비 월드는 운전 강사이자 가상공간 매니저 역할을 하는 AI에 의해 생성되고 제어된다. 이러한 AI는 AI 운전자의 약점을 파악한 후, 취약한 부분을 테스트하기 위해 가상 환경을 재정비한다. 또한 와비 월드는 동시에 여러 AI 운전자에게 서로 다른 능력을 가르친 뒤 이들을 단일한 수행능력(skill set)으로 결합한다. 어타슨에 따르면, 이 모든 것은 인간의 도움 없이 쉬지 않고 이어진다.

돌발 상황

자율주행 자동차 회사들은 시뮬레이션을 통해 차량 통제 신경망이 어떻게 돌발 상황에 대처하는지 테스트한다. 자전거 배달원이 급작스럽게 끼어드는 경우, 차량 색상이 하늘색이라 색깔로는 차체를 인식하기 어려운 경우 등의 다양한 상황이 그 예다. 신경망은 이 결과를 바탕으로 적절하게 적응해 나간다.

크루즈는 샌프란시스코 지역 내 특정 도로에 한해 완전자율주행차를 시험하기 시작했다. 이 회사에서 시뮬레이션 분야를 연구하는 시드 간디(Sid Gandhi)는 “실제 도로에서 돌발 상황을 제대로 시험하기 위해서는 수천 마일을 주행해야 한다”라고 말했다. 정말 드문 상황은 굉장히 낮은 확률로 발생하기 때문이다. 그는 “우리가 시뮬레이션으로 희귀한 상황에 대응하는 훈련을 할 수 있게 됨에 따라, 실제 주행 테스트에 대한 의존도가 점차 줄어들고 있다”고 덧붙였다.

크루즈는 소프트웨어를 업그레이드할 때마다 수십만 번의 시뮬레이션을 통해 소프트웨어를 테스트한다. 간디에 따르면, 크루즈는 앞으로 자동차 주행 중에 경험할 법한 까다로운 상황에 기초해 수천 개의 시나리오를 제작할 예정이다. 그리고 다양한 잠재적인 시나리오를 다루기 위해 세부적인 부분을 조정할 계획이다. 시뮬레이션을 더욱 사실적으로 만들기 위해 이들은 실제 자동차에서 촬영한 데이터도 사용할 것이다.

여기에 더해 엔지니어는 도로 배치를 바꾸고 차종을 교체하며 보행자 수를 변경할 수 있다. 마지막으로, 소프트웨어는 시뮬레이션에서 다른 차량들이 현실적인 반응을 보이도록 하기 위해 자율주행 알고리즘을 사용한다. 이러한 합성 데이터로 소프트웨어를 테스트하는 것은 실제 데이터를 사용하는 것보다 180배 빠르고 수백만 달러 더 저렴하다고 간디는 주장했다.

간디는 크루즈가 샌프란시스코 외 미국 도시들을 복제하여 만든 가상 거리에서도 소프트웨어를 실험하고 있다고 밝혔다. 실제 자동차가 해당 도시의 도로를 달리기에 앞서 시뮬레이션으로 구현된 곳에서 자율주행 소프트웨어를 테스트하기 위해서다.

다른 회사들도 자율주행을 위한 AI 훈련과 테스트에서 시뮬레이션이 중요하다는 데 동의한다. “여러 가지 면에서 실제 운전보다 시뮬레이션이 더 유용하다.”라고 레빈슨은 말한다.

영국에 본사를 둔 자율주행 자동차 회사인 웨이브(Wayve)도 시뮬레이션 테스트와 실제 주행 테스트를 번갈아 수행하고 있다. 런던 번화가를 달리는 이 테스트는 항상 차 안에 사람이 탄 상태로 진행된다. 웨이브의 수석 과학자인 제이미 쇼튼(Jamie Shotton)은 시뮬레이션을 통해 테스트 비용을 줄여 자율주행차 개발을 가속화할 뿐 아니라 테스트의 신뢰성을 높일 수 있다는 생각이다. 시뮬레이션을 통해 반복적으로 테스트를 시행할 수 있기 때문이다. 그는 “성공적인 시뮬레이션의 핵심은 현실성과 다양성을 늘리기 위해 끊임없이 노력하는 것”이라고 말했다.

그럼에도 불구하고, 와비는 다른 회사에서 하는 것보다 더 많은 일들을 시뮬레이션만으로 할 수 있다고 주장한다. 와비는 크루즈와 마찬가지로 라이다(lidar) 및 카메라 등의 실제 센서로 데이터를 수집하여, 이를 기반으로 현실을 모방한 디지털 복제 환경을 만든다. 그런 다음 가상 세계를 최대한 사실적으로 만들기 위해 AI 운전자가 보는 센서 데이터를 시뮬레이션으로 구현한다. 카메라를 교란시키는 반짝이는 표면 반사 현상이나, 라이다를 무용지물로 만드는 배기가스와 안개가 여기에 포함된다.

하지만 와비 월드의 핵심은 전지적인(god-like) 운전 강사 AI라고 할 수 있다. 이 가상 세계에서는 한 AI 운전자가 다양한 환경을 탐색하는 법을 배우면, 또 다른 AI가 취약점을 찾아 이를 테스트하는 구체적인 시나리오를 만들어낸다.

실제로 와비 월드에서는 두 AI에게 경쟁을 시킨다. 이때 운전 강사 AI는 실패 확률이 높은 맞춤형 과제(tailor-made challenges)를 선별하여 운전자 AI에게 제시하며, 반대로 운전자 AI는 이 문제를 해결하기 위해 노력한다. 어타슨은 운전자 인공지능이 점점 더 향상되면서 실패 사례를 찾기 더 어려워지고 있다며, “결점을 찾기 위해서는 수백만, 어쩌면 수십억 개의 시나리오에 노출시켜야 할 것”이라고 강조했다.

어타슨은 “수많은 시뮬레이션을 통한 AI 학습이 인간이 새로운 기술을 배우는 과정을 더 잘 모방한다고 생각한다”면서 “새로운 경험을 할 때마다 우리 뇌 신경망은 새롭게 구성된다”라고 설명했다.

시뮬레이션 상에서 AI를 자기 자신 또는 상대편과 수없이 많이 대결시켜 훈련하는 방법은 매우 강력한 기술이 되었다. 이는 구글의 AI 자회사 딥마인드(DeepMind)가 AI에게 바둑과 스타크래프트 게임을 훈련시킬 때 사용한 방법이기도 하다. 딥마인드의 엑스랜드(XLand)와 오픈에이아이(OpenAI)의 하이드앤시크(Hide & Seek)와 같은 가상 놀이터에서 AI봇이 학습하는 방법도 이와 동일한 원리이다. AI는 시행착오를 통해 기본적이면서도 일반적인 기술을 습득한다.

하지만 시뮬레이션 속에서 AI가 자유롭게 활동할 수 있게 함으로써 생기는 단점도 있다. AI가 현실에 없는 시뮬레이션의 허점을 이용해 문제를 해결하는 법을 배울 수 있기 때문이다. 실제로 오픈에이아이의 하이드앤시크 봇은 다른 사람들을 피하거나 찾기 위해 서로 협력하는 방법을 시뮬레이션 속에서 스스로 학습했지만, 한편으로는 봇들이 허공으로 뛰어오르거나 벽을 통해 물체를 통과시키는 등 물리학을 거슬러 움직이는 결함이 발견되기도 했다.

와비는 AI 운전자의 잘못된 행동 학습을 방지하기 위해 시뮬레이션이 충분히 정확한지 확인해야 할 것이다. 그렇지 않으면 신경망은 계속해서 가상 세계와 현실 세계 사이의 불일치를 활용하는 방법을 터득할 것이다. 어타슨은 말한다. “인공지능도 편법을 쓸 줄 안다.”

어타슨은 와비가 실제 주행 환경과 가상 주행 환경 사이의 차이를 측정하여, 이 간극을 가능한 한 최소화하는 방법을 개발했다고 주장한다. 그녀는 이 기술에 대한 내용을 아직 자세히 밝히지는 않았지만, 와비가 이 연구를 발표할 계획이라고 말했다.

와비가 시뮬레이션만으로 어디까지 개선될 수 있는지는 와비 월드가 현실과 얼마나 닮았느냐에 달려있다. “시뮬레이션이 점차 개선되고 있기 때문에, 시뮬레이션에서 배울 수 없는 현실 세계의 사례가 점점 더 줄고 있다. 하지만 완전히 없어지기까지는 오랜 시간이 걸릴 것이다.” 레빈슨이 말했다.

웨이브의 쇼튼은 “시뮬레이션과 실제 테스트 사이에서 건전한 균형을 유지하는 것이 중요하다”면서 “실제 하드웨어와 관련된 모든 복잡성을 고려하여 자율 주행 자동차가 도로 위에서도 안전하게 운행될 수 있도록 하는 것이 자율주행 기업의 궁극적인 목표”라고 강조했다.

어타슨은 이 의견에 대체로 동의한다. 그녀는 실차 검증은 여전히 필요하지만 그 비중은 점점 줄어들 것으로 기대했다.

어찌 되었든 어타슨은 현 상태가 이대로 지속될 수 없다는 입장이다. “기존 업계는 방법의 개선 없이 계속해서 같은 길을 걷고 있다.그 과정을 가속화할 혁신이 필요하다. 우리의 새로운 접근법으로 계속해서 나아가야 한다.”

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.