The big new idea for making self-driving cars that can go anywhere

자율주행을 실현하는 새로운 아이디어

자율주행차를 개발하는 기존 접근법은 실현하기가 까다로웠다. 그래서인지 발전이 더뎠다. 인공지능 기술로 무장한 스타트업들이 새로운 방식으로 문제를 해결하기 위해 나섰다. 과연 그들의 도전은 성공할 수 있을까?

4년 전, 알렉스 켄달(Alex Kendall)은 영국의 한적하고 작은 시골길에서 차를 운전하고 있었다. 그는 주행 도중에 운전대에서 손을 떼었다. 저가형 카메라 몇 대와 거대한 신경망을 장착한 그 차는 한쪽으로 방향을 틀었다. 켄달은 수초 동안 핸들을 잡고 차의 방향을 교정했다. 이후 켄달이 핸들에서 다시 손을 놓자, 차는 또 길에서 벗어났다. 켄달은 이를 재차 바로잡았다. 그는 자동차가 도로를 벗어나지 않고 운전하기를 배우는 데 20분도 걸리지 않았다고 했다.

차에게 운전을 가르치기 위해 실제 도로에 나가 ‘강화학습(reinforcement learning)’을 시도한 것은 그때가 처음이었다. 강화학습이란 시행착오를 통해 작업을 수행하도록 훈련시키는 인공지능(AI) 기술이다. 차세대 스타트업들은 이 기술이 자율주행차를 일상에 이용할 수 있는 수준으로 발전시키기 위한 돌파구가 될 것으로 믿는다.

강화학습은 비디오 게임이나 바둑 등의 분야에서 기술적으로 인간을 뛰어넘는 수준의 컴퓨터 프로그램을 만드는 데 이용되었고, 현재 핵융합로를 제어하는 데도 활용되고 있다. 하지만 많은 이들이 자동차 운전만큼은 이 방식을 적용하기에 너무 복잡할 것으로 생각했다. “다들 우리를 비웃었다.” 영국의 무인 자동차 회사 ‘웨이브(Wayve)’의 설립자이자 CEO인 켄달이 회상했다.

현재 웨이브는 런던에서 출퇴근 시간대에 자동차를 훈련시키고 있다. 지난해 이 회사는 런던에서 학습한 차를 추가 훈련 없이 케임브리지, 코번트리, 리즈, 리버풀, 맨체스터 등 5개 도시에서 시험 주행을 하는 데 성공했다. 이는 ‘크루즈(Cruise)’나 ‘웨이모(Waymo)’와 같은 동종 업계 선두 주자조차 어려워하는 과제였다. 최근 웨이브는 마이크로소프트의 클라우드 기반 슈퍼컴퓨터인 애저(Azure)를 통해 신경망을 훈련시키기 위해 마이크로소프트와 협력할 것이라고 발표했다.

투자자들은 그동안 자율주행차를 개발하는 데 1,000억 달러(약 124조 1,000억 원)가 넘는 돈을 투자했다. 이는 NASA가 인간을 달에 보내기 위해 썼던 자금의 3분의 1 수준에 이를 정도로 어마어마한 액수이다. 그러나 15년이 넘는 오랜 개발 기간과 수없이 많은 도로 주행 시험에도 불구하고 무인운전 기술은 여전히 시험 단계에 정체되어 있다. 켄달은 “우리는 이 분야에 엄청나게 많은 돈을 투자했지만, 여전히 기술은 완벽하지 못하다.”고 말한다.

이점이 바로 웨이브와 미국의 ‘와비(Waabi)’ 및 ‘고스트(Ghost)’, 이스라엘의 ‘오토브레인스(Autobrains)’와 같은 자율주행 스타트업들이 AI에 총력을 기울이는 이유다. ‘자율주행 버전 2.0(AV2.0)’이라고 자처하는 이 기업들은 더 똑똑하고 값싼 기술을 통해 그들이 현재 시장의 선두 주자들을 추월할 수 있을 것이라고 장담하고 있다.

과대 평가된 기술

웨이브는 100개 도시에 무인 자동차를 배치한 최초의 회사가 되고 싶다는 포부를 밝혔다. 하지만 최근 수년 동안 자율주행 업계의 목표와 실제 결과 사이의 괴리를 감안하면, 근거가 있는 주장인지 의문이 드는 것도 사실이다.

라켈 우르타순(Raquel Urtasun)은 2021년 와비를 설립하기 전 4년 간 우버의 자율주행팀을 이끌었다. 그는 “이 분야는 과대광고가 너무 만연해 있다”고 말하면서 “애초에 자율주행 기술이 얼마나 어려운 일인지에 대한 인식이 부족하다. 나는 지금까지의 접근 방식으로는 실제 생활에 적용할 수 있을 정도로 안전한 자율주행 기술을 개발하는 것이 불가능할 것이라고 생각한다.”고 덧붙였다.

여기서 말하는 기존 접근 방식은 2007년경에 시작되었다. 당시 미국 국방부 산하 고등연구계획국(defense advanced research projects agency, DARPA)은 미 공군 기지의 모형 마을에서 무인 자동차를 이용하여 길을 찾는 대회를 개최했고, 여기에 6개 연구팀이 참여했다.

웨이모와 크루즈가 바로 이 대회를 통해 데뷔한 셈이다. 그리고 이를 계기로 그들의 로봇공학적 접근법이 자율주행 기술의 주류로 자리 잡게 되었다. 이 방식에서는 주위 환경의 인지, 의사 결정 및 차량 제어를 독립적인 문제로 간주하여 각각에 대한 모듈을 개별 구성한다. 하지만 우르타순에 따르면 이러한 구조 때문에 전체 시스템을 구성하고 유지하는 것이 오히려 어려워질 수 있다. 또한 한 모듈에서 발생한 오류가 다른 모듈로 전파되어 문제가 악화될 가능성도 있다. “우리에게는 로봇공학적이 아니라 인공지능적인 사고 방식이 필요하다”는 것이 그의 주장이다.

이러한 문제의식에서 새로운 접근법이 나왔다. 웨이브, 와비 및 다른 스타트업들은 여러 개의 신경망을 따로 구축한 후 프로그래머가 이를 결합하는 방식 대신, 세부 데이터를 스스로 파악하는 단일한 대규모 신경망을 구축하고 있다. 인공지능에 도로 상황과 관련된 카메라나 라이다(lidar) 정보를 충분히 제공하여, 운전대나 브레이크를 어떻게 제어해야 할지 스스로 학습하게 하는 것이다. 이는 어린아이가 자전거를 타는 방법을 배우는 방식과도 비슷하다.

이렇게 중간 과정 없이 입력 신호를 기반으로 바로 출력 신호를 도출해내도록 학습하는 과정을 ‘종단 간 학습(end-to-end learning)’이라고 부른다. 이는 GPT-3가 자연어처리를 학습할 때, 그리고 ‘알파제로(AlphaZero)’가 체스와 바둑을 학습할 때 사용했던 방식이기도 하다. 켄달은 “지난 10년간 이 방법으로 해결이 불가능해 보였던 많은 난제가 풀렸다”고 평가한다. 그는 “종단 간 학습을 통해 인공지능은 여러 분야에서 인간보다 뛰어난 능력을 갖추게 되었다. 운전도 예외는 아닐 것이다.”라고 말했다.

웨이브처럼 와비도 종단 간 학습 방식을 적용하고 있다. 하지만 이 기업은 (적어도 아직까지는) 이를 실제 도로 환경에서 적용하지 않고 있다. 이들은 실제 환경과 흡사한 가상현실 공간에서 인공지능을 학습시키고 있는데, 이 가상현실 공간 자체도 효율적인 학습을 위해 인공지능 운전 강사에 의해 통제된다. 고스트 또한 인공지능을 기반으로 길을 탐색하고 다른 운전자와 상호작용하는 알고리즘을 개발하고 있다.

20만 가지의 작은 문제들

오토브레인 역시 종단 간 학습방식을 사용하고 있지만, 이들은 약간 다른 접근법을 취하고 있다. 자동차가 맞닥뜨릴 수 있는 모든 상황을 처리하기 위해 하나의 큰 신경망을 학습시키는 대신, 이들은 수십만 개의 작은 신경망을 각각의 개별적인 시나리오에 대처하기 위해 훈련시킨다.

이 회사의 CEO인 이갈 라이첼가우즈(Igal Raichelgauz)는 “우리는 자율주행이라는 한 가지 커다란 난제를 수십만 개의 작은 인공지능 문제들로 잘게 쪼갠다.”라고 설명했다. 그에 따르면 문제를 해결하기 위해 하나의 복잡한 모델을 사용하는 것은 비효율적이다. 그는 “사람이 운전할 때 도로의 모든 상황을 확인하지는 않는다. 우리는 그저 판단에 도움이 되는 정보만을 추출할 뿐이다.”라고 덧붙였다.

오토브레인은 자동차 센서로 들어온 데이터를 인공지능으로 처리하면서 각 상황을 빗길, 횡단보도, 교통 신호, 우회전하는 자전거, 뒤쪽에서 다가오는 차량과 같은 시나리오로 분류한다. 오토브레인 측은 이 인공지능이 약 20만 개에 이르는 시나리오를 식별할 수 있으며, 시나리오에 일대일로 대응하는 개별 신경망들을 계속해서 훈련시키고 있다고 밝혔다.

최근 이 회사는 그들의 기술을 실제로 시험해보기 위해 자동차 제조사와 접촉하여 실제 차량을 인수한 것으로 알려졌다.

켄달은 오토브레인의 접근 방식이 첨단운전자보조시스템(ADAS)에는 적합하겠지만 자율주행 측면에서는 그다지 뛰어나지 않다고 생각한다. 그는 “완전 자율주행 문제를 해결하기 위해서는 현실 세계와 동등한 수준의 복잡성을 해결할 수 있어야 한다.”고 말한다.

크루즈 컨트롤

이러한 방식 중 어떤 것이든 간에, 새로운 접근법이 과연 기존의 자율주행 기술을 역전할 수 있을까? 크루즈의 엔지니어링 부사장인 모하메드 엘 셰나위(Mo ElShenawy)는 당연하게도 이에 대해 부정적인 입장을 보였다. 그는 “현 수준의 AI 기술로는 크루즈의 자율주행을 따라잡기 어려울 것이다.”라고 말한다.

크루즈는 현재 가장 발전된 자율주행 기술을 보유하고 있다. 이 회사는 작년 11월 샌프란시스코에서 자율주행 택시 서비스를 시작하기도 했다. 비록 제한된 구역 안에서 운행되지만, 누구든지 앱을 통해 승객이 없는 빈 차를 자신이 있는 곳까지 호출할 수 있다. 엘 셰나위는 “우리는 실제 고객들로부터 다양한 의견을 받고 있다. 이는 매우 신나는 일이다.”라고 했다.

크루즈는 자신들의 소프트웨어를 개선하기 위해 광대한 가상 공장을 구축했다. 이 가상 공간에서 수백 명의 기술자는 각자 맡은 부분을 보수한다. 엘 셰나위는 모듈식 접근법이 새로운 기술을 빠르게 적용하는 데 장점이 있다고 말한다.

그는 크루즈가 새로운 도시에 자율주행차를 도입하는 데 제한이 있다는 주장도 일축했다. “우리는 이미 수년 전에 한적한 교외에서 자율주행차 서비스를 출시할 수 있었지만 그렇게 하지 않았다. 그와 같은 성급한 방식이 결국 우리를 궁지에 몰아넣을 것이기 때문이었다. 우리가 의도적으로 샌프란시스코와 같이 복잡한 도시에서 자율주행 기술을 개발한 것도 마찬가지 이유에서였다. 이 복잡한 도시에서 돌아다니는 수십만 대의 자전거와 보행자, 자동차와 응급차량이 우리에게 난관이었지만, 결국 이곳에서 개발한 차량은 다른 도시에도 쉽게 적응할 수 있을 것이다.”

하지만 크루즈가 새로운 도시에서 운행을 시작하기 위해서는 먼저 프로그램에 센티미터 단위의 고해상도 지도를 업데이트해야 한다. 현재 대부분의 자율주행 회사들은 차 운행에 이와 같은 고해상도 3D 지도가 필수적이다. 자율주행 차량은 센서로부터 얻는 차선 경계 및 신호등의 위치, 도로의 연석 유무 등과 같은 원 데이터(raw data)와 지도 정보를 결합하여 차량을 제어한다.

이러한 고해상도 지도 데이터는 위성 사진과 도로에서 수집한 사진 및 라이다 정보를 결합하여 제작한다. 현재 미국, 유럽 및 아시아에서 수억 킬로미터의 도로를 대상으로 이미 이러한 지도가 완성된 바 있다. 하지만 매일매일 새로운 도로가 건설되기 때문에 기본적으로 이 작업에는 끝이 없다.

많은 자율주행 회사들이 지도 전문 회사에서 제공하는 고해상도 지도를 사용하는 반면, 크루즈는 전용 지도 데이터를 가지고 있다. 엘 셰나위에 따르면, “크루즈는 운전 환경, 도로 배치 및 모든 것을 수정하고 변경할 수 있다.”고 한다.

이는 기존 회사들이 가지지 못한 크루즈만의 장점이지만, 웨이브나 오토브레인과 같은 새로운 경쟁사들은 자체 프로그램에서 고해상도 지도를 아예 제외해버렸다. 웨이브는 차에 GPS를 설치했으나 이를 웨이브 차량의 학습에 사용하지 않는다. 이로 인해 기술 개발 과정 자체는 조금 더 어려워지지만, 일단 기술이 완성되고 나면 새로운 장소에서도 쉽게 자율주행차를 운용할 수 있다.

켄달은 이 방식이 자율주행 기술의 확산에 결정적인 역할을 할 것이라고 생각한다. 그는 “우리 차량이 첫 번째 도시에서 실제로 주행할 수 있게 되기까지는 다소 오랜 시간이 필요할 것이다. 하지만 일단 한 곳에서 운행을 시작하면 곧 어디든 갈 수 있다.”고 했다.

이 모든 이야기에도 불구하고, 그들은 아직 갈 길이 멀다. 크루즈가 샌프란시스코에서 상업용 무인 택시 서비스를 시작한 반면, 새로운 스타트업 중 가장 앞서 있는 웨이브는 여전히 비상 운전자가 차량에 탑승한 상태에서 시험 운행을 진행하고 있다. 와비는 실제 차량 테스트를 시작하지도 못한 상태이다.

그럼에도 불구하고 최근 자연어처리와 컴퓨터 비전(computer vision)에서 종단 간 학습이 이룩해낸 성과를 고려하면, 이들 자율주행 버전 2.0 회사들의 미래는 밝아 보인다. 이에 대해 우르타순은 “만약 모두가 같은 길로 가고 있는데 그것이 잘못된 방향이었다면 아무도 문제를 해결하지 못할 것이다. 우리는 다양한 접근법을 시도해볼 필요가 있다”고 말했다. 아직 그 누구도 완전한 기술을 개발하지 못했기 때문이다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.