로봇이 공중제비를 돌고 춤을 추는 모습은 이제 낯설지 않다. 몇 년 전만 해도 두 발로 걷는 것조차 뉴스가 되던 로봇이 사람보다 화려하게 움직이는 시대가 됐다. 그다음 질문은 자연스럽게 이어진다. 저렇게 잘 움직이는 로봇에게 실제로 일을 맡길 수 있을까. 이 질문에서 출발한 화두가 ‘피지컬 AI’다. 화면 안에서 글을 쓰고 그림을 그리던 AI에게 몸을 주어, 스스로 상황을 파악하고 계획을 세워 현실의 일을 끝까지 해내게 하려는 기술이다.

그러나 화려한 시연과 실제 현장 사이에는 간극이 있다. 현실에서는 조명과 날씨, 바닥 상태, 사람의 움직임 같은 변수가 끊임없이 바뀐다. 화면 안의 오류는 다시 고치면 그만이지만, 로봇의 오류는 멈춤과 충돌, 비용과 안전 문제로 이어진다. 그래서 이 분야의 승부처는 더 큰 모델을 만드는 쪽이 아니라, 매일 멈추지 않고 작동하는 시스템을 만드는 쪽에 있다.

국내에서 이 전환을 가장 앞서 실험하는 곳은 어디일까. 현대자동차그룹의 로보틱스랩은 소형 모빌리티 로봇 ‘모베드’, 작업자의 근력을 보조하는 웨어러블 로봇 ‘엑스블 숄더’, 전기차 충전 로봇 ‘ACR’, 여러 로봇을 한꺼번에 운영하는 관제 솔루션 ‘나콘’까지, 로봇을 제품이 아니라 서비스로 넓혀가고 있다. 이곳에서 로봇의 지능을 만들어 온 주시현 로보틱스지능개발실장은 피지컬 AI 에이전트를 “상황과 정보를 이해하고 목표를 안전하게 완수하는 지능”으로 정의한다. AI가 몸을 가지면 무엇이 가능해지고, 무엇이 한계로 남을까. 그 답을 듣기 위해 주시현 상무를 만났다.

로봇이 아니라 로보틱스를 연구한다

Q. 올해 현대차 로보틱스랩은 휴머노이드 없이 가장 주목받은 로봇 조직이었습니다.

저희는 로봇 제작이 아닌 로보틱스를 연구하는 조직입니다. 로봇 한 대에는 기구와 구동, 배터리, 센서, 제어, AI, 소프트웨어, 안전, 운영이 함께 맞물려야 하는데, 그 총합이 로보틱스입니다. 모베드 같은 제품은 그 기술 체계 위에서 나온 결과물이죠. 지금 공장과 물류센터, 병원에는 고령화와 노동력 부족, 산업 안전, 돌봄 공백 같은 문제가 있고, 로보틱스로 이를 풀고 제품으로 만들어 국내 로보틱스 생태계를 키우는 것이 저희가 하려는 일입니다. 그래서 차별화된 하드웨어를 만들되, 이를 구동하는 AI·제어 같은 핵심 소프트웨어는 반드시 내재화하고, 완제품을 실제 공간에 내보내 피드백으로 다시 고도화하는 ‘러닝 프롬 리얼리티(Learning from Reality)’를 원칙으로 삼고 있습니다.

Q. 로보틱스는 자동차보다 다뤄야 할 도메인이 더 많고 넓은 것으로 알고 있습니다.

맞습니다. 워낙 넓다 보니 모든 걸 다 할 수는 없어서, 핵심 기술 7가지를 골라 내재화했습니다. 이 7개 기술은 AI 발전과 궤를 같이합니다. 로봇은 먼저 사람의 근력을 돕는 웨어러블에서 출발해, 무언가를 잡고 다루는 덱스터러스 매니퓰레이터 (Dexterous manipulator), 공간을 스스로 옮겨 다니는 모바일 플랫폼과 자율주행(SLAM·내비게이션)으로 나아갑니다. 그 위에 주변을 보고 사람과 대화하는 비전·랭귀지 AI가 얹히고, 이 모든 연산을 클라우드가 아니라 로봇 안에서 돌리는 온디바이스 AI가 처리합니다. 챗GPT는 클라우드에서 돌아도 되지만, 제한된 배터리로 이동하며 실시간 반응해야 하는 로봇은 연산을 몸 안에 넣어야 하거든요.

그리고 일곱 번째가 가장 멀리 내다본 기술입니다. 로봇 한 대를 잘 만드는 것을 넘어, 여러 대를 하나의 서비스로 묶어 운영하는 플릿·태스크 매니지먼트인데요. 저희가 자체 개발한 다종 로봇 통합 관제 솔루션 ‘나콘’이 그 결과물입니다. 순찰·배송·관수 로봇을 한꺼번에 오케스트레이션하고, RAG와 MCP 같은 기술을 붙여 운영 데이터에서 이상 사례를 스스로 골라 운영자에게 자동으로 리포트를 줍니다. 결국 이 일곱 번째가 로봇을 ‘제품’에서 ‘서비스’로 넘기는 다리인데, 저희가 궁극적으로 가려는 방향이 바로 거기에 있습니다. 이 7개 위에서 작업자의 근력을 보조하는 웨어러블 로봇 ‘엑스블 숄더’, 자유롭게 방향을 바꾸는 소형 모빌리티 플랫폼 ‘모베드’, 전기차를 자동으로 충전하는 ‘ACR’이 차례로 나왔습니다.

디지털은 정확도, 피지컬은 복원력

Q. ‘말하고 인식하는 AI’에서 ‘움직이고 행동하는 AI’로 옮겨오며 가장 크게 느낀 차이는 무엇인가요.

디지털 세계의 AI는 틀리면 다시 질문하면 그만이지만, 움직이는 AI는 틀리면 부딪히거나 멈추거나 위험해진다는 큰 차이가 있습니다. 정리하면, 디지털 환경의 AI가 정보의 생성과 답변을 도왔다면 아날로그 환경의 피지컬 AI는 현실의 일을 직접 돕는 단계입니다. 그래서 두 가지를 절감했습니다. 첫째, 현실 세계는 디지털보다 훨씬 불완전하고 예측이 안 됩니다. 조명과 날씨, 바닥 상태, 사람의 동선 같은 변수가 실시간으로 바뀌거든요. 둘째, 그래서 정확도만으로는 부족합니다. 한 번 잘하는 것보다 매일 반복해서 안정적으로 잘하는 것, 실패했을 때 다시 복원해내는 능력이 더 중요합니다. 결국 움직이는 AI는 모델 성능의 문제가 아니라 인지·판단·제어·구동·안전이 하나로 연결된 시스템의 문제입니다.

Q. 불과 몇 년 전만 해도 로봇이 두 발로 걷는 것조차 큰 뉴스였는데, 지금은 공중제비를 돌고 춤을 춥니다. 기술의 한계를 넘어선 도약처럼 보입니다.

한계를 넘어선 것부터 말씀드리면, 화려한 모션 자체입니다. 예전에 로봇의 걸음과 균형은 옵티멀 컨트롤, MPC 같은 제어 이론으로 잡았는데, 이건 몇 년씩 전공한 기계공학자만 다룰 수 있는 높은 벽이었습니다. 그런데 강화학습과 모방학습이 들어오면서 그 벽이 무너졌어요. 기계공학을 전공하지 않은 사람도 참여할 수 있게 됐고, 기존 방식으로는 안정성을 잡기 어려웠던 공중제비나 격렬한 2족 보행을 AI가 해냅니다.

다만 아이러니하게도, 사람이 하기 힘든 건 로봇이 잘하고 사람이 하기 쉬운 건 로봇이 못합니다. 비보잉은 사람보다 잘하는데, 서너 살 아기도 하는 ‘집어서 옮기기’ 같은 컨택트 리치(contact-rich) 작업은 아직 한계가 많습니다. 쿵푸나 공중제비는 사람이 모션 슈트로 보여준 동작을 따라하는 모방 학습이고, 물구나무서 중심을 잡는 건 미션만 주고 수없이 넘어지며 익히는 강화 학습입니다. 실물은 넘어지면 부서지니 시뮬레이션에서 배우는데, 그 결과를 현실로 옮기는 심투리얼(sim-to-real) 갭이 여전히 큽니다. 

피지컬 AI 에이전트

Q. 현재 피지컬 AI 에이전트는 어떤 단계입니까.

LLM (Large Language Model) 수준의 완성형은 없습니다. VLM (Vision-Language Model)은 트랜스포머라는 정답론 위에서 고도화하지만, 피지컬 AI는 지금 방식이 정답이냐부터 논쟁 중입니다. 다만 에이전트를 어떻게 정의하느냐가 우선돼야 하는데, 제가 보는 피지컬 AI 에이전트는 단순히 동작을 잘하는 AI가 아니라, 상황과 정보를 이해하고 목표를 안전하게 완수하는 실행형 지능입니다. 목표를 주면 스스로 판단하고 계획을 세워 행동한다는 기준에서의 부분적인 피지컬 AI 에이전트는 이미 현대차 곳곳에서 일하고 있습니다. 양재 본사 순찰 로봇은 정해진 경로를 돌면서 카메라로 이상을 감지해 스스로 운영자에게 알립니다. 관수 로봇은 화단의 3차원 공간을 인식해 식물을 상하지 않게 물 줄 위치와 개수를 그날그날 다르게 판단하고, 배송 로봇은 엘리베이터에서 장애인에게 양보하고 혼잡도에 따라 배송 순서를 동적으로 바꿉니다. 정해진 규칙을 따르는 게 아니라, 상황을 인지해 스스로 계획을 다시 짜고 있습니다.

Q. AI 에이전트가 화면을 벗어나 일상으로 들어올 때 필요한 요건은 무엇인가요.

에이전트는 로봇을 ‘시키는 대로 움직이는 기계’에서 ‘목표를 이해하는 시스템’으로 바꾸는 전환의 계기일 뿐, 그 필요성은 적용처와 목적에 따라 갈립니다. 공장에서 제일 중요한 건 복원력이 아니라 99.999%의 정확도로 24시간 멈추지 않고 최적의 속도로 일하는 것입니다. 공장에서는 융통성 있는 에이전트보다 20초 작업을 15초로 줄여주는 신뢰성 있는 로봇을 요구합니다. 에이전트의 다음 목표는 서비스 영역입니다. 고객은 365일 최적의 속도보다, 한 번 맡기면 신경 쓰지 않아도 임무를 해결해주는 완결성을 원하거든요. 물건을 놓쳐도 다시 잡고, 30분이 걸려도 믿고 맡길 수 있는 완성도, 속도가 아니라 안정성과 복원력입니다. 

Q. 자율성을 사회가 받아들이는 데는 시간이 필요할 텐데요.

가장 유사한 선례가 자율주행입니다. 통계적으로 사고율이 인간보다 낮은데도 신뢰를 얻기까지 10여년이 걸렸습니다. AI 에이전트는 2~3년이 채 안 걸렸어요. 예전에는 엔지니어들이 AI 검색 결과를 별도 검색해 교차 확인했는데, 지금은 많은  엔지니어들이 별도 검증 없이 AI를 먼저 믿을 만큼 신뢰가 쌓였고, 로보틱스랩에서도 개발자가 직접 작성한 코드보다 AI 에이전트를 활용해 개발한 코드가 더 많습니다. 로봇도 같은 절차를 밟을 겁니다. 엔지니어가 복원력과 안정성을 수치로 제시하고, 검증으로 신뢰성을 만들고, 고객의 신뢰가 쌓이는 것이죠. 몸을 가진 로봇은 사람과 닮아 있어 자율주행보다는 빠를 거라고 봅니다.

로보틱스 산업의 미래, 그리고 인간의 역할

Q. 로보틱스랩의 연구가 궁극적으로 추구하는 것이 있습니까.

네. 결국 서비스입니다. 궁극적으로는 라스(RaaS, Robot as a Service)고요. 애플이 앱스토어를 만든 것처럼 서비스를 만들 기술과 컴포넌트를 제공해 누구나 조합하게 하는 거죠. AI 업계가 더 이상 할루시네이션 수치가 아니라 클로드 코드 같은 ‘어떤 기능을 제공하느냐’로 경쟁이 넘어간 것처럼, 로보틱스도 같은 전환이 옵니다. 나콘을 저희 로봇만이 아니라 보스턴 다이내믹스의 스팟까지 붙는 개방형으로 설계한 것도 그 포석입니다.

Q. 휴머노이드의 두뇌가 될 대형모델 경쟁은 사실상 미국과 중국의 싸움처럼 보입니다. 그 틈에서 현대차와  한국 로보틱스가 발견한 승부처는 어디입니까.

한국이 이길 수 있는 자리는 온디바이스 AI에 집중하는 것입니다. 온디바이스의 본질은 최적화인데, 이 부분은 한국이 굉장히 강합니다. 모베드 안에도 딥러닝이 들어가는데, 이를 더 낮은 비용과 전력으로 구동되도록  최적화하고 있습니다. 제한된 배터리로 이동하며 실시간 반응해야 하는 로봇의 특성과, 한국이 잘하는 것이 정확히 맞물리는 지점이죠.

회사 차원의 강점도 여기에 보탬이 됩니다. 하드웨어부터 소프트웨어, 디자인, 부품, 통합, 사업까지 한 조직에 다 갖춘 회사는 국내에 몇 없습니다. 여기에 자동차 도메인이 더해져 품질본부가 로봇에 맞는 테스트 프로토콜을 새로 짜 평가해주고 부품 밸류체인과 OEM 체계 덕에 신뢰성 높은 부품을 합리적 가격에 씁니다. 자사 공장이라는 내부 캡티브 마켓(Captive Market)이 있어 검증을 속도감 있게 할 테스트베드도 넘치고요.

Q. AI가 인간의 이해 범위를 넘어서는 시대입니다. 이런 시대에 인간의 역할은 무엇이고, 로보틱스에 뛰어들려는 젊은 개발자들이 유념해야할 것은 무언입니까.

AI가 사람을 일에서 자유롭게 해주지는 않을 겁니다. 인간의 야망은 커서 그 속도에 맞춰 더 많은 것을 만들어냅니다. AI를 쓰지 않는 사람이 쓰는 사람으로 대체될 뿐이죠. 제가 생각하기에 마지막까지 남을 것은 세 가지입니다. AI가 하는 일의 목적을 설정하고, 책임의 범위를 확정하고, 결과의 옳고 그름을 판단하고 결정하는 것. 자율주행 사고율이 인간보다 낮아도 판단권이 사람에게 있는 것처럼요.

로보틱스에서는 기계·제어·소프트웨어가 따로 놀던 경계가 AI가 들어오며 사라지고 있습니다. 하드웨어를 안 만져본 사람이 그 특성을 이해해 시뮬레이션에서 강화학습을 돌리고, 기구만 만들던 분이 AI를 익히죠. 젠슨 황이 60년 된 폰 노이만 아키텍처(메모리와 연산장치 사이를 오가며 데이터를 처리하는 기존 컴퓨터 구조)를 넘는 새 컴퓨팅을 말하듯, 로보틱스는 물리 하드웨어가 결합된 새로운 컴퓨팅을 만드는 영역입니다. 화려한 데모보다 안정성과 복원력과 신뢰성이 작동하는 시스템을 만드는 일이 더 어렵고 더 가치 있습니다. 젊은 개발자들에게는 이 말을 하고 싶습니다. 디지털 세상이 아니라 현장에서, 매일 검증하는 사람들과 같이 부딪혀야 합니다. 돌아보니 오래 가는 개발자는 현실의 복잡함을 끝까지 견디며 소통하는 사람들이었습니다. 천재가 아닌 대다수 엔지니어에게 필요한 건 꾸준함입니다. 젠슨 황도 지금의 위치에 오르기까지 33년이 걸렸으니까요. 

주시현 상무는 오디오·디지털 신호처리 기반 머신러닝을 전공하고 현대자동차 중앙연구소에 입사해 차량 내 제스처·필기 인식 기술을 연구했다. 제네시스의 필기 인식 조작계가 그 결과물이다. 2018년 로보틱스 팀 출범과 함께 로봇 도메인으로 옮겨 2019년 로보틱스랩 설립에 참여했으며, 현재 로보틱스지능개발실을 이끌며 모베드·엑스블·ACR 등의 AI·소프트웨어 개발을 주도하고 있다.