UNIST, 로봇마다 다른 ‘눈’ 연결…낯선 환경 거리 추정 정확도 높여

드론과 지상주행로봇, 사족보행로봇처럼 서로 다른 ‘눈’을 가진 로봇들이 각자 경험한 환경을 공유해 낯선 공간에서도 거리를 더 정확하게 추정할 수 있는 AI 학습 기술이 개발됐다.

UNIST는 3일 인공지능대학원 주경돈 교수팀이 단안 카메라 영상으로 물체와 공간까지의 거리를 계산하는 AI를 여러 로봇이 공동으로 학습하는 새로운 연합학습 기술 ‘페뎁스(FeDepth)’를 개발했다고 밝혔다. 핵심은 모든 로봇의 학습 결과를 무조건 하나로 합치지 않고, 카메라 시점과 활동 환경 등 데이터 특성이 비슷한 로봇끼리 여러 그룹으로 묶어 학습하는 데 있다.

실험에서는 일반적인 연합학습보다 거리 추정 상대 오차가 약 17~32% 줄었다. 로봇이 현실 세계에서 협업하려면 한 로봇이 배운 경험을 다른 로봇으로 확장하는 능력이 중요하지만, 기종과 카메라, 활동 공간이 달라지면 같은 AI를 학습시키기 어렵다. 이번 연구는 원본 영상을 중앙 서버로 모으지 않으면서도 이런 차이를 학습 과정에 반영했다는 데 의미가 있다. 자율주행부터 물류·배송, 재난 구조까지 서로 다른 로봇이 현장에서 경험을 나눠 갖는 ‘분산형 로봇 AI’의 기반 기술로 활용될 가능성이 있다.

로봇마다 세상이 다르게 보이는 문제

로봇이 스스로 움직이려면 카메라에 무엇이 찍혔는지만 알아서는 부족하다. 앞에 있는 사람이 1m 떨어져 있는지 10m 떨어져 있는지, 장애물까지 얼마나 남았는지를 판단해야 충돌을 피하고 이동 경로를 결정할 수 있다. 영상의 각 지점이 카메라로부터 얼마나 떨어져 있는지를 계산하는 기술이 ‘깊이 추정(Depth Estimation)’이다.

이번 연구가 다룬 것은 그중에서도 ‘단안 깊이 추정(Monocular Depth Estimation)’이다. 사람은 두 눈으로 들어오는 영상의 차이를 이용해 거리를 가늠할 수 있지만, 단안 깊이 추정 AI는 일반 카메라 한 대가 촬영한 영상만으로 거리를 예측한다. 복잡한 거리 센서를 추가하지 않고도 주변 공간을 파악할 수 있다는 장점이 있지만, 정확도를 높이려면 다양한 환경에서 얻은 데이터를 충분히 학습해야 한다.

문제는 현실의 로봇들이 같은 방식으로 세상을 보지 않는다는 데 있다. 숲 위를 비행하는 드론은 높은 위치에서 지면을 내려다보지만, 지상주행로봇은 사람의 허리보다 낮은 위치에서 도로나 장애물을 바라본다. 사족보행로봇의 카메라 시점도 다르다. 같은 로봇이라도 실내와 실외, 낮과 밤에 촬영한 영상은 밝기와 물체 구성, 카메라에서 물체까지의 거리 분포가 크게 달라진다. 이를 ‘데이터 이질성(Data Heterogeneity)’이라고 한다.

여러 로봇이 이런 차이를 넘어 경험을 공유하는 방법 가운데 하나가 ‘연합학습(Federated Learning)’이다. 기존 AI 개발에서는 여러 장치가 수집한 데이터를 중앙 서버에 모아 하나의 모델을 학습시키는 경우가 많다. 반면 연합학습에서는 영상 자체를 서버로 보내지 않는다. 각각의 로봇이 자신의 데이터로 AI를 학습한 뒤 모델이 어떻게 바뀌었는지에 해당하는 학습 결과를 서버와 공유하고, 서버가 이를 합쳐 다시 각 로봇에 전달한다. 고해상도 원본 영상을 계속 전송하는 부담을 줄이고 영상에 담긴 개인정보가 외부로 나가는 위험도 낮출 수 있다.

하지만 기존 방식에는 함정이 있다. 서로 전혀 다른 데이터를 보고 학습한 로봇들의 결과를 단순히 평균 내면 오히려 모델의 판단력이 떨어질 수 있다는 점이다. 실내만 돌아다닌 서비스 로봇과 숲 위를 비행한 드론의 학습 결과를 같은 비중으로 섞는다면 어느 환경에도 충분히 맞지 않는 모델이 만들어질 수 있다. 연구진이 해결하려 한 문제가 바로 이 지점이다.

한 로봇을 여러 그룹에 넣어 ‘공통 경험’만 골라 학습

페뎁스는 모든 로봇의 경험을 동일하게 취급하는 대신 각 로봇이 가진 데이터가 서로 얼마나 비슷한지를 먼저 따진다. 연구진은 로봇이 보유한 영상에서 특징을 압축한 ‘디스크립터(Descriptor)’를 추출했다. 디스크립터는 수많은 영상 데이터를 일일이 비교하는 대신 그 데이터가 어떤 특징을 갖고 있는지를 비교할 수 있도록 요약한 일종의 특징표다. 이를 이용해 서로 관련성이 높은 로봇을 찾아 학습 그룹을 구성한다.

여기서 페뎁스의 핵심인 ‘소프트 클러스터링(Soft Clustering)’이 등장한다. 기존 군집 연합학습은 한 로봇을 하나의 그룹에만 배정하는 방식이 일반적이다. 페뎁스는 한 로봇을 관련성이 있는 여러 그룹에 동시에 포함시킨다. 예컨대 숲을 촬영한 드론은 ‘숲’이라는 환경 특성 때문에 숲을 걷는 사족보행로봇과 연결될 수 있고, 동시에 ‘드론’이라는 플랫폼 특성 때문에 도심을 비행하는 다른 드론과도 연결될 수 있다. 실제 로봇 데이터가 ‘드론’이나 ‘숲’처럼 하나의 기준으로 깔끔하게 나뉘지 않는다는 점을 학습 구조에 반영한 것이다.

연구진은 지상주행로봇과 드론, 사족보행로봇이 도시와 숲, 실내 등 서로 다른 환경에서 영상을 수집하는 조건을 만들어 페뎁스를 검증했다. 세 종류의 서로 다른 단안 깊이 추정 AI 모델에 적용한 결과, 일반적인 연합학습으로 학습했을 때보다 거리 추정의 상대 오차가 약 17~32% 감소했다. 한 로봇을 여러 그룹에 포함시키는 방식의 효과만 따로 분석했을 때도 상대 오차가 0.264에서 0.249로 약 6% 줄었다. 실내 영상처럼 주로 10m 이내가 담긴 데이터와 최대 80m까지 포함하는 실외 데이터를 함께 학습하는 조건에서도 기존 연합학습보다 성능이 향상됐다.
다만 이 결과를 곧바로 모든 실제 로봇 환경에서 거리 추정 오차가 32% 줄어든다는 의미로 받아들여서는 안 된다. 연구진이 구성한 특정 실험 조건에서 기존 연합학습 방법과 비교해 얻은 결과이며, 이번 연구의 핵심도 새로운 거리 측정 센서를 개발한 것이 아니라 서로 다른 로봇의 데이터를 더 효과적으로 학습시키는 방법을 제시했다는 데 있다. 특히 서로 다른 구조의 세 가지 깊이 추정 모델에서 성능 개선이 나타났다는 점은 페뎁스가 하나의 특정 AI 모델에만 종속된 학습법이 아닐 가능성을 보여준다.

이 차이는 로봇이 연구실을 벗어나 대규모로 배치될수록 중요해질 수 있다. 물류센터의 이동로봇, 도심의 배송로봇, 산림 감시 드론, 재난 현장의 사족보행로봇은 서로 다른 장소에서 끊임없이 새로운 데이터를 만들어낸다. 이 데이터를 모두 한곳으로 보내 다시 AI를 학습시키는 대신, 각 로봇이 현장에서 학습한 결과를 필요한 부분만 공유할 수 있다면 로봇 집단 전체가 경험을 축적하는 구조를 만들 수 있다. 페뎁스는 그 과정에서 ‘서로 다른 경험을 어떻게 합칠 것인가’라는 문제에 초점을 맞춘 기술이다. 연구 결과는 컴퓨터 비전 국제학술대회 ‘ECCV 2026’에 채택됐다.