로봇은 특정 작업을 능숙하게 수행할 수 있다. 최근에는 물건을 집어 다른 곳으로 옮기는 일이나 심지어 요리까지도 점차 실력이 좋아지고 있다.

하지만 로봇이 과제를 익숙하게 수행해 낼 수 있는 실험실이 아닌, 사전 데이터가 거의 주어지지 않은 낯선 환경에서는 이러한 일을 완수하기가 매우 어렵다.

‘OK-로봇(OK-Robot)’이라는 새로운 시스템은 로봇이 처음 접하는 환경에서도 물건을 집어 옮기도록 훈련시킬 수 있다. 이 방식은 큰 비용을 들여 복잡한 과정을 거쳐 로봇에 추가 훈련을 시키지 않아도 되기 때문에, 빠르게 발전하는 AI 모델과 사용하는 로봇의 기능 사이의 간극을 메우는 데 도움을 줄 수 있다.

이 시스템을 개발하기 위해 뉴욕대학교(New York University)와 메타의 연구원들은 ‘스트레치(Stretch)’라는 물류 로봇을 5개 가정의 10개 방에서 실험했다. 로봇 스타트업 헬로 로봇(Hello Robot)에서 만든 스트레치는 바퀴, 기다란 축, 접이식 팔로 구성되어 있다.

실험에서 연구원은 로봇이 있는 방에서 휴대전화의 라이다(lidar) 시스템을 사용하는 iOS 앱인 ‘레코드3D(Record3D)’로 주변 환경을 스캔했다. 그리고 이 앱으로 촬영한 3D 동영상을 로봇과 공유했다.

이후 OK-로봇 시스템은 오픈소스 AI 물체 감지 모델로 영상 프레임들을 분석했다. 로봇은 이 모델과 다른 오픈소스 모델들을 결합함으로써 방 안에서 장난감 용, 치약, 게임카드와 같은 물체와 의자, 탁자, 쓰레기통 등의 위치를 식별할 수 있었다.