로봇에게 약 20분 만에 집안일을 가르치는 새로운 시스템이 개발되어 로봇 분야의 가장 큰 과제인 훈련 데이터 부족 문제를 극복할 수 있을 것으로 기대된다.

돕-E(Dobb-E)라는 이 오픈 소스 시스템은 실제 가정에서 수집한 데이터를 사용하여 훈련됐다. 이 시스템을 사용하면 로봇에게 에어프라이어를 열고, 문을 닫고, 쿠션을 펴는 등의 작업을 가르칠 수 있다.

인터넷에서 스크랩한 방대한 규모의 데이터 저장소를 통해 학습하는 대형언어모델(LLM)과 같은 인공지능과 달리 로봇은 작업을 수행하며 데이터를 직접 수집해야 한다. 따라서 학습 데이터베이스를 구축하고 확장하기가 훨씬 더 어렵다.

또한 실험실에서는 로봇에게 비교적 쉽게 작업을 학습시킬 수 있지만, 실제 작업 환경은 가정마다 천차만별이라 실험실 환경과 일치하지 않을 수 있다.

이러한 문제를 해결하기 위해 연구팀은 일반적으로 쓰레기를 주울 때 사용하는 집게 스틱에 아이폰을 부착하여 돕-E에 필요한 훈련 데이터를 수집하는 방법을 개발했다. 이 방법은 간단하고 복제가 용이하다. 그런 다음 연구팀은 아이폰을 이용해 각 가정에서 발생하는 상황을 동영상으로 녹화했다.

뉴욕에 거주하는 22개 가정의 참여자들은 이 스틱을 사용하여 문과 서랍을 열거나 닫고, 조명을 켜거나 끄고, 휴지를 쓰레기통에 넣는 등의 특정 작업을 수행했다. 아이폰에 장착된 라이더 시스템, 모션 센서, 자이로스코프 센서는 로봇이 스스로 동작을 반복하도록 훈련하는 데 필요한 움직임, 깊이, 회전 데이터와 같은 중요 정보를 기록하는 데 사용되었다.