우리는 기계가 사진이나 영상 속 대상을 인식하는 것을 당연하게 생각한다. 그런데 이 기능은 이미지넷(ImageNet)과 같은 대규모 데이터 세트에 의존하고 있다. 이미지넷은 알고리즘이 아닌 인간의 손으로 직접 큐레이션한 수백만 장의 사진 데이터 세트로, 지난 10년간 여러 뛰어난 사진 인식 모델들을 훈련시키는 데 이용됐다.

하지만 데이터 세트에 들어있는 사진은 정선된 대상의 세계를 보여줄 뿐이며 실제 우리가 경험하는 대로 일상생활의 모습을 포착하지는 못한다. 그러므로 기계가 우리가 보는 대로 보게 하려면 완전히 새로운 방법이 필요하다. 이 방법을 먼저 찾기 위해 페이스북 AI 랩이 나섰다.

페이스북이 최근 새롭게 시작한 ‘에고4D(Ego4D)’라는 AI 개발 프로젝트는 방관자가 아닌 당사자 시점에서 장면과 활동을 이해할 수 있는 AI를 만드는 것을 목표로 한다. 제3자에 의해 찍힌 예쁜 액자에 들어있는 것 같은 장면이 아니라 역동적으로 움직이면서 고프로(GoPro) 로 찍은 흔들리는 영상을 떠올려 보자. 페이스북은 이미지넷이 사진에 했던 일을 에고4D가 1인칭 영상에 해주기를 바란다.