UNIST, 카메라 앵글 바뀌어도 같은 사람 놓치지 않는 영상 속 인물 3D 복원 AI 개발

축구 중계는 1초에도 카메라가 여러 번 바뀐다. 정면을 보던 선수가 다음 컷에선 옆모습으로 잡힌다. 기존 AI는 이 순간 사람을 놓쳤다. 컷이 바뀌어도 같은 사람을 따라가는 기술이 나왔다.

컷이 자주 바뀌는 영상에서도 여러 사람의 3차원 몸과 움직임을 같은 인물로 이어 복원하는 AI가 개발됐다. UNIST(울산과학기술원) 인공지능대학원 백승렬 교수팀은 영상에서 여러 사람의 3D 몸 형상과 움직임을 일관되게 추적해 인식 오류를 줄인 3차원 인체 복원 AI ‘멀티썸즈(Multi-THuMBS)’를 개발했다고 15일 밝혔다.

3차원 인체 복원은 영상 속 사람의 체형과 자세, 위치를 분석해 입체적인 인체 모형과 움직임을 만드는 기술로, AI를 적용하면 여러 카메라의 원본 영상 없이 일반 영상 하나로도 복원이 가능하다. 멀티썸즈는 축구 오프사이드 판정 같은 스포츠 분석이나, 영화·게임 속 가상 캐릭터에 배우의 동작을 입히는 데 활용될 것으로 기대된다. 연구 결과는 컴퓨터 비전 분야 국제 학회 ‘유럽컴퓨터비전학회(ECCV 2026)’에서 발표됐다.

컷이 바뀌는 순간 사람을 놓치던 기존 AI

문제의 핵심은 ‘편집’이다. 우리가 보는 영화·방송·스포츠 중계 영상 대부분은 여러 각도에서 찍은 컷을 이어 붙여 만든다. 그런데 기존 AI 복원 기술은 카메라가 끊김 없이 연속으로 움직인다는 가정에 기대어, 이렇게 줌인·줌아웃한 컷들을 이어 붙인 실제 영상을 복원하기가 쉽지 않았다.

컷이 바뀌는 순간 두 가지 착각이 생겼다. 하나는 신원 혼동이다. 정면으로 보이던 사람이 다음 컷에서 옆모습으로 나타나면 겉모습이 달라져, AI가 다른 사람으로 인식해 버린다. 다른 하나는 위치 착각이다. 카메라가 갑자기 다른 각도로 바뀌면서 생긴 화면 속 위치 변화를, 사람이 실제로 이동한 것으로 잘못 해석해 복원한 인물이 엉뚱한 위치로 옮겨진다.

그동안의 연구는 여기까지 다루지 못했다. 컷 전환을 다룬 기존 연구는 주로 한 사람만 추적해 장면 전후의 움직임을 이어 복원하는 데 머물렀다. 여러 사람이 함께 나오는 영상에서, 컷이 바뀌어도 각 인물을 서로 혼동하지 않고 각자의 동작과 이동 경로를 이어 복원하는 문제는 과제로 남아 있었다.

‘공유 3D 공간’을 만들어 같은 사람 찾기

연구팀의 해법은 컷 전환 지점에 ‘공통의 무대’를 세우는 것이다. 화면 전환 직전과 직후의 두 이미지로 하나의 3차원 공간을 만든다. 3D 장면 복원 AI로 두 화면 속 배경과 카메라 위치를 같은 좌표계에 복원하는 방식으로, 서로 다른 화면에서 추정한 인물의 위치를 비교할 공통 기준을 마련하는 것이다.

이 공간 위에 사람을 단계적으로 맞춰 배치한다. 사람의 위치를 먼저 잡고, 몸의 방향을 조정한 뒤, 카메라의 위치와 촬영 각도까지 함께 보정하는 순서다. 그런 다음 이 공간을 기준으로 장면 전후의 인물들이 얼마나 가까운지, 옷차림과 자세가 얼마나 비슷한지를 함께 비교해 같은 사람을 찾아 연결한다. 위치와 생김새를 동시에 따져 동일 인물을 짝짓는 셈이다.

이 기준은 영상 전체로 번져 나간다. 컷 전환 지점에서 맞춘 공간 기준을 같은 장소를 촬영한 영상 구간 전체에 적용하고, 인물의 움직임을 매끄럽게 다듬는다. 이를 통해 관절 위치가 갑자기 튀거나, 실제로는 바닥을 딛고 있는 발이 복원된 모형에서는 바닥 위로 밀려 움직이는 어색한 오류를 줄였다.

신원 오류 62% 감소…스포츠 분석·디지털 휴먼으로

성능은 여러 영상에서 확인됐다. 여러 사람의 동작을 여러 대의 카메라로 찍은 공개 영상 ‘에고휴먼스(EgoHumans)’에 컷 전환 편집을 적용한 결과, 멀티썸즈는 영상 전체 기준 관절 위치 오차가 비교 기술 중 가장 낮았다. 차순위 기술과 비교해 약 31% 줄었고, 같은 사람을 다른 사람으로 인식하는 신원 전환 오류는 약 62% 감소했으며, 인물의 3차원 위치를 복원하는 데 필요한 카메라 위치 추정 오차도 절반으로 줄었다.

실제 편집 영상에서도 효과가 나타났다. 장면 전환이 담긴 영화 데이터와 시트콤 ‘프렌즈’, ‘빅뱅이론’ 영상에서, 컷 전후의 관절 위치가 맞아떨어지는 비율은 90.7%로 비교 기술(62.7%)보다 높았다. 동작이 떨리는 현상은 약 5분의 1로, 발이 바닥에서 미끄러지는 현상은 절반 이하로 줄었다. 다만 이 기술은 컷이 바뀌어도 같은 장소를 비추는 경우를 대상으로 하며, 전혀 다른 장소로 넘어가는 영상에서 같은 인물을 추적하는 것은 후속 연구 과제다.

백승렬 교수는 “우리가 보는 영상 대부분은 여러 장면을 이어 붙여 만들어지지만, 지금까지의 3D 인체 복원 기술은 장면이 바뀌는 순간 사람을 놓치곤 했다”며 “이번 기술로 영화·방송·스포츠 중계 같은 편집 영상에서도 여러 사람의 움직임을 3D로 이어서 복원할 수 있어, 스포츠 분석과 가상·증강현실(VR·AR) 콘텐츠, 디지털 휴먼 제작 등에 활용될 것으로 기대한다”고 말했다.