UNIST, ‘자율주행차의 눈’ 이벤트 카메라 정밀 보정 기술 개발
빠르게 움직이는 로봇이나 어두운 환경에서 강점을 갖는 이벤트 카메라(event camera, 화면 전체를 찍는 대신 밝기가 변한 지점만 ‘이벤트’로 기록하는 비전 센서)는 그동안 일반 카메라용 표준 보정 도구를 그대로 쓰기 어려웠다. 이 한계를 데이터의 특성을 거꾸로 이용해 풀어낸 접근이다.
UNIST(울산과학기술원) 인공지능대학원 주경돈 교수팀은 일반 카메라 보정에 쓰이는 체커보드(checkerboard, 검은색과 흰색 격자가 반복된 체스판 모양의 보정판)를 이용해 이벤트 카메라를 보정하는 컴퓨터비전 보정 기술을 개발했다고 1일 밝혔다.
이벤트 카메라가 기록한 신호를 일반 흑백 영상으로 바꾸지 않고, 이벤트 데이터 자체에서 보정의 기준점이 되는 격자 꼭짓점을 직접 찾아내는 방식이다. 이번 연구는 오는 3일부터 미국 덴버에서 5일간 열리는 컴퓨터 비전 분야 국제 학회 ‘컴퓨터 비전 및 패턴 인식학회(CVPR)’의 하이라이트 논문으로 선정됐다. 하이라이트 논문은 연구의 완성도와 중요성을 함께 평가해 뽑히며, 전체 제출 논문의 약 3.5%만이 선정됐다.
이벤트 카메라가 표준 보정판을 쓰지 못했던 이유
카메라 보정(camera calibration, 카메라가 실제 공간을 화면에 옮기는 방식을 미리 계산하는 과정)은 다양한 비전 기술의 출발점이다. 렌즈 왜곡 때문에 직선이 휘거나 사물 위치가 어긋나 보이는 현상을 바로잡아, 기계가 정확한 정보를 인식하도록 만드는 단계이기 때문이다. 자율주행이나 로봇이 주변을 제대로 파악하려면 이 보정이 선행돼야 한다.
일반 카메라에서는 체커보드가 표준 보정판으로 널리 쓰인다. 격자 선이 만나는 꼭짓점(corner)을 여러 각도에서 촬영한 뒤, 그 꼭짓점이 실제 위치에서 얼마나 어긋났는지를 비교해 렌즈 왜곡을 계산하는 방식이다. 꼭짓점의 화면 속 위치와 실제 위치를 맞춰 보면 카메라의 왜곡 정도와 내부 특성을 정밀하게 구할 수 있다.
하지만 이벤트 카메라에는 이 방식을 그대로 적용하기 어렵다. 이벤트 카메라는 화면 전체가 아니라 밝기가 변한 부분만 기록하는데, 정작 보정의 기준점인 꼭짓점에서는 밝기 변화가 서로 상쇄돼 이벤트가 거의 생기지 않기 때문이다. 또 픽셀마다 밝기가 변한 순간을 따로 기록하는 비동기 데이터(asynchronous data, 변화가 생긴 지점마다 서로 다른 시간에 따로 기록되는 데이터) 특성상, 카메라가 움직이는 동안의 이벤트를 그대로 모으면 같은 격자 선이 여러 시간의 위치로 겹쳐 번져 보인다. 이 때문에 기존 연구는 원형 패턴이나 영상 복원, 특수 발광 장비 등에 의존해 왔지만 정확도와 실용성을 함께 만족하는 데 한계가 있었다.
꼭짓점의 ‘빈자리’를 단서로 삼은 발상의 전환
연구팀이 개발한 기술의 핵심은 꼭짓점을 직접 찾는 대신 선을 먼저 찾는 것이다. 이벤트가 만들어지는 원리를 수학적으로 분석한 결과, 선 형태의 경계(edge, 밝기가 크게 달라지는 부분이 맞닿은 경계)에서는 이벤트가 뚜렷하게 많이 기록되는 반면 꼭짓점에서는 이벤트 발생률이 0에 가까워진다는 점을 확인했다. 연구팀은 이벤트가 많이 생기는 선을 먼저 찾은 뒤, 그 선들이 만나는 주변에서 이벤트 밀도(event density, 특정 위치에 이벤트가 얼마나 모여 있는지를 나타내는 정도)가 가장 낮은 지점을 꼭짓점으로 잡았다. 꼭짓점에서 이벤트가 거의 생기지 않는다는 약점을 오히려 기준점을 찾는 단서로 뒤집은 셈이다.
여기에 번져 보이는 격자 선을 또렷하게 만드는 작업이 더해졌다. 연구팀은 서로 다른 시간에 흩어져 기록된 이벤트를 한 기준 시점에 맞춰 다시 정렬하는 이벤트 정렬(event alignment) 기술을 함께 적용했다. 움직이는 동안 어긋나 기록된 신호를 맞춰 주자 흐릿하던 격자 선이 선명해졌고, 이를 통해 픽셀 단위보다 더 세밀한 서브픽셀 수준의 꼭짓점 위치 추정이 가능해졌다.
이 방식은 기존 방법과 근본적으로 다르다. 류태훈 연구원은 “기존 방식은 이벤트 카메라 데이터를 일반 흑백 영상처럼 바꾼 뒤 체커보드 꼭짓점을 찾는 방식이라, 변환 과정에서 흐림이나 실제 데이터에 없는 흔적이 생길 수 있었다”며 “이번 기술은 영상 변환 없이 이벤트 카메라가 기록한 신호 자체에서 기준점을 찾아낼 수 있어 보정 정확도를 높일 수 있다”고 설명했다. 이번 연구는 UNIST 인공지능대학원 류태훈 연구원이 제1저자로 주도했으며, 강창우 연구원이 공동으로 수행했다.
로봇·자율주행·AR/VR로 확장되는 기반 기술
개발된 기술은 별도의 영상 복원 과정이나 발광 장비 없이 체커보드만으로 이벤트 카메라를 보정할 수 있다. 보정 절차가 단순해지고 기존 카메라 보정 환경과의 호환성도 높아진다. 빠른 움직임과 저조도 환경에 강한 이벤트 카메라를 로봇이나 자율주행 장비, AR/VR 기기에 적용할 때 초기 보정 부담을 줄이는 데 도움이 될 것으로 기대된다.
응용 범위는 보정에 그치지 않는다. 연구팀은 이 기술을 AprilTag(QR코드처럼 생긴 사각형 표식으로, 로봇이나 AR/VR 기기가 자신의 위치와 방향을 파악하는 데 쓰임) 인식에도 적용했다. 실험에서 연구팀은 이벤트 데이터만으로 표식의 형태와 번호를 판별했으며, 일부가 가려지거나 화면 밖으로 벗어난 상황에서도 보이는 표식을 찾아냈다. 이벤트 카메라 기반의 공간 인식 기술로 이어질 수 있는 결과다.
주경돈 교수는 “정확한 카메라 보정은 다양한 비전 기술의 출발점이라는 점에서 의미가 크다”며 “이번 연구가 실제 환경에서 동작하는 로봇, 자율주행, AR/VR 시스템으로 확장되는 기반이 될 것으로 기대한다”고 밝혔다. 해당 논문의 제목은 ‘From Corners to Fiducial Tags: Revisiting Checkerboard Calibration for Event Cameras’다.
