This is how we lost control of our faces

인공지능에 빼앗긴 내 얼굴 정보

얼굴 인식 데이터에 대한 대규모 연구를 통해 딥러닝이 우리의 프라이버시를 얼마나 침해하는지 드러났다.

1964년, 수학자이자 컴퓨터 과학자인 우드로 블레드소(Woodrow Bledsoe)는 용의자들의 얼굴을 머그샷 사진과 대조하는 작업을 시도했다. 그는 사진에서 얼굴의 다양한 요소들 사이의 거리를 측정하여 컴퓨터 프로그램에 입력했다. 이 기초적인 작업의 성공이 향후 수십년 간 이어질 얼굴 인식 기술 연구의 출발점이 되었다.

최근 발표된 연구 결과는 얼굴 인식 기술이 얼마나 깊게 우리의 사생활을 침범했는지 잘 보여준다. 단지 감시 도구의 지속적 발달에 기름을 부은 것만이 아니다. 최신 딥러닝 기반 얼굴 인식 기술은 사용자 동의에 대한 우리의 기준을 완전히 파괴해 버렸다.

모질라재단의 데보라 라지(Deborah Raji)와 미국 의원들에게 기업의 알고리즘 책임에 대해 자문하는 제네비브 프리드(Genevieve Fried)는 43년 동안 만들어진 130개 이상의 얼굴 인식 데이터셋을 조사했다. 그 결과, 얼굴 인식 연구자들이 딥러닝에 필요한 폭발적 데이터 수요를 맞추기 위해 점차 수집 대상이 되는 사람들의 동의를 구하는 절차를 포기해 왔음이 드러났다. 이로 인해 많은 사람의 개인적 사진이 자신도 모르는 사이에 감시 시스템에 통합되었다.

이로 인해 이미지 데이터셋은 더 난잡해졌다. 의도치 않게 미성년자의 사진을 포함하거나, 인종차별적이고 성차별적 라벨을 붙이거나, 품질과 채도가 제각각인 사진들이 데이터셋에 포함될 수 있다. 얼굴 인식 기술이 잘못 작동해 심각한 결과를 초래하는 일이 종종 발생하는 것도 이런 이유 때문일 수 있다. 지난해 미국 디트로이트에서 두 명의 흑인 남자가 얼굴 인식 오류로 억울하게 체포된 사례가 대표적이다.

라지는 초기에는 사람들이 얼굴 데이터를 수집하고, 기록하고, 확인하는 데 매우 조심스러웠다고 말한다. 그는 “하지만 이제는 아무도 신경 쓰지 않는다. 조심스러운 접근법은 이제 버려졌다”라며 “수백만 명의 얼굴들을 확인하는 것은 물리적으로 불가능하다. 일정 수준을 넘어가면 통제의 가능성이 아예 없어진다”라고 말한다.

얼굴 인식 데이터의 역사

연구진은 얼굴 인식 기술의 발전을 네 개의 주요 단계로 분류했다. 1단계는 1990년대까지이며, 노동집약적이고 연산 속도는 느린 방법을 사용하던 시기였다.

그 후, 얼굴 인식이 지문보다 개인을 더 효과적으로 추적하고 식별할 수 있다는 것을 인식한 미 국방부는 650만 달러를 들여 최초의 대규모 얼굴 데이터셋을 만들었다. 이 프로젝트는 3년 동안 15회 이상의 사진 촬영을 통해 1,199명의 사진을 1만 4,126장 확보했다. 그 결과물인 ‘얼굴 인식 기술(FERET)’ 데이터베이스가 1996년 공개되었다.

그 후 10년 동안 학술 및 상업용 얼굴 인식 연구가 늘어났으며, 더 많은 데이터셋이 생성되었다. 대다수는 FERET처럼 참여자들의 완전한 동의 하에 촬영하여 데이터를 확보했다. 피사체의 나이와 인종, 조명 정보 등 꼼꼼한 메타데이터도 다수 포함되었다. 그러나 이러한 초창기 시스템은 실제 환경에서는 제대로 작동하지 않았고, 이로 인해 연구자들은 더 크고 다양한 데이터셋을 찾게 되었다.

2007년, LFW(Labeled Faces in the Wild) 데이터셋이 공개되면서 웹 검색을 통한 데이터 수집의 문이 열렸다. 연구자들은 동의 여부에 신경쓰지 않고 구글, 플리커, 야후에서 직접 이미지를 다운로드하기 시작했다. 이어 다른 연구자들이 다양성을 높이기 위해 ‘아기(baby)’, ‘청소년(juvenile)’, ‘십대(teen)’와 같은 검색어를 통해 발견된 사진으로 LFW+라는 데이터셋을 만들었다. 이는 미성년자 사진 활용을 위한 동의 절차의 기준을 완화시키는 결과를 불러왔다. 이런 과정을 거쳐 짧은 시간에 훨씬 더 큰 데이터셋을 만들 수 있었지만, 여전히 상당수 얼굴 인식의 난제들이 해결되지 않은 채 남아 있었다. 연구자들은 성능 문제를 극복하기 위해 더욱 다양한 방법론과 큰 데이터를 찾아 나서다.

2014년, 페이스북은 사용자 사진을 활용해 딥페이스(DeepFace)라는 딥러닝 모델을 훈련시켰다. 페이스북이 이 데이터셋을 공개하지는 않았지만, 이 시스템의 초인적 성능 덕분에 딥러닝은 얼굴 인식의 표준 방법론으로 자리잡았다. 데이터셋의 규모가 사진 수천만 장 규모로 커짐에 따라 사진 확인과 라벨링이 거의 불가능해진 시점이 이 때라고 라지는 말한다. 불쾌한 용어를 포함하는 라벨이 자동 생성되는 등의 이상 현상이 나타나기 시작한 것도 이 시기다.

데이터셋의 사용 방식이 바뀌기 시작한 것도 이 무렵이다. 특정 개인을 인식하는 것보다 분류에 더 집중하는 모델들이 등장하기 시작했다. 라지는 “모델의 핵심이 ‘이 사진이 카렌의 사진인가요? 예/아니오’ 대신 ‘카렌의 성격이나 인종을 예측하자’로 바뀌었고, 사람들을 이런 카테고리로 분류하기 시작했다”고 말했다.

AI나우(AI Now)의 글로벌 정책 책임자 암바 캑(Amba Kak) – 그는 이 연구에 참여하지 않았다 – 은 이 논문이 생체 인증 산업의 발전 과정을 적나라하게 보여준다고 말한다. 캑은 딥러닝이 얼굴 인식 기술의 몇몇 문제를 해결했지만, “기술 발전의 대가 또한 지불했다”라며 “동의, 추출, IP 문제, 프라이버시 등 오늘날 우리에게 익숙한 문제들을 불러 일으켰다”고 말했다.  

꼬리에 꼬리를 무는 부작용

라지는 이번 연구를 통해 딥러닝 기반 얼굴 인식에 대한 심각한 우려를 갖게 되었다고 말한다.

그는 “위험이 생각보다 훨씬 더 크다”라고 말한다. 라지는 “딥러닝에는 많은 데이터가 필요하기 때문에 최소 수만 명의 민감한 개인정보를 수집해야 한다. 연구자들로 하여금 프라이버시를 침해할 수 밖에 없게 만들고, 이는 그 자체로 해악의 근간이다”라며 “우리는 사용자의 손을 떠난 정보를 축적해 우리가 예측할 수 없는 방식으로 작동할 무언가를 만든다. 이 것이 현재 우리가 처한 상황의 본질이다”라고 말한다.

라지는 이 논문이 딥러닝으로 인한 성능 개선이라는 장점과 동의, 꼼꼼한 데이터 검증, 철저한 문서화의 포기라는 단점 사이의 균형에 대해 생각하는 계기가 되기를 바란다. 그는 “딥러닝은 이러한 모든 절차를 포기할 만큼의 가치가 있는가?”라고 묻는다.

라지는 얼굴 인식을 계속 개발하기 원하는 사람들에게 다른 기술의 개발을 고려해 달라고 촉구한다. 그는 “이 도구를 사람들에게 피해를 주지 않고 사용하기 위해서는 이 기술에 대한 모든 것을 처음부터 다시 구상할 필요가 있다”라고 말한다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.