The pandemic is testing the limits of face recognition

팬데믹, 얼굴인식의 한계를 시험하다

코로나19 팬데믹 상황에서 각국 정부의 얼굴인식 시스템 사용이 폭발적으로 증가하고 있다. 그런데 이 시스템이 얼굴을 제대로 인식하지 못하는 경우가 있어 여러 가지 문제가 생기고 있다.

로스앤젤레스에 거주하는 아티스트 JB의 얼굴은 언뜻 보기에 그의 운전면허증 사진과 그다지 닮아 보이지 않는다. 운전면허증 사진이 몇 년 전에 찍은 사진이기 때문이기도 하고, 어두운 색의 긴 머리였던 헤어스타일이 지금은 탈색한 스포츠머리로 바뀌었기 때문이기도 하다. JB는 트랜스젠더이며 2년 이상 테스토스테론을 맞아서 외형에 변화가 생기기도 했다. 얼굴 모양도 달라졌고, 눈썹도 두꺼워졌으며, 이전에는 없었던 여드름도 생겼다. (JB는 개인정보 보호 문제로 이름을 밝히지 않고 이니셜로만 표시해달라고 요청했다.)

소매점에서 파트타이머로 일하던 JB는 지난 3월 코로나19 팬데믹으로 인한 봉쇄조치가 내려졌을 때 해고되었다. 그리고 실업자가 된 다른 수백 만 미국인들과 마찬가지로 실업급여를 신청하려고 했다. 그때까지도 그는 바뀐 외모가 자신의 앞길을 가로막으리라고는 추호도 의심하지 않았다. 인터넷으로 각종 서류를 제출한 지 몇 달이 지나고, 계속 이어진 상담 전화에서 어떤 소득도 얻지 못한 JB는 마침내 캘리포니아 얼굴인식 시스템을 통해 신원 확인을 해보자는 요청을 받았다. 그러나 여러 번 시도했는데도 얼굴인식 시스템으로는 JB가 신분증 사진과 같은 사람임을 확인할 수 없었고, 그로 인해 그는 자격에 부합하는데도 실업급여를 받을 수가 없었다. 결국 JB는 실업급여를 포기했다. 그리고 이 모든 과정으로 인해 그는 깊은 좌절감을 느꼈다.

코로나19 사태 이후 급격히 확대된 사용범위

법집행기관과 민간 기업들은 수년 동안 얼굴인식 시스템을 사용해왔다. 그러나 팬데믹 기간 동안 정부 지원금을 배분하는 과정에서 얼굴인식 시스템 사용이 급격하게 확대되고 있다. 각 주와 연방 기관들은 실업급여 및 기타 공공 수당을 신청하는 사람들의 신원을 확인하기 위한 자동화된 비접촉 방식으로 얼굴인식 시스템에 의존하고 있다.

전문가들과 활동가들은 얼굴인식 시스템이 제대로 작동하지 않으면 지원금이 절실히 필요한 사람들이 제대로 지원금을 받을 수 없다고 우려하면서도 다른 한편에선 기술이 설계된 대로 제대로 작동하면 더 위험한 상황이 올 수도 있다고 생각하고 있다.

일상적인 일에서도 사용되는 얼굴인식 시스템

팬데믹으로 인해 생체 데이터 수집 도구 사용이 급증했다. 건물 입구에는 체온 측정기가, 학교에는 체온 측정 카메라가, 공항에는 얼굴 스캔기가 설치됐다. 실업급여 같은 각종 수당들의 경우, 주 정부들은 수당을 지급하기 전에 지급대상의 신원을 확인하기 위한 수단으로 특히 얼굴인식 시스템에 의존하고 있다. 2020년 12월에 통과됐던 미국의 두 번째 경기부양 지원금은 연방정부에서 제공하는 ‘팬데믹 실업 지원금’을 신청하는 사람들의 신원을 각 주에서 확인하게 했다.

이제 캘리포니아를 포함한 27개 주의 실업 관련 기관들이 얼굴인식 기술을 제공하는 기업 ‘아이디미(ID.me)’의 시스템을 사용하고 있다. 아이디미의 CEO 블레이크 홀(Blake Hall)에 따르면 미 노동부 역시 각 주에 수백 만 달러를 지원해 사기 예방 조치를 시행하도록 했으며, 그 덕분에 각 주마다 얼굴인식 시스템에 더 많은 돈을 쏟아붓고 있다. 최근 몇 달 동안 실업급여 신청에 사용하는 얼굴인식 시스템이 신청자의 얼굴을 제대로 인식하지 못해서 JB 같은 사람들이 심각한 경제적 어려움을 겪고 있다는 내용이 미국 여기저기에서 보도되었다. 얼굴인식 시스템의 인식 실패율은 인종과 성별마다 다르다. 2019년에 발표된 연방 보고서에 따르면, 얼굴인식 시스템은 백인보다는 유색인종을 대상으로 할 때 정확성이 떨어지는 것으로 나타났다. 또 여성보다는 남성의 얼굴을 더 정확히 인식하는 것으로 드러났다. 이러한 결과는 작년에 발표된 연구에서 더 자세히 연구되었다.

다만 홀은 700명의 사용자를 표본으로 했을 때 아이디미 시스템에서 피부색과 인식 실패 사이에 어떤 상관관계도 발견하지 못했다고 주장한다.

팬데믹 이전부터 사용된 얼굴인식 시스템 결함 논란 시달려

얼굴인식 소프트웨어는 팬데믹 몇 년 전부터 흔하게 사용되기 시작했고, 시스템의 잠재적인 결함을 정리한 문서도 많이 존재한다. 예를 들어 기자들은 미국 전역의 경찰서에서 신뢰도가 의심되는 방대한 얼굴 데이터베이스를 수사에 사용하고 있다는 것을 밝혀냈다. 기업들은 얼굴인식 시스템이 유색인종에게 제대로 작동하지 않는다는 증거들이 계속 확인되자 시스템 사용을 중단하거나 제한했다. 그렇다고 해도, 얼굴인식 시스템 사용은 계속 확산되고 있다. 연방 기관들도 얼굴인식 시스템 사용 확대를 계획 중이고, 이미 쇼핑몰에서 콘서트장에 이르기까지 모든 곳에서 얼굴인식 시스템이 사용되고 있다. 메이시스 백화점은 작년에 고객들을 대상으로 얼굴인식 시스템을 사용했다는 혐의로 고소당하기도 했다. 그러나 그런 사용보다도, 팬데믹 상황에서 각종 정부 지원금이나 수당 신청 대상자의 신원을 확인할 목적으로 얼굴인식 시스템을 사용하는 것을 사람들은 특히 우려하고 있다.

디지털 인권 단체 ‘파이트포더퓨처(Fight for the Future)’의 책임자 에반 그리어는 “팬데믹으로 인해 상황이 가속화되면서 얼굴인식 시스템을 어디에서나 마주치게 될 미래가 너무나 걱정스러워서 밤에 잠을 이룰 수 없다. 그러한 시스템은 상점에서도 사용될 것이고, 얼굴을 통해 결제하는 선택지도 생길 것이다. 대중교통에서도 일상적으로 사용될 것이고, 면접에도 사용될 것이다”라고 말했다.

공중보건 분야에서도 활용 늘어

얼굴인식 시스템 사용은 공중 보건과 관련한 부분에서도 늘어나고 있다. 최근 호주는 얼굴인식 시스템을 사용하여 코로나19 안전 예방책을 시행하는 프로그램을 확대했다. 격리 중인 사람들을 대상으로 무작위 확인을 할 때, 격리대상자는 자신이 규칙을 지키고 있다는 것을 보여주기 위해 셀카를 전송해야 한다. 해당 내용을 보도한 로이터에 따르면 위치 정보 역시 수집된다.

그리어는 주거비와 식료품비 지원을 위한 긴급 지원금 같은 필수적인 지원금의 경우, 모든 사람이 확실히 도움을 받을 수 있도록 하는 것이 우선순위가 되어야 한다고 생각한다. 그러면서 표면적으로는 사기 방지도 합당한 목표이기는 하지만, 가장 중요한 목표는 도움이 필요한 사람들이 지원금을 받을 수 있게 해야 한다는 것이다.

그리어는 “시스템은 처음부터 인권과 취약 계층을 고려해 만들어져야 한다. 그런 것들을 나중에 고려해서는 안 된다. 이미 상황이 잘못된 이후에 오류를 고치는 것처럼 생각해서는 안 된다”고 힘주어 말했다.

아이디미의 홀은 자사의 서비스가 기존의 신원 확인 방식보다 더 나은 방식이며, 얼굴인식을 통해 신원을 확인하는 시스템을 시행한 이후로 각 주마다 실업급여와 관련한 사기 행위가 ‘엄청나게’ 감소했다고 말했다. 그는 실업급여 청구 시스템이 자체적으로든 아이디미 담당자와의 화상 통화를 통해서든 약 91%의 통과율을 보인다고 설명했다.

그는 “그것이 우리가 세운 목표였다. 우리가 91%를 자동으로 처리하면, 자원이 부족한 주들이 나머지 9%에게 고객 맞춤형 지원 서비스를 제공하는 데 그 자원을 사용할 수 있다”고 말했다.

홀에 따르면, 사용자가 얼굴인식 과정을 통과할 수 없을 경우에 아이디미는 후속 조치를 위한 이메일을 전송한다.

그는 “우리 회사가 하는 모든 일은 적격한 대상자가 지원을 받을 수 있도록 돕는 것”이라고 덧붙였다.

현실에 기술을 적용했을 때 발생하는 문제

JB가 소득 없이 생활해야 했던 몇 달은 매우 힘든 시간이었다. 경제적 어려움으로 스트레스를 받았으며, 고장 난 컴퓨터 같은 다른 문제들이 걱정을 가중시켰다. 심지어 이전 고용주도 JB가 실업급여 수급을 위한 절차를 통과하는 데 도움을 줄 수 없었다.

JB는 “어떤 상황에서 누구도 나를 도와줄 수 없다고 생각하니 너무나 외로웠다”고 말한다.

정부 측 전문가들도 팬데믹으로 인해 신기술이 광범위하게 사용되는 것은 이해할 수 있지만, JB의 사례 같은 상황을 보면 기술 자체가 완전한 답이 아님을 알 수 있다고 말한다. 뉴욕대학교 데이터 정책과 조교수 앤 워싱턴(Anne L. Washington)은 “정부의 신기술이 연구 단계에서는 대체로 성공적이었으나 현실에 적용했을 때 5% 정도의 실패율을 보일 경우 그 기술이 성공적인 기술이라고 말하고 싶어질 수 있다”고 말한다. 그녀는 이를 ‘의자 앉기 게임’에 비유한다. 게임을 할 때 방 안에 100명이 있다고 하면, 5명은 언제나 앉을 의자 없이 남겨지게 된다는 것이다.

그녀는 “문제는 기술이 95%만 제대로 작동한다고 해도 정부 기관들은 문제가 해결됐다고 생각한다는 것”이라고 말한다. 결국 인간의 개입이 그 어느 때보다 중요해지고 있다. 워싱턴은 “정부 기관에는 게임에서 남겨진 다섯 명을 주기적으로 관리할 시스템이 필요하다”고 말한다.

민간 기업까지 생각하면 추가적인 위험 요소도 존재한다. 새로운 기술 사용을 시작할 때 발생하는 가장 큰 문제는 ‘데이터 보관 장소’에 관한 문제라고 워싱턴은 말한다. 사람들의 정보를 보호할 법적인 의무가 있는 기관이 없다면, 언젠가 민감한 정보가 다른 사람 손에 넘어갈 수도 있다. 예를 들어, 연방 정부가 미국인들의 사회보장번호를 민간 기업에 위탁한다고 상상하면 어떤 기분이 드는가?

“문제는 기술이 95%만 제대로 작동한다고 해도 정부 기관들은 문제가 해결됐다고 생각한다는 것이다”

앤 워싱턴(Anne L. Washington), 뉴욕대학교

얼굴인식 도구를 제대로 확인하지 않고 광범위하게 사용하는 것 역시 다른 사람들보다도 취약 계층에게 큰 영향을 미칠 수 있다. 예를 들어 트랜스젠더들은 구글 포토(Google Photo) 같은 도구를 사용할 때 문제를 겪는 일이 많다. 그런 얼굴인식 도구는 수술 이전과 이후 사진들이 같은 사람이 맞는지 의심하기 때문이다. 이는 소프트웨어와 계속 씨름해야 한다는 뜻이다.

일렉트로닉 프런티어 재단(Electronic Frontier Foundation, EFF)의 과학 기술자 데일리 바넷(Daly Barnett)은 “기술이 현실에 존재하는 다양성과 극단적 사례의 범위를 반영하는 능력에는 정확하지 않은 부분이 많다. 따라서 그런 다양한 사례를 정확하게 분류하고 계산하고 반영할 때 기계에 의존할 수는 없다”고 말한다.

얼굴인식 실패보다 더 나쁜 상황이란?

얼굴인식에 관한 담론들은 일반적으로 얼굴인식 기술의 인식 실패나 차별에 관한 논쟁이 중심이 된다. 그러나 바넷은 생체 측정 도구가 제대로 작동하는지, 기술에서 편향이 드러나는지 같은 부분보다는 그 이상을 생각해보라고 말한다. 그녀는 우리에게 그런 도구가 필요하다는 생각 자체에 반대한다. 그리고 실제로 그리어 같은 활동가들은 얼굴인식 시스템이 완벽하게 작동한다면 훨씬 더 위험해질 수 있다고 경고한다. 얼굴인식은 이미 시위자의 신원을 파악하거나 그들에게 불이익을 주고 그들을 억압하는 데 사용되어 왔고, 사람들은 계속 맞서 싸우고 있다. 홍콩에서 시위자들은 얼굴인식 기술을 사용하는 경찰의 감시를 피하려고 마스크나 고글을 착용했다. 미국에서 연방 검사들은 경찰이 얼굴인식 시스템으로 신원을 파악해 경찰관 폭행 혐의로 기소한 시위자들의 기소를 취하했다.

그리어는 “얼굴인식 기술이 현재 사용되고 있기 때문에 우리가 시스템의 결함이나 편향에 집중하는 것을 이해할 수 있다. 그러나 이미 불평등이 심각한 사회에 이러한 기술을 사용한다면, 기술 자체가 ‘중립’적이거나 기술에 내재된 편향이 없다고 하더라도 그 기술은 사회의 차별을 자동화하고 악화시키는 결과를 낳게 될 것이다”라고 말했다.

파이트포더퓨처와 EFF는 정부 기관의 얼굴인식 시스템 사용 금지를 지지한다. 그리고 바넷은 얼굴인식 기술을 사용한다고 하더라도 정부 기관들이 단일 시스템에만 의존해서는 안 되며, 특히 사람들에게 생존에 필수적인 것을 제공해야 하는 상황에서는 더욱 그렇다고 생각한다.

그녀는 “그런 기술이 현재는 좋은 의도로 사용된다고 하더라도 나중에는 다양한 목적을 위해 무기화될 수 있다는 생각도 확대해석이라고는 할 수 없다”고 말했다.

그러나 취약 계층은 얼굴인식 시스템과 잠깐 접촉하는 것만으로도 이미 문제를 겪고 있다. JB가 처음 실업급여를 신청했을 때부터 벌써 1년여가 지났지만, 그 힘든 과정이 그의 기억 속에는 여전히 세세하게 남아있다. 올봄에 기존 청구가 만료되자 비로소 그는 안심할 수 있었다. JB는 최근 새 직장을 구했고, 상황은 마침내 원래대로 돌아간 것처럼 느껴졌다.

JB는 “드디어 내 삶이 원래대로 돌아온 느낌이다. 이제 시스템과 다시 씨름하지 않아도 된다는 것이 너무 기쁘다. 다시는 시스템과 만날 일이 없었으면 좋겠다”고 말했다.

이 기사는 록펠러 재단(Rockefeller Foundation)이 지원하는 팬데믹 테크놀로지 프로젝트(Pandemic Technology Project)의 일환으로 작성되었다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.