How to stop AI from recognizing your face in selfies

인공지능이 우리 얼굴 인식 못 하게 막아라

안면인식 시스템이 사람들의 개인 사진으로 훈련하지 못하게 방해하는 프라이버시 보호 도구가 잇달아 개발되고 있다.

인터넷에 개인 사진을 올리는 것은 될 대로 되라는 식의 느낌을 준다. 누가 이 사진을 이용할까? 이 사진으로 무엇을 할까? 어떤 머신러닝 알고리즘이 이 사진으로 훈련을 할까?

클리어뷰 AI(Clearview AI)는 이미 미국 사법기관에 안면인식 도구를 제공했다.  온라인 상에서 긁어 모은 수백만 명의 사진으로 훈련된 시스템이었다. 그러나 그것은 시작에 불과했다. 이제 기본적인 코딩 기술을 보유한 사람이라면 누구나 안면인식 소프트웨어를 개발할 수 있게 되었다. 이것은 성희롱과 인종 차별에서부터 정치적 억압과 종교적 박해까지 모든 분야에서 기술을 오남용할 가능성이 그 어느 때보다 높다는 의미이다.

많은 AI 연구원들이 AI가 개인 데이터로 학습할 수 없도록 하는 방법을 개발하고 있다. 가장 최근 개발된 방법 중 두 가지가 유명 인공지능 컨퍼런스 ICLR(International Conference on Learning Representations)에서 소개될 예정이다.

시카고대학의 에밀리 웽어(Emily Wenger)는 “나는 사람들이 나에게서 가져가선 안 될 것을 가져가는 것을 원하지 않는다”라고 말한다. 웽어는 지난 여름 동료 연구진과 함께 이 분야 최초의 도구 중 하나인 포크스(Fawkes)를 개발했다. “많은 사람들이 동시에 비슷한 생각을 했을 것이다.”

데이터 오염(Data Poisoning)은 새로울 것은 없다. 기업이 보유한 개인 정보를 삭제하거나, 가짜 사례로 데이터세트를 오염시킬 것인지 고려하는 등 조치를 취할 경우, 머신러닝 모델을 정확하게 훈련시키는 작업이 어려워 질 수 있다. 그러나 이러한 노력이 영향력을 행사하려면 일반적으로 수백, 수천 명의 집단 행동이 필요하다. 새로운 기술이 이들 기법과 차이가 있다면 한 사람의 사진으로 작업한다는 점이다.

멜버른대학의 사라 에르파니(Sarah Erfani)는 이렇게 주장한다. “이 기술은 개인 데이터 잠금 장치로 사용할 수 있다. AI 시대에 사람들의 디지털 권리를 보호하기 위한 새로운 최전선 방어책인 셈이다.”

잘 보이는 곳에 숨기

포크스를 포함한 도구 대부분은 기본적으로 동일한 접근 방식을 사용한다. 이 도구들은 이미지에 살짝 변경을 가하는데, 사람의 눈으로는 식별이 어렵다. 그러나 이 도구를 사용하면 AI는 사진 속의 사람이나 사물을 잘못 식별하게 된다. 이 기술은 일종의 적대적 공격(Adversarial Attack)과 상당히 비슷하다. 적대적 공격 시 입력 데이터를 조금만 변경하면 딥러닝 모델은 큰 실수를 범하게 된다.

포크스에 셀카 여러 장을 입력하면, 포크스는 이미지에 픽셀 수준의 작은 변화를 가해 최신 안면인식 시스템이 사진 속 사람을 식별하지 못하게 한다. AI 가 변조한(Spoofing) 페이스 페인트(Face Paint) 칠하기 등 기존 방식과는 달리, 포크스를 사용한 이미지는 사람의 눈에 큰 차이가 없어 보인다.

웽어와 동료 연구팀은 본인들이 개발한 도구를 많이 사용되는 몇몇 상업용 안면인식 시스템을 대상으로 테스트해 보았다. 여기에는 아마존 AWS레코그니션(AWS Rekognition), 마이크로소프트 애저(Azure), 중국 기업 메그비 테크놀로지(Megvi Technology)가 개발한 Face++가 포함된다. 50개의 이미지로 구성된 데이터세트를 사용한 소규모 실험에서, 포크스는 이들 시스템 모두에서 100% 효과를 보였다. 사람들의 변경된 이미지로 훈련된 모델은 새로운 이미지에서 그 사람들을 인식하지 못했다. 변경된 훈련 이미지 때문에 이들 얼굴 인식 도구는 사람들의 얼굴을 정확하게 재구성해 표현하지 못하게 되었다.

포크스는 이미 프로젝트 웹사이트에서 약 50만 번 다운로드 되었다. 어떤 사용자는 온라인 버전을 구축하여 사용을 더 간편하게 했다. (웽어는 제3자 개발자가 포크스의 코드를 활용하여 만든 제품의 신뢰성을 보증하지는 않는다. 그는 “사용자가 데이터를 처리하는 동안, 데이터에 무슨 일이 발생하는지 알 수 없다”고 경고한다.) 웽어는 “아직 모바일 앱은 없지만, 누군가 이 앱을 개발하는 것을 막을 수는 없다”고 말한다.

포크스를 이용하면 앞으로 등장할 새로운 안면인식 시스템은 여러분을 알아볼 수 없을 것이다. 하지만 이미 무방비로 노출된 사진으로 훈련 받은 기존 시스템을 어떻게 하지는 못한다. 그러나 기술은 항상 발전하고 있다. 웽어는 ICLR 팀 중 하나인 메릴랜드대학의 발레리아 체레파노바(Valeriia Cherepanova)와 동료 연구진이 개발한 도구가 이 문제를 해결할 수 있을 것이라고 생각한다.

로우키(LowKey)라는 이 도구는 더 강력한 종류의 적대적 공격을 기반으로 이미지에 변경을 가함으로써 포크스에서 확장된다. 또한, 사전 학습 모델도 속인다. 포크스와 마찬가지로 로우키는 온라인에서도 다운로드가 가능하다.

에르파니와 동료 연구원들은 훨씬 더 크게 변경을 가했다. 에르파니는 대니얼 마(Daniel Ma) 디킨대(Deakin University) 교수, 멜버른대와 북경대 연구진과 함께 이미지를 ‘학습 불가능 사례(Unlearnable Example)’로 전환하는 방법을 개발하여 AI가 셀카를 아예 무시하도록 했다. 웽어는 “이 방법이 대단하다”며 “포크스는 모델을 훈련시켜서 사람들에 대해 틀리게 학습시킨다. 이 방법은 모델로 하여금 사람들에 대해 아무것도 학습하지 못하게 훈련시킨다”라고 말한다.

온라인에서 수집한 기자 사진(위)을 학습 불가능 사례(아래)로 전환
(사라 에르파니, 다니엘 마, 동료 연구팀 제공)

포크스와 달리, 학습 불가능 사례는 적대적 공격을 바탕으로 하지 않는다. 마 교수팀은 이미지에 변화를 가해서 AI가 실수를 하게 하는 대신에, AI를 속여서 훈련 중 이를 무시하도록 작은 변화를 가한다. 나중에 그 이미지가 제시되면, AI는 이미지 속에 무엇이 있는지 제대로 파악할 수 없을 것이다.

학습 불가능 사례는 적대적 공격보다 더 효과적일 수 있다. 이에 대응하는 훈련이 불가능하기 때문이다. 적대적인 사례를 더 많이 볼수록, AI는 이를 더 잘 인식하게 된다. 그러나 에르파니와 동료 연구진은 애초에 AI를 이미지로 훈련하지 못하게 하기 때문에, 학습 불가능 사례로는 이런 일이 일어나지 않을 것이라고 주장한다.

그러나 웽어는 현재 진행 중인 싸움에서 한번 패배를 경험했다. 웽어 연구팀은 최근 마이크로소프트 애저의 안면인식 서비스가 더 이상 웽어 팀의 이미지 일부에 속지 않는다는 것을 알았다. 웽어는 “무슨 일이 있었는지는 모르지만, 애저는 갑자기 우리가 생성한 위장 이미지에 잘 대처하게 되었다”라고 밝혔다.

마이크로소프트가 알고리즘을 바꿨을 수도 있고, AI가 포크스 사용자 이미지를 너무 많이 본 나머지 이를 인식하는 법을 터득했을 수도 있다. 어느 쪽이든, 웽어 연구팀은 지난 주 애저와 다시 경쟁에 돌입할 도구에 대해 새 업데이트를 발표했다. 웽어는 “이 상황이 쫓고 쫓기는 고양이와 쥐 싸움 같다”고 평했다.

웽어에게 이는 바로 인터넷에서 일어나고 있는 일을 잘 보여주는 이야기다. 그녀는 다음과 같이 주장한다. “클리어뷰 같은 업체들은 자신들이 자유롭게 이용할 수 있다고 생각하는 데이터를 활용해서 수익을 원고 원하는 것을 얻기 위해 사용하고 있다.”

규제가 장기적으로 도움이 될 수도 있다. 그렇다고 해서 기업이 허점을 이용하는 것을 막을 수는 없을 것이다. 웽어는 다음과 같은 주장을 폈다. “법적으로 허용되는 부분과 사람들이 실제로 원하는 바에는 항상 차이가 있기 마련이다. 포크스 같은 도구가 이 차이를 메워줄 것이다.”

그는”사람들에게 예전에 갖지 못 했던 힘을 주려는 것이다”라고 말헀다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.