A deepfake bot is being used to “undress” underage girls

미성년 소녀들의 몸을 노리는 딥페이크 봇

2019년에 출시되자마자 서비스가 종료된 딥누드와 유사한 앱이 텔레그램에서 걷잡을 수 없이 퍼지고 있다.

업데이트: 본 기사 발표 이후, 텔레그램의 딥페이크 봇은 iOS에서 앱스토어 지침을 위반했다는 이유로 차단되었다고 연구진은 밝혔다. 딥페이크 봇을 운영했던 텔레그램 주요 채널과 딥페이크 봇 결과물을 공유하는 연계 채널도 삭제됐다.

2019년 6월, 바이스(Vice)는 인공지능을 이용해 여성의 옷을 벗기는 충격적인 앱의 존재를 밝혀냈다. 딥누드라는 이 프로그램에 옷을 입은 여성 사진을 50달러에 업로드하면 알몸으로 보이는 사진이 나온다. 실제로 이 소프트웨어는 딥페이크에 적용된 생성적 적대 신경망(GAN: generative adversarial network) 알고리즘을 사용하여 옷을 입은 여성을 알몸으로 아주 그럴듯하게 편집한다. 피해자의 몸이 드러날수록 더 좋다. 남성에게는 적용하지 않았다.

보도가 나간지 하루도 채 안되어 사람들의 반발을 불러일으켰고, 딥누드 앱을 만든 사람은 곧바로 서비스를 종료했다. 딥누드 트위터 계정은 추가 버전 출시 계획도 없고, 아무도 이 앱을 이용할 수 없다고 발표했다.

그러나 미디어 조작 오남용을 집중 탐지하는 사이버 보안업체 센시티AI(Sensity AI: 구 Deeptrace Labs)의 새로운 조사 결과, 딥누드와 매우 비슷한 기술이 메시징 앱 텔레그램에서 사용되고 있는 것으로 밝혀졌다. 이 기술은 훨씬 단순한 UI를 갖추었는데, 누구나 텔레그램 모바일이나 웹 앱을 이용해 딥페이크 봇에 사진을 보낼 수 있고, 몇 분도 안돼서 누드 사진을 받을 수 있다. 이 서비스는 완전 무료이며, 누드 사진 워터마크 제거 또는 처리 대기열 건너뛰기 등 특별 서비스를 받으려면 기본 요금 100루블(약 1.50달러)을 지불해야 한다.

2020년 7월 현재, 딥페이크 봇은 최소 10만 명에 달하는 여성의 옷을 벗기는 데 이용되었으며, 상당수는 본인이 전혀 알지도 못했을 것으로 추정된다. 보고서를 공동 작성한 센시티의 CEO 겸 수석 연구원 조르지오 파트리니(Giorgio Patrini)는 “타겟은 주로 어린 소녀들이다. 안타까운 현실은 이 중에 분명히 미성년자도 있다는 것”이라고 말했다.

괴롭힘을 게임으로

2019년 7월 11일 출시된 딥페이크 봇은 7개의 텔레그램 채널과 연결되어 있으며, 이용자는 총 10만 명이 넘는다.

중앙 채널은 딥페이크 봇 자체의 호스팅을 담당하고, 다른 채널은 기술 지원이나 이미지 공유 등의 기능에 사용된다. 이미지 공유 채널에는 이용자가 본인의 누드 결과물을 게시하고 판단할 수 있는 인터페이스가 포함되어 있다. 이용자가 “좋아요”를 많이 받을수록, 딥페이크 봇 프리미엄 서비스를 이용할 수 있는 토큰을 많이 받는다. “마치 게임을 하듯이 이용자는 인센티브를 받게 된다”고 파트리니는 말한다.

검색과 소셜미디어를 통해 쉽게 찾을 수 있는 이 커뮤니티는 지난 1년간 회원 수가 꾸준히 증가했다. 7,200명의 사용자를 대상으로 한 여론 조사 결과, 약 70%가 러시아 출신이거나 러시아어 사용 국가 출신이었다. 그러나 피해를 입은 사람들은 아르헨티나, 이탈리아, 러시아, 미국 등 여러 나라 출신이다. 이들 중 대다수는 딥페이크 봇 이용자들이 실제로 알고 있다고 말하거나 인스타그램에서 찾은 사람들이다. 연구팀은 소수 여성들의 신원을 파악해 연락을 취하려 했지만, 어느 누구도 답이 없었다고 파트리니가 전했다.

연구팀은 또한 텔레그램과 FBI를 포함한 관련 법 집행 기관에 손을 내밀었다. 텔레그램은 연구팀의 메모에도, MIT 테크놀로지 리뷰의 후속 의견 요청에도 응답하지 않았다. 파트리니는 법 집행 당국과 연락한 이후 “이 커뮤니티에서 어떠한 가시적인 영향도 볼 수 없다”고 했다.

딥페이크 리벤지 포르노(Revenge Porn)

딥페이크 봇을 악용하는 사람들은 한동안 여성을 괴롭히기 위해 포르노 이미지를 이용했다. 2019년 미국심리학회 연구결과, 12명 중 1명은 살면서 한번은 리벤지 포르노 피해자가 되는 것으로 나타났다. 호주, 영국, 뉴질랜드의 사례를 연구한 호주 정부는 3명 중 1명이 피해자라고 했다. 피해자들은 애초에 그런 이미지 존재 자체를 모르기 때문에, 딥페이크 리벤지 포르노는 단순한 괴롭힘이 아닌 새로운 차원의 포르노이다.

연예인을 비롯하여 유명 인사를 대상으로 딥페이크를 이용한 사례도 많다. 이 기술은 유명인의 얼굴을 포르노 비디오로 바꾸는 방법으로 온라인의 은밀한 세계에서 처음 인기를 얻었고, 여성 저널리스트의 입을 틀어막는 괴롭힘의 수단으로 사용되었다. 파트리니는 인플루언서와 유튜버와도 대화를 나눴다고 밝혔다. 그들은 포르노 사진을 스폰서에게 직접 전송해 엄청난 감정적, 재정적 부담을 초래했다.

파트리니는 이렇게 타겟을 겨냥한 공격이 상황을 훨씬 악화시킬 수 있다고 의심하고 있다. 파트리니와 동료 연구팀은 이미 딥페이크 봇 기술이 발전하고 확산되는 것을 보았다. 일례로, 러시아 소셜 미디어 플랫폼 VK에서 노골적인 딥페이크의 생성과 공유에 이용되는 380페이지가 넘는 또 다른 서비스를 발견했다. 연구팀은 “알몸” 알고리즘이 비키니를 입은 모델이 런웨이를 걷는 영상 등에 적용되기 시작하고 있다는 사실도 밝혀냈다. 알몸 알고리즘은 프레임 별로 적용되고 있다. “현재로서는 아주 초보 수준이지만 결국에는 완벽하게 되고 라이선스 서비스도 있게 될 것”이라고 파트리니는 언급한다.

불행히도 이런 종류의 활동을 중단시킬 수 있는 방법이 아직은 거의 없지만, 이 문제에 대한 인식은 점점 확대되고 있다. 페이스북(Facebook), 구글(Google) 같은 기업과 딥페이크 도구를 생산하는 연구팀은 딥페이크 자동 탐지 같은 대책에 더욱 엄청난 투자를 시작했다. 지난해 미 의회도 피해자들이 이미지 실추에 대해 법적으로 호소할 수 있는 메커니즘을 고안하는 새로운 법안을 제출하였다.

한편, 파트리니는 “센시티는 이런 악의적인 딥페이크를 계속 추적, 보고할 예정이며, 딥페이크를 만든 사람들의 동기와 피해자들의 인생에 미치는 영향에 대해 더 많이 이해하려고 할 것이다. 사실 우리가 공유하는 데이터는 빙산의 일각일 뿐”이라고 언급했다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.