A horrifying new AI app swaps women into porn videos with a click

클릭 한 번으로 여성을 포르노 배우로 둔갑시키는 끔찍한 사이트

특정 인물의 얼굴 등을 인공지능(AI) 기술을 이용해 특정 영상에 합성하는 딥페이크 기술을 이용해 사람들의 사진을 포르노 영상에 쉽게 합성할 수 있는 웹사이트가 발견되었다. 이렇게 악용되고 있는 딥페이크 기술의 문제점이 무엇인지 살펴보자.

업데이트: 기사 공개 다음 날인 9월 14일에 Y 사이트는 서비스를 중단한다는 공지를 새로 올렸다. 우리는 사이트에 변화가 있는지 계속 확인할 것이다.

이 웹사이트는 단순하면서도 눈길을 사로잡는다. 하얀 배경에 놓인 커다란 파란 버튼 하나를 누르면 방문자들은 얼굴 사진을 올릴 수 있다. 버튼 아래에는 AI가 생성한 네 개의 얼굴이 보이는데, 이 얼굴을 이용해 서비스를 테스트해볼 수 있다. 버튼 위에 적힌 설명은 사이트의 목적을 다소 뻔뻔하게 보여주고 있다.

“포르노 영상에 얼굴을 합성할 수 있는 딥페이크 기술로 누구나 포르노 배우가 될 수 있다. 사진을 준비하고 버튼만 누르면 끝이다!”

우리는 이번 기사에서 이 웹사이트의 이름을 명시하지 않고 ‘Y’라고 부르기로 했다. 또한 해당 웹사이트에 방문자가 늘어나는 걸 막기 위해 사이트 내의 문구를 직접 인용하거나 사이트의 스크린샷을 보여주지도 않을 것이다. 이 웹사이트는 온라인상에서 합성 미디어가 점점 진화하고, 그 수가 증가하는 문제점을 추적하고 있는 딥페이크 연구자 헨리 아이더(Henry Ajder)가 발견한 뒤 우리도 관심을 갖게 된 곳이다.

현재 Y는 비교적 잘 알려지지 않은 채로 조용히 운영되고 있다. 소수의 사용자들만이 온라인 게시판에서 Y 서비스 운영자에게 피드백을 주고 있는 상황이다. 그러나 연구자들은 Y와 유사한 서비스가 인기를 얻게 되어 다른 서비스들이 과거 넘은 적 없었던 윤리적 기준을 위반하는 날이 오는 것은 아닌지 우려하고 있다.

끊임없이 악용되는 딥페이크 기술

애초에 시작부터 딥페이크, 즉 AI로 합성 미디어를 생성하는 기술은 주로 포르노 영상의 여성을 재현하는 데 이용되어왔고, 이로 인해 여성들은 딥페이크 기술로 인해 정신적으로 큰 충격을 느끼는 경우가 많다. 딥페이크 기술을 처음으로 알려지게 했던 미국의 인터넷 커뮤니티 플랫폼 레딧(Reddit)의 어느 창작자도 여성 유명인의 얼굴을 포르노 영상에 합성하여 인기를 끌었다. 연구 기업 ‘센시티AI(Sensity AI)’의 추정에 따르면, 지금까지도 온라인상에 존재하는 딥페이크 영상의 90~95%가 당사자의 동의를 얻지 않은 포르노 영상이며, 그중 90% 정도는 여성이 피해자라고 한다.

딥페이크 기술이 발달하면서 프로그래밍 지식이 없어도 쉽게 사용할 수 있는 ‘노코드(no-code)’ 툴이 대거 등장하고 있다. 이러한 툴을 이용하면 사진에서 여성의 옷을 ‘벗기는’ 것조차 가능하다. 이러한 서비스 대부분은 현재 강제로 중단된 상태지만, 오픈소스 저장소에 코드가 남아있어 새로운 형태의 프로그램으로 계속해서 재생산되고 있다. 가장 최근에 발견된 딥페이크 사이트는 8월에만 방문자가 6,700여만 명에 달했다고 사이트를 발견한 연구원 제너비브 오가 밝혔다. 해당 사이트는 아직 폐쇄되지 않았다.

사진 속 얼굴을 다른 얼굴로 바꿔주는 ‘자오(ZAO)’나 ‘리페이스(ReFace)’ 같은 앱도 있는데, 이들은 유명한 영화의 한 장면이나 뮤직비디오에 얼굴을 합성할 수 있는 서비스이다. 그러나 ‘포르노 영상 얼굴 합성 전용’ 사이트인 Y는 이런 앱들과는 차원이 다르다. 기술로 인한 학대에 관해 사람들을 교육하는 비영리단체 엔드탭(EndTAB)의 창립자 애덤 닷지(Adam Dodge)는 Y가 사람들의 동의 없이 ‘맞춤형’ 포르노 영상 제작을 서비스한다고 말한다. 이런 서비스를 통해 Y는 창작자들이 포르노 영상 합성이라는 특정한 목적에 맞춰 딥페이크 기술을 개선하도록 조장하고 있으며, 딥페이크 포르노에 대해 관심을 갖지 않았을 사람들까지도 유인하고 있다. 닷지는 “그렇게 딥페이크 기술에 익숙해진 이들은 새로운 사용자들을 끌어 들일 다른 방식을 만들어낸다”라고 말했다.

Y는 사용법이 매우 간단하다. 일단 사용자가 얼굴 사진을 업로드하면, 사이트에는 포르노 영상 목록 창이 뜬다. 대부분의 영상은 여성이 주인공이며, 아주 소수에 불과하지만 남성이 주인공인 영상도 있는데, 그런 것들은 대부분은 남성 동성애자의 포르노이다. 목록에서 사용자가 영상을 선택하면 몇 초 안에 얼굴 합성 결과의 미리보기가 제공된다. 전체 합성 영상을 다운로드하고 싶으면 돈을 내면 된다.

결과물은 물론 완벽하다고는 할 수 없다. 대부분은 얼굴 각도가 달라질 때마다 얼굴이 희미하게 흔들거리거나 왜곡되는 등 합성한 티가 난다. 그러나 자세히 보지 않으면 합성인 줄 모르고 지나칠 만큼 미묘한 부분들도 있다. 또한 딥페이크 기술의 발전 과정을 생각해보면, 실제와 구분할 수 없을 만큼 기술이 발전하는 것도 순식간일 것이다. 일부 전문가들은 영상의 품질과 상관없이 피해자들이 겪게 될 정신적인 고통은 동일하므로 딥페이크 영상의 품질이 그다지 중요하지 않다고 주장한다. 게다가 딥페이크 같은 기술이 존재하는지 모르는 사람도 많기 때문에 품질이 뛰어나지 않은 합성 영상이라고 해도 사람들은 쉽게 속을 수 있다.

엉망진창이 되는 피해자의 삶

Y는 사이트에서 제공하는 서비스를 ‘성적 판타지를 탐구해볼 수 있는 안전하고 책임감 있는 툴’로 묘사한다. 사이트 내의 문구를 살펴보면 사용자들에게 본인의 사진을 업로드하라고 안내하고 있다. 그러나 타인의 얼굴 사진을 올린다고 해도 막을 수 있는 방법이 없다. 실제로 온라인 게시판의 글을 살펴보면 이미 사용자들은 타인의 얼굴 사진을 올리고 있는 것으로 보인다.

그런 곳에 사진을 도용당한 여성은 참담한 결과와 마주하게 된다. 정신적인 부분에서 이러한 합성 영상은 동의 없이 촬영되어 유포되는 리벤지 포르노(보복성 음란물)만큼이나 폭력적으로 느껴질 수 있다. 딥페이크 포르노의 피해자인 호주의 활동가 노엘 마틴(Noelle Martin)은 “포르노라는 폭력적인 방식을 통해 피해자의 정체성과 이름, 평판을 왜곡하고 변형시키는 이러한 폭력 행위는 피해자를 완전히 무너뜨릴 수 있다”라고 말한다.

“아직까지도 나는 그 사진들을 완전히 삭제할 수가 없다. 영원히, 그것들은 온라인에 존재할 것이다. 내가 무슨 짓을 하더라도.”

노엘 마틴(Noelle Martin), 호주의 활동가

게다가 딥페이크 합성물은 피해자에게 평생 영향을 미칠 수 있다. 그런 사진이나 영상을 인터넷에서 완전히 삭제하기는 쉽지 않으며, 새로운 합성 사진이나 영상이 언제든 다시 만들어질 수 있다. 마틴은 이렇게 말한다. “그것들은 피해자의 대인관계에까지 악영향을 미칠 수 있다. 일자리를 구하는 것에도 영향을 미친다. 면접에 갈 때마다 그 얘기가 나올 수 있기 때문이다. 미래의 연인 관계에도 물론 마찬가지이다. 아직까지도 나는 내가 합성된 그 사진들을 완전히 삭제할 수가 없다. 영원히, 그것들은 온라인에 존재할 것이다. 내가 무슨 짓을 하더라도.”

딥페이크 영상이 리벤지 포르노보다 더 복잡할 때도 있다. 닷지에 따르면, 딥페이크 영상은 실제가 아닌 합성이기 때문에 피해 여성들은 그것이 정신적 충격을 받아야 하는 문제인지, 고발해야 하는 일인지를 두고 혼란을 느낄 수 있다. 닷지는 “피해자가 자신이 피해자인지 판단하지 못하고 고심하고 있다면 피해에서 회복하는 데에도 문제가 생길 수밖에 없다”라고 말한다.

동의 없는 딥페이크 영상은 피해자의 경제적인 부분과 직업적인 부분에도 큰 영향을 미칠 수 있다. 또 다른 딥페이크 포르노 피해자인 인도의 언론인 라나 아이윱(Rana Ayyub)은 피해의 여파로 온라인에서 극심한 괴롭힘을 당했으며, 그로 인해 자신의 업무에 필요한 인지도를 포기하면서 온라인상의 활동을 축소할 수밖에 없었다. 이전에 본지와의 인터뷰를 통해 자신의 이야기를 들려준 적이 있는 영국의 시인이자 방송인 헬렌 모트(Helen Mort)는 누군가가 자신의 사적인 소셜 미디어 계정에서 사진을 가져가서 페이크 누드를 만든 것을 발견한 이후로 이전처럼 활동하는 것에 부담을 느끼게 되었다고 말했다.

영국 정부가 지원하는 리벤지 포르노 헬프라인(Revenge Porn Helpline)에는 최근 소셜 미디어에 자신의 얼굴이 합성된 딥페이크 포르노 사진이 퍼지고 학교에까지 알려지면서 해고당한 어떤 학교 교사의 사례가 접수되었다고 한다. 닷지는 “상황이 전혀 나아지지 않고 나빠지고만 있다. 딥페이크의 피해자가 되는 여성이 늘어나고 있다”고 말한다.

아이더는 어느 정도 제한이 있기는 하지만 Y 사이트에서 딥페이크 게이 포르노 영상도 만들 수 있는데, 이것은 특히 동성애가 범죄로 여겨지는 국가의 남성들에게 위협이 될 수 있다고 말한다. 전 세계적으로 동성애가 불법인 지역은 71곳에 달하며, 그중 11곳은 동성애를 사형에 처하는 중죄로 규정하고 있다.

어떻게 막을 수 있을까?

지난 몇 년 동안 수많은 딥페이크 포르노 앱을 발견해온 아이더는 Y 사이트의 호스팅 서비스 업체에 연락을 취해 사이트 폐쇄를 요청하려고 했다. 그러나 그는 비슷한 사이트가 다시 만들어지지 않도록 방지하는 부분에 대해서는 비관적인 태도를 보인다. 게다가 이미 Y와 같은 서비스를 제공하는 것으로 보이는 새로운 사이트가 등장하기도 했다. 그는 소셜 미디어 플랫폼에서 그런 딥페이크 콘텐츠를 금지하고 그런 콘텐츠의 제작과 소비를 불법화하는 것이 조금 더 지속 가능한 해결책이 될 것이라고 말한다. 그는 “이런 웹사이트는 다크웹과 마찬가지로 취급되어야 한다. 사이트가 불법화되면 지하에서 운영될 수도 있지만, 그러면 적어도 일반인의 시야에서는 멀어질 수 있다”고 말한다.

우리는 사이트에 명시된 이메일로 여러 번 코멘트 요청을 했지만 사이트 측은 한번도 응답하지 않았다. 사이트의 도메인 등록 정보도 숨겨져 있어서 확인할 수 없다. 8월 17일, 본지가 세 번째로 연락을 시도했을 때, 사이트에는 ‘신규 사용자는 서비스 이용이 불가능하다’는 공지가 올라왔다. 9월 12일 기준으로 해당 공지는 아직 그대로 남아있다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.