The viral AI avatar app Lensa undressed me—without my consent

내 셀카를 성적인 아바타로 만든 AI 아바타 앱

유명한 AI 아바타 앱 렌사(Lensa)가 여성 이용자의 셀카를 성적 이미지를 연상시키는 아바타로 바꾸어 버리는 문제가 발견되었다. 남자 이용자들의 아바타는 우주 비행사, 탐험가, 발명가였지만 여성 이용자의 아바타는 만화 캐릭터 같은 선정적인 모습을 하고 있었다.

이용자들 사이에서 인기를 끌며 입소문을 타고 있는 아바타 앱 렌사(Lensa)를 처음 사용하면서 나는 MIT 테크놀로지 리뷰의 남자 직원들과 비슷한 결과를 기대했다. 렌사는 디지털 이미지를 수정하는 앱으로 2018년 첫 선을 보였다. 최근 렌사는 셀카를 기반으로 디지털 초상화를 생성해 주는 AI 기반의 매직 아바타(Magic Avatars) 기능을 추가하면서 큰 인기를 끌고 있다. 

렌사는 내 남자 동료들에게 현실적이면서도 꽤 과장된 아바타를 생성했다. 멋진 전자음악 앨범의 커버 사진과 함께 우주 비행사, 용맹한 전사 모습을 한 아바타들이 나타났다. 그러나 내가 앱을 실행한 결과는 달랐고 수많은 알몸의 아바타가 나타났다. 내가 생성한 100개의 아바타 중 16명은 상의를 노출했고 다른 14명은 극도로 노출이 심한 옷을 입고 선정적인 포즈를 취하고 있었다.

아시아 인종으로서의 나의 특징이 렌사의 AI 모델이 내 셀카에서 찾아낸 전부인 듯했다. 분명히 만화나 게임 캐릭터에서 가져온  아시아 여성들의 이미지였기 때문이었다. 대다수가 알몸이거나 노출이 심하다는 점을 고려하면 포르노에서 온 것일 가능성도 다분했다. 몇 개의 이미지들에서  나의 아바타는 마치 울고 있는 표정처럼 보였다. 그렇지만 한 백인 여성 동료의 경우는 선정적인 이미지가 훨씬 적었고 일부에서만 알몸이거나 가슴골이 살짝 보이는 정도였다. 다른 중국계 여성 동료는 숱하게 많은 양의 선정적인 아바타들로 도배되며 나와 비슷한 결과를 보였다. 

아시아 여성들에 대한 렌사의 집착은 너무나도 강했다. 심지어 내가 남성으로 설정하여 앱의 아바타를 생성했을 때에도 알몸에 선정적인 포즈를 취하고 있는 여성의 이미지가 나타났다.

Melissa Heikkilä의 렌사 아바타

AI 시스템의 편향과 표현을 연구하는 미국 워싱턴 대학(University of Washington)의 조교수 아일린 칼리스칸(Aylin Caliskan)은 이 앱이 보여주는 과도하게 성적인 이미지 결과물이 놀랍지 않다고 말했다.

렌사는 텍스트 입력을 기반으로 이미지를 생성하는 오픈소스 AI 모델, 스테이블 디퓨전(Stable Diffusion)을 사용해 아바타를 만들어낸다. 스테이블 디퓨전은 인터넷에서 수집한 이미지를 편집한 대규모 오픈소스 데이터 세트 LAION-5B을 사용해 개발되었다.

그리고 인터넷에는 알몸이거나 노출이 심한 여성들의 이미지와 성차별적, 인종차별적 고정관념을 반영한 이미지가 넘쳐난다. LAION-5B 데이터 세트도 이러한 종류의 이미지로 편향되어 있다.

이 데이터 세트를 통해 AI 모델이 특히 역사적으로 차별을 받아왔던 여성들의 정체성을 고려하지 않고 선정적으로 묘사한다고 칼리스칸은 말했다.

아베바 비르한(Abeba Birhane), 비네이 우데이 프라브후(Vinay Uday Prabhu), 엠마누엘 카헴브웨(Emmanuel Kahembwe)는 스테이블 디퓨전을 개발할 때 사용한 것과 유사한 데이터 세트를 분석하는 연구를 진행했다. 그 결과 AI의 학습 데이터가 인종차별적인 고정관념, 포르노, 강간에 대한 노골적인 이미지들로 가득 차 있다는 사실을 발견했다. LAION 데이터 셋이 오픈소스 형식이기 때문에 이 발견이 가능했다는 점도 주목할 만하다. 구글(Google)의 이마젠(Imagen)과 오픈 AI(OpenAI)의 DALL-E와 같은 인기있는 대부분의 이미지 생성 AI 모델들은 오픈소스 형식은 아니지만, 비슷한 종류의 학습 데이터를 사용해 비슷한 방식으로 개발되었다. 결국 이 문제가 업계 전체에 걸쳐 있음을 암시한다. 

스테이블 디퓨전의 첫 번째 버전이 출시된 지난 9월의 MIT 테크놀로지 리뷰 기사에서 언급했듯이, 이 모델의 데이터 세트에서 “아시아인(Asian)”과 같은 키워드로 검색하면 대부분의 결과로 포르노를 내놓는다.

스테이블 디퓨전의 개발사 스태빌리티 AI (Stability.AI)는 지난 11월 말에 새로운 버전을 만들었다고 발표했다. 스태빌리티 AI의 대변인은 이 버전이 렌사에 사용되지 않은 안전성 필터를 갖추고 있으므로 부정적인 이미지 생성 결과가 나타나면 제거된다고 말했다. 새롭게 출시된 스테이블 디퓨전 2.0의 콘텐츠를 걸러내는 한 가지 방법은 자주 반복되는 이미지를 삭제하는 것이다.  특정 이미지, 예를 들어 선정적인 아시아 여성들의 이미지가 반복되는 횟수가 늘어날수록 이 AI 모델에서의 연관성도 강해지기 때문이다. 

칼리스칸은 스테이블 디퓨전의 이미지 생성을 지원하는 시스템 CLIP(Contrastive Language Image Pretraining)을 연구했다. CLIP은 데이터 세트의 이미지를 텍스트 입력의 표현 와 짝을 맞추도록 학습한다. 칼리스칸은 CLIP이 문제가 될 만한 성별 및 인종적 편향으로 가득 차 있음을 발견했다. 

“여성은 선정적인 콘텐츠와 연관된 반면, 남성은 의학, 과학, 비즈니스 등과 같은 중요한 영역의 전문적이고 직업적인 콘텐츠와 연관되어 있었다”라고 칼리스칸은 말했다.

재미있게도 내 사진이 남성용 콘텐츠 필터를 통과하자 렌사의 아바타들은 더 현실적으로 변했다. 내 아바타들이 옷(!)을 입고 중성적인 포즈를 취하고 있었다. 몇 가지 이미지들에는 아바타들이 요리사 또는 의사로 보이는 흰색 가운을 걸치고 있었다.

그러나 AI 훈련 데이터에만 문제의 책임을 물을 수 없다. 이미지 생성 알고리즘의 편향을 연구하는 카네기멜론 대학(Carnegie Mellon University)의 박사과정 학생 라이언 스티드(Ryan Steed)는 이러한 AI 모델과 앱을 개발하는 회사들이 데이터의 사용에 있어 능동적인 선택 과정을 거친다고 말했다.

스티드는 “회사의 누군가는 학습 데이터를 선택하고, 모델을 구축하며, 편향을 완화하거나 또는 그렇지 않은 절차를 밟도록 결정해야 한다”라고 말했다. 

렌사의 개발자들은 남성 아바타가 우주복을 입는 반면, 여성 아바타는 엉덩이가 보이는 옷을 입고 요정의 날개를 달도록 일종의 선택을 한 셈이다.

렌사를 개발한 프리즈마 랩스(Prisma Labs)의 대변인은 이 앱이 이용자 사진들을 “산발적으로 성애화(sporadic sexualization)” 하는 문제는 모든 성별에게 동일하게 발생하지만 그 방식은 다를 수 있다고 말했다. 

회사의 대변인은 스테이블 디퓨전이 프리즈마 랩스나 스태빌리티 AI가 아닌, 인터넷의 여과되지 않은 데이터로 학습되고 있다고 말했다. “이 과정에서 어떤 대표적인 편향들을 의식적으로 받아들이거나, 전통적인 아름다움의 요소들을 의도적으로 통합할 수도 있다”라고 그는 설명했다.

이어서 이 대변인은 “인간이 만들어낸, 그러나 여과되지 않은 온라인 데이터가 AI 모델에 현존하고 있는 인간의 편향성을 주입한 것이다”라고 말했다. 그럼에도 불구하고 그는 프리즈마 랩스가 문제를 해결하기 위해 노력하고 있다고 주장했다.

프리즈마 랩스는 한 블로그 게시물에서 편향을 줄이는 것을 목표로 특정한 단어와 이미지 사이의 관계를 조정했다고 언급한 바 있다. 그러나 대변인은 그 부분에 대해서는 자세히 설명하지는 않았다. 스테이블 디퓨전은 그래픽 콘텐츠를 생성하는 것을 더 어렵게 만들었고 LAION 데이터베이스 제작자들은 부적절한 콘텐츠를 걸러내는 NSFW 필터를 출시했다.

렌사는 스테이블 디퓨전 기술을 사용하여 인기몰이에 성공한 첫 번째 앱이다. 이 앱을 시작으로 유사한 다른 앱들의 개발도 이어질 것으로 보인다. 렌사는 얼핏 보면 재미있고 별문제가 없어 보인다. 그러나 사람들이 소셜 미디어 이미지를 사용해 여성 이용자들의 동의 없이 알몸 이미지를 생성하거나, 어린이들의 알몸 이미지를 만들기 위해 악용되는 상황을 막을 수는 없다. 칼리스칸은 앱에 내재된 고정관념과 편향은 여성과 소녀들이 자신을 보는 방식, 또 다른 이들이 그들을 보는 방식에 엄청나게 유해한 영향을 미칠 수 있다고 강조했다.

마지막으로 칼리스칸은 “1,000년 후에 우리가 이 이미지들을 통해 현대의 사회적, 문화적 기록을 되돌아본다고 생각해 보자. 이러한 성적 이미지들이 과연  여성을 바라보는 올바른 방식인지 의문이 들 것이다”라고 말했다.  

미리보기 2회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.