An AI saw a cropped photo of AOC. It autocompleted her wearing a bikini

AI, 남성에겐 양복, 여성에겐 비키니를 입히다

인터넷의 성차별적이고 인종차별적인 내용이 이미지 생성 알고리즘에 반복적으로 주입되고 있다.

인종차별적이고 성차별적인 생각이 언어 생성 알고리즘에 주입(Embedding)되는 것으로 알려져 있다. 이 알고리즘은 인터넷 언어로 훈련 받는데, 혐오 발언과 허위정보가 담긴 레딧(Reddit)과 트위터의 어두운 면도 포함되어 있다. 언어 생성 알고리즘은 레딧과 트위터 상의 위험한 아이디어가 무엇이든 학습의 일부로 받아들인다.

최근, 연구원들은 이미지 생성 알고리즘에도 동일한 현상이 나타날 수 있음을 입증했다. 남자 얼굴 사진을 알고리즘에 입력하면, 43%는 양복 입은 모습을 자동완성한다. 같은 알고리즘에 알렉산드리아 오카시오-코르테즈(Alexandria Ocasio-Cortez) 미 하원의원 같이 유명한 여성의 사진을 입력하면 53%는 깊게 파인 상의나 비키니 입은 모습을 자동완성한다. 이것은 단순히 이미지 생성뿐만 아니라 비디오 기반 후보 평가 알고리즘, 안면인식, 감시 등 모든 컴퓨터 비전 애플리케이션에 영향을 미친다.

조지워싱턴대 에일린 칼리스칸(Aylin Caliskan) 교수와 카네기멜론대 박사과정생 라이언 스티드(Ryan Steed)는 오픈AI(OpenAI)의 iGPT(단어 대신 픽셀 단위로 훈련되는 GPT-2 버전)와 구글의 SimCLR이라는 두 가지 알고리즘을 연구했다. 각 알고리즘은 학습 이미지에 다르게 접근하지만 중요한 특성을 공유한다. 두 알고리즘 모두 비지도학습(Unsupervised Learning)을 사용하므로, 이미지에 라벨을 지정할 때 사람이 필요하지 않다.

기존의 컴퓨터 비전 알고리즘은 주로 지도학습(Supervised Learning)을 사용했다. ‘고양이’ 태그가 달린 고양이 사진과 ‘아기’ 태그가 달린 아기 사진 같은 수동 라벨이 부착된 이미지가 제공된다. 그러나 2019년, 연구원 케이트 크로포드(Kate Crawford)와 예술가 트레버 파글렌(Trevor Paglen)은 이미지넷(ImageNet)에서 사람이 지정한 라벨에 때로 여성이나 소수민족의 이미지에 대해 욕설 또는 인종차별적인 언어가 포함된 사실을 알게 되었다. 이미지넷은 컴퓨터 비전 모델 훈련을 위한 가장 기본적인 이미지 데이터세트이다.

최근의 논문은 극단적인 성향이 훨씬 더 두드러지게 된 원인을 보여준다. 사람이 라벨링 하지 않아도, 원치 않는 이미지 패턴을 인코딩한다. 이 문제는 자연어처리(NLP) 업계가 이미 발견한 내용과 유사하다. 데이터 집약적인 알고리즘 용으로 수집한 대규모 데이터세트는 온라인 상의 모든 것을 캡처한다. 인터넷에는 맨살이 훤히 드러난 여성의 사진과 종종 해로운 고정관념이 넘쳐난다.

연구를 위해, 스티드와 칼리스칸은 이전에 칼리스칸이 비지도 NLP 모델의 편향성 조사에 이용한 기술을 교묘하게 조정하여 사용했다. 이러한 모델은 단어 임베딩을 사용하여 언어를 조작하고 생성하는 방법을 터득한다. 단어 임베딩이란 일반적으로 함께 사용되는 단어를 군집화(Clustering)하고 떨어져 있는 단어를 분리하는 언어의 수학적 표현이다. 사이언스(Science)에 발표된 2017년 논문에 따르면, 칼리스칸 교수는 심리학자들이 암시적 연관성 테스트(IAT: Implicit Association Test)에서 사람의 편견을 측정하기 위해 사용하던 단어 짝짓기(Word Pairings) 간의 거리를 측정했다. 그녀는 이 거리가 IAT 결과를 거의 완벽하게 재현한다는 것을 알았다. 남자와 직장 혹은 여자와 가족 같은 정형화된 단어 짝짓기는 거리가 가까운 반면, 남자와 가족 또는 여자와 직장처럼 정반대의 짝짓기는 거리가 멀었다.

iGPT는 또한 임베딩을 기반으로 하여, 훈련 이미지 내에서 임베딩이 얼마나 자주 동시 발생하는지를 바탕으로 픽셀을 클러스터링하거나 분리한다. 그런 다음 이러한 픽셀 임베딩을 사용하여 수학적 공간에서 두 개의 이미지가 얼마나 가깝고 먼지 비교할 수 있다.

스티드와 칼리스칸은 연구에서 이 거리가 IAT 결과를 반영한다는 것을 다시 한번 깨달았다. 남성, 넥타이, 양복 사진은 가까이에서 나타나고, 여성의 사진은 더 멀리 떨어져 있다. 이미지에서 임베딩을 유도하기 위해 다른 방법을 사용했음에도 불구하고, 연구원들은 SimCLR에서 똑같은 결과를 얻었다.

이런 결과는 이미지 생성에 영향을 미친다. 생성적 적대 신경망 같은 이미지 생성 알고리즘은 거의 여성만 타켓으로 삼는 딥페이크 포르노의 폭발적 증가로 이어졌다. 특히, iGPT로 인해 여성의 성적인 사진을 만들 수 있는 또 다른 방법이 생겼다.

그러나 잠재적인 파급 효과는 훨씬 더 크다. NLP 분야에서 비지도 모델은 모든 애플리케이션의 근간이 되었다. 연구원들은 BERT나 GPT-2 같은 기존의 비지도 모델로 시작하여 맞춤형 데이터세트를 사용해서 특정 목적을 위해 ‘조정’한다. 비지도학습과 지도학습의 조합인 준지도 접근법(Semi-supervised Approach)은 사실상 표준이 되었다.

컴퓨터 비전 분야에서도 같은 현상이 나타나기 시작했다. 스티드와 칼리스칸은 알고리즘이 감시 활동이나 채용 등 민감한 애플리케이션에 사용될 경우, 이렇게 내재된 편향이 곧 무엇을 의미하는지에 대해 우려를 표한다. 민감한 애플리케이션에서, 모델은 이미 후보 비디오 녹화를 분석하여 해당 작업에 적합한지를 결정한다. 칼리스칸 교수는 “이것은 중대한 결정을 내리는 매우 위험한 애플리케이션이다”라고 주장한다.

안면인식 기능의 편견을 보여주는 영향력 있는 연구를 공동 저술한 모질라(Mozilla) 연구원 데보라 라지(Deborah Raji)는 이번 연구가 컴퓨터 비전 분야에 경종을 울리는 역할을 해야 한다고 언급한다. 라지는 “오랜 시간 동안, 이미지에 라벨을 부착하는 방법 때문에 많은 비판을 받았다”고 말한다. 현재 이 논문은 다음과 같이 주장한다. “데이터세트의 실질적인 구성으로 인해 이런 편견이 발생한다. 데이터세트를 어떻게 큐레이션하고 정보를 어떻게 수집하는지에 대한 책임이 필요하다.”

스티드와 칼리스칸은 이러한 모델을 개발 중인 회사에 더 많은 투명성을 촉구하고, 학계가 지속적인 연구를 수행할 수 있도록 하고 있다. 또한 동료 연구진이 이 논문을 위해 개발한 방법을 사용하는 등 비전 모델을 배치하기 전에 더 많은 테스트를 수행할 것을 권장한다. 더불어, 훈련 데이터세트에 포함된 내용을 더 책임감 있게 편집 및 문서화하는 방법을 개발하기를 바란다.

칼리스칸 교수는 컴퓨터 비전 적용 시 경각심을 높이고 통제력을 얻는 것이 궁극적인 목표라고 밝힌다. 또한 “컴퓨터 비전을 사용할 때 매우 신중해야 하며, 사회적 공익을 위해 사용하도록 노력해야 한다”고 주장한다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.