저명한 AI 연구자이자 활동가인 조이 부올람위니(Joy Buolamwini)가 그녀 특유의 굵은 뿔테 안경을 쓴 모습으로 줌 화면에 나타났다. 보스턴에 위치한 그녀 자택에서였다.

MIT를 졸업한 부올람위니는 이곳 MIT 테크놀로지 리뷰 런던 지부 사무실 벽에 걸린 액자 속 오래된 표지 사진을 무척 흥미로워하는 것 같았다. 1961년에 발행된 이 잡지 표지에는 다음과 같은 문구가 쓰여 있었다. ‘아드님이 대학에 진학할까요?’

부올람위니가 이 표지를 재미있어하는 게 분명해 보였다. 그녀가 화면을 넘어 사진을 찍었다. 1961년 이후 세상은 많이 변했다. 최근 부올람위니는 《AI를 폭로하다: 기계들의 세계에서 인간다움을 지켜내기 위한 나의 여정(Unmasking AI: My Mission to Protect What Is Human in a World of Machines)》이라는 책을 펴냈다. 이 책에서 그녀는 인생 이야기와 함께 그간 기술이 얼마나 발전했으며, 앞으로 얼마나 더 발전해야 하는지를 여러 가지 방식으로 구체화하고 있다.

부올람위니는 2018년 AI 연구자 팀니트 게브루(Timnit Gebru)와 공동 저술한 ‘젠더 셰이즈(Gender Shades)’라는 선구적인 논문으로 가장 유명하다. 이 논문에서 그녀는 상업용 얼굴인식 시스템이 유색인종(Black and Brown people), 특히 흑인 여성의 얼굴을 인식하지 못하는 경우가 많다는 사실을 밝혀냈다. 이 같은 연구와 주장 덕분에 구글, IBM, 마이크로소프트 등의 회사들은 자사의 소프트웨어들을 편향성을 줄이는 방향으로 개선하였으며, 법 집행기관에 이들의 기술을 판매하지 않기로 결정했다.

이제 부올람위니에게는 새로운 목표가 있다. 그녀는 AI 시스템의 구축 방식에 대한 근본적인 재검토를 촉구하고 있다. 부올람위니는 MIT 테크놀로지 리뷰와의 인터뷰에서 현재 우리가 AI ‘과대광고 주기(hype cycle)’에 있음을 언급하며, IT기업들이 자신들에게 적용되는 규칙을 스스로 정하게 하는 것은 매우 위험하다고 지적했다. 그녀는 편향적이고 탄압적인 AI 기술이 번성할 수 있었던 것이 바로 이 때문이며, 이를 방치하면 같은 실수를 반복하게 될 것이라고 경고한다.

부올람위니는 “이토록 많은 회사에 무임 승차권을 주고 있는 작금의 상황이 우려스럽다. 우리는 혁신에 갈채를 보내면서 그에 따른 폐해는 외면하고 있다”라고 말한다.

부올람위니는 특히 ‘AI 파운데이션 모델(FM)’이라고 불리는 오늘날 가장 뛰어난 AI 응용물들을 제작하는 데 기반이 되는 기술이 우려스럽다고 말한다. 긍정적인 차원에서 기술 전문가들은 다목적 파운데이션 모델들이 챗봇에서 자동 영상 제작 프로그램에 이르는 수많은 AI 애플리케이션의 발판 역할을 할 것으로 본다. 하지만 이 모델들은 인터넷에서 방대한 양의 데이터를 수집해 구축되는데, 여기에는 저작물과 개인정보가 포함될 수밖에 없다. 이러한 맥락에서 현재 많은 AI 회사들이 예술가, 음악회사, 작가들로부터 지적 재산을 동의 없이 도용당했다며 소송을 당하고 있다.

부올람위니는 오늘날 AI 회사들의 운영 방식이 비윤리적이며 ‘타인의 동의를 완전히 무시하는’ 일종의 ‘데이터 식민주의’라고 주장한다.

그녀는 “법이 없으면 데이터는 그저 약탈의 대상일 뿐”이라고 말한다. 작가이기도 한 부올람위니는 AI 모델들이 그녀의 책, 시, 목소리, 사설, 심지어 박사 학위 논문까지도 스크랩할 것이라고 가히 예상한다.

또 그녀는 “언젠가 이러한 AI 시스템이 내 저작물을 도용했다는 사실을 알게 되면 난 분명 이렇게 말할 것이다. 이게 바로 우리가 자초한 일이라고 말이다”라고 덧붙인다.

부올람위니는 진정한 혁신이란 가령 IT기업에서 기후 문제에 긍정적인 영향을 끼치는 모델이나 데이터의 출처가 합법적인 모델을 개발하는 경우라며, 이러한 것들이야말로 진짜 자랑할 만한 기술 혁신이라고 목소리를 높인다.

그녀는 “오늘날 첨단 기술들을 뒷받침하는 억압적인 시스템들과 관련해 역사 속의 수많은 실수로부터 교훈을 얻을 수 있다고 생각한다. 나는 우리가 다른 방향으로 나아가길 바란다”라고 말한다.

필자는 부올람위니에게 ‘젠더 셰이즈’의 성공을 재현할 수 있다면 오늘날 AI 시스템들의 어떤 점을 조사할 것인지 물었다. 부올람위니는 AI를 대상으로 한 감사가 일회성에 그치지 않고, 시스템이 실제 배포되기 전 엄격한 테스트를 거치는 감사 문화가 업계 전반에 정착되기를 바란다고 말한다. 부올람위니는 AI 개발자가 시스템을 개발할 때 다음과 같은 질문을 반드시 스스로 물어야 한다고 생각한다. ‘이 시스템이 어떻게 작동할 것인가? 우리가 이를 사용해야 할까?’

그녀는 “현시점에서 우리는 마치 ‘기니피그’처럼 시스템이 충분히 테스트 되지 않은 상태에 놓여 있다. 이것은 무책임한 일이다. 특히 이러한 시스템이 사람들의 생활 경험과 기회에 영향을 미치는 방식으로 사용된다면 더욱 문제가 된다”라고 말한다.

우연히 활동가의 길로

부올람위니는 근 10년간 AI의 폐해에 대한 인식을 제고하는 데 앞장서 왔다. 하지만 저명한 연구자이자 활동가가 되기까지 그녀의 여정은 평범하지 않았다.

새로 출간된 회고록에서는 ‘결과와 인간’에 거리를 두고 싶어 했던 한 젊은 컴퓨터 공학도인 그녀가 진화해 온 과정과 그 내면을 들여다본다. 기술이 그녀 자신과 같은 사람들을 위해 만들어지지 않았다는 심각한 결함을 깨닫고 각성한 후, 이를 외면할 수 없었던 한 인간으로 성장한 이야기를 이 책에서 볼 수 있다.

또한 책에서 그녀는 얼굴인식 소프트웨어가 핼러윈 마스크 장난감은 인식하는 반면 자신의 얼굴을 인식하지 못하는 것을 발견했던 순간을 풀어낸다. 처음 그녀는 마음 한편으로 불안해하면서도 어쩌면 더 노련한 AI 연구자가 이 문제를 해결해 줄 것이라고 믿었다. 그러나 부올람위니는 알고리즘 편향의 사례를 더 많이 알아갈수록 직접 나서지 않으면 안 된다고 생각하게 된다.

부올람위니는 박사 과정 연구원이던 시절 그녀의 얼굴인식 관련 연구 결과에 힘입어 알고리즘의 편견과 불공정함에 맞서 싸우는 비영리 단체인 AJL(Algorithmic Justice League)을 설립했으며, 편향된 AI 시스템들의 폐해를 경고하기 위해 목소리를 높였다. 그리고 2019년 미 의회에서 얼굴인식 기술과 이 기술이 시민 권리 및 자유에 미치는 영향에 대해 전문가 증언을 했다.

부올람위니의 이야기는 감동적이면서도 한편으로 경고의 의미를 담고 있다. 세계에서 가장 강력한 기업들에 맞서 목소리를 내고, AI의 폐해에 대한 인식을 높여야 한다는 압박감은 그녀 인생에 큰 타격을 주게 된다. 특히 그녀가 수많은 출장과 활동 때문에 무리한 상태에서 의회 증언까지 연이어 서다가 스트레스 과다로 시험 전날 밤 응급실에 입원한 이야기는 무척 마음 아프게 그려진다.

부올람위니는 박사 과정을 밟는 수년 동안 AJL을 설립하고 정부에 AI 관련 자문을 하는 등 강도 높은 일을 한 후 ‘번아웃’에 빠지게 된다. 결국 2021년 그녀는 심각한 번아웃으로 인해 교수들에게 그녀가 자퇴할지도 모르겠다며, 그녀에게 있어 네 번째 학위가 될 MIT 박사 학위의 실질적인 이점에 대해 설명해달라고 요청하는 편지를 쓰기에 이르렀다.

그때 그녀는 한 달간 논문 작업을 멈추고 휴식을 취하며 스케이트보드를 타기 시작했다. 부올람위니는 “프로 스케이트보더가 되어 다음 올림픽에 가나 국가 대표로 출전하기에 아직 늦지 않았을지 모른다”라며 장난스럽게 말했다.

마침내 그녀는 2022년 박사 학위를 마치고 졸업하기로 했다. 책에서 그녀는 백인 동료들과는 달리 유색인종 여성인 그녀가 학위를 중도 포기하면 사회에서 실패로 비추어질 수 있다는 사실을 깨닫고 그런 결심을 했다고 썼다.

고위험 고수익

부올람위니는 테크 업계의 ‘골리앗’인 아마존과 맞붙었던 에피소드도 소개한다. 얼굴인식 시스템 문제를 다룬 그녀의 박사 학위 연구는 2019년 아마존의 한 고위 경영진으로부터 공개적으로 공격을 당한다. 당시 아마존은 100억 달러(약 13조 3,400억 원) 규모의 미 국방부 AI 서비스 제공 계약을 놓고 마이크로소프트와 경쟁하고 있었다. 부올람위니와 또 다른 AI 연구자인 이뇨루와 데보라 라지(Inioluwa Deborah Raji)가 수행한 연구를 통해 아마존의 얼굴인식 기술이 편향되었다는 사실이 밝혀지자, 맷 우드(Matt Wood) 아마존 부사장은 이 논문과 관련 언론 보도에 ‘오해의 소지가 있다’고 주장하며 이들이 ‘잘못된 결론’을 도출했다고 주장했다.

부올람위니는 아마존이 그녀의 연구에 호전적인 태도를 보였던 유일한 IT기업이었다고 말한다. 그녀는 당시 학부생이었던 라지를 위험에 빠뜨릴까 봐 걱정했다. 부올람위니는 “라지가 앞으로 진학할 컴퓨터과학 학과에서 그녀를 위험 분자로 여길 수 있었다. 또 그녀의 이름이 IT 업계 블랙리스트에 오를지도 모르는 일이었다”라고 말한다.

부올람위니는 “아마존이 우리에게 한 짓을 보고도 학계가 움직여 주지 않는다면, 다른 연구자들 역시 이러한 연구가 직업적으로 너무 치명적이라고 인식할까 봐 걱정했다”라고 덧붙인다.

다행히 많은 사람들이 그녀의 편에 서서 싸워주었다. 매사추세츠주 미국시민자유연맹(American Civil Liberties Union of Massachusetts)과 조지타운대학교 개인정보보호 및 기술 분야 법학센터(Georgetown Law Center on Privacy and Technology)는 트위터(현재의 X)를 통해 그녀를 공개적으로 지지했다. 당시 구글의 AI 윤리 업무를 이끌던 마가렛 미첼(Margaret Mitchell)과 게브루도 부올람위니의 활동을 지지하는 공개서한을 추진했다. 그리고 튜링상 수상자 요슈아 벤지오(Yoshua Bengio)를 포함한 75명의 연구자들이 여기에 서명했다.

하지만 그녀는 실망스럽게도 대부분의 대중적 지지가 MIT 외부에서 왔다고 말한다. 저서에서 그녀는 “그때 대다수의 MIT 경영진으로부터 버림받았다”고 느꼈다고 썼다.

부올람위니는 “학생들과 언론의 관심을 끌기 위해 내 성과를 전시했던 MIT 미디어랩이 나를 보호해 줄 것이라고 생각했다. 그러나 내 보호 요청에도 그들로부터 거의 아무 지원도 받지 못해 실망했다”라고 썼다. (취재진은 이 주장에 대한 의견을 듣기 위해 MIT 미디어랩에 연락했으며, 답변이 오면 이 기사를 업데이트할 예정이다)

부당함을 목격하고 목소리를 내고자 하는 기술 업계 젊은이들에게 부올람위니는 어떤 조언을 할까? 부올람위니는 “문제의 심각성을 인지하지 못한 채 섣불리 뛰어들어서는 안 된다”라고 말한다. 그러면서도 그녀는 더 많은 사람들이 부조리함에 문제를 제기할 수 있기를 바란다고 덧붙였다.

다만 그녀는 그와 동시에 지원과 보호를 제공할 수 있는 사람들과 연대하라고 조언한다. 그녀는 “여러분의 목소리는 중요하다”라고 말한다.