How Facebook got addicted to spreading misinformation

페이스북은 거짓정보 유포에 중독되었나

페이스북은 거짓말과 혐오표현을 향한 채울 수 없는 욕구를 AI 알고리즘에 주었다. 이제는 그것을 설계한 사람조차 고칠 수 없는 상황에 이르렀다.

페이스북 AI 총괄 호아킨 퀴노네로 칸델라(Joaquin Quiñonero Candela)는 청중에게 사과했다.

그 날은 2018년 3월 23일이었다. 2016년 대선 당시 도널드 트럼프 대통령 진영을 도운 컨설팅 업체 캠브리지애널리티카(Cambridge Analytica)가 유권자의 선택에 영향을 주기 위해 수천만 명에 달하는 미국인의 개인 데이터를 페이스북에서 부정한 방법으로 수집했다는 폭로가 나온 지 몇 일 안된 시점이기도 했다. 그 사건은 페이스북 역사상 가장 심각한 개인정보 침해 사건이었다. 퀴노네로는 한 컨퍼런스에서 ‘AI와 윤리, 개인정보보호의 교차점’이라는 제목으로 연설할 예정이었다. 그는 연설을 취소할까 하는 생각도 했지만 PR 담당자와 상의한 끝에 주어진 시간을 모두 채웠다.

연단에 오른 그는 잘못을 인정하는 말로 연설을 시작했다. 그는 “지난 5일은 페이스북에서 보낸 시간 중 가장 힘든 시간이었다. 비난을 한다면 달게 받겠다”라고 말했다.

캠브리지애널리티카 스캔들은 페이스북 역사상 최악의 홍보 위기를 불러왔다. 이 스캔들로 페이스북이 사용자에게 무엇을 보여줄지 결정하는 알고리즘이 가짜뉴스와 혐오 표현을 확대재생산 한다는 우려가 더욱 커졌다. 또, 러시아 해커가 트럼프에게 유리하도록 선거판을 흔들기 위해 알고리즘을 무기화 했다는 공포도 커졌다. 수백만 명이 페이스북 앱을 삭제하고, 직원들은 항의의 표시로 회사를 떠났다. 시가총액이 1,000억 달러 넘게 증발했다.

이후 이어진 몇 개월 동안 페이스북 마크 저커버그 CEO는 페이스북의 책임을 ‘충분히 넓은 시각’에서 바라보지 못한 것과 CEO로서 저지른 실수에 대해 직접 사과했다. 내부적으로는 셰릴 샌드버그 최고운영책임자를 필두로 페이스북이 민주주의를 위협하는 활동에 악용되는 것을 방지하는 것을 목표로 2년에 걸친 감사가 시작되었다.

그리고 마이크 쉬롭퍼(Mike Schroepfer) 최고기술책임자는 퀴노네로를 새로운 팀의 책임자로 임명하고, 페이스북 알고리즘이 우리 사회에 미치는 영향을 조사하라는 다소 모호한 지시를 내렸다. 퀴노네로가 새로 맡은 팀의 이름은 사회와 AI 연구실(SAIL, Society and AI Lab)이었다. SAIL 팀은 지난해 데이터 프라이버시 담당 부서와 통합하여 AI 책임성 팀(Responsible AI)으로 확대되었다.

퀴노네로는 SAIL 팀 책임자로서 적임자였다. 그는 페이스북이 AI 강자가 되기까지 누구보다 큰 역할을 했다. 그는 페이스북에서 보낸 6년 동안 사용자에게 관심사를 정확히 반영한 콘텐츠를 제공하는 초기 알고리즘들을 개발했다. 또 많은 회사 구성원들이 이 알고리즘을 사용할 수 있도록 전파했다. 그런데 현재 그의 임무는 바로 이 알고리즘들이 불러온 폐해를 줄이는 것이 되었다.

그동안 페이스북은 실추된 명예를 되살리기 위해 퀴노네로를 비롯한 많은 이들이 그동안 해온 노력을 꾸준히 강조했다. 고위 임원이 직접 언론과 인터뷰를 가지고 사내에서 진행하는 개혁 조치에 대해 얘기하는 경우도 많다. 2019년 5월에는 뉴욕타임스에 쉬롭퍼와의 연속 인터뷰를 승인했다. 뉴욕타임스는 하루 수십억 개에 이르는 콘텐츠의 바다에서 기술을 통해 거짓 정보와 혐오 표현을 거르고자 고군분투하는 세심하고 선량한 관리자의 인간적 면모를 부각하는 기사로 보답했다. 쉬롭퍼는 이 임무가 너무나 엄중하여 감정을 주체하지 못하고 “눈물을 흘리기도 한다”고 뉴욕타임스는 보도했다.

내 차례는 2020년 봄이었다. 아리 엔틴(Ari Entin) AI 부문 커뮤니케이션 책임자가 이메일로 페이스북의 AI 사업을 깊게 살펴볼 생각이 있는지 문의를 해왔다. 나는 AI 부문 고위급 직원 몇 명과 대화한 후 퀴노네로에게 집중하기로 마음먹었다. 엔틴은 기꺼이 동의했다. 퀴노네로는 AI 책임성 팀의 리더로서 뿐만 아니라 페이스북이 AI 강자로 발돋움 할 수 있게 한 일등공신 이라는 점에서 충분히 대표성이 있는 인물이었다.

내 입장에서도 그는 당연한 선택이었다. 캠브리지애널리티카 스캔들 이후 퀴노네로의 팀이 구성되었음에도, 페이스북을 통해 거짓말과 혐오 표현이 확산되고 있다는 우려는 커지기만 했다. 2018년 말 페이스북은 이것이 미얀마에서 몇 년 동안 학살을 동반한 반무슬림 움직임이 악화되는 데 일조했음을 인정했다. 페이스북은 2020년이 되어서야 뒤늦게 홀로코스트 부인자, 백신접종 거부자, 퀴어논(QAnon) 음모론자에 대한 조치를 취하기 시작했다. 그런데 이 모든 위험한 거짓과 선동이 퀴노네로가 개발에 큰 역할을 한 AI 기능을 통해 퍼져 나갔던 것이다. 페이스북 알고리즘은 허위 또는 선동적인 표현을 거르도록 설계되지 않았다. 오히려 보는 사람의 분노를 일으키거나 자극할 가능성이 높은 것을 보여줌으로써 사용자가 최대한 많은 콘텐츠를 공유하고 참여하도록 설계되었다. 나는 이 문제를 해결하는 것이 AI 책임성 팀의 핵심 업무일 것이라고 생각했다.

나는 퀴노네로와 정기적으로 화상 통화를 했다. 또한 전현직 페이스북 임직원, 동종업계 인사, 외부 전문가와도 접촉했다. 이들은 대부분 비밀유지 계약 때문에, 또는 보복에 대한 우려로 익명으로 인터뷰에 응했다. 내가 알고 싶은 것은 이것이었다. 퀴노네로 팀은 페이스북 플랫폼에 나타나는 혐오와 거짓말을 억제하기 위해 그동안 무슨 일을 했는가?

아내, 세 자녀와 함께 거주하는 베이 지역에 위치한 자신의 집 정원에서 앉아 있는 호아킨 퀴노네로 칸델라.

그렇지만 엔틴과 퀴노네로가 생각한 것은 달랐다. 앞서 언급한 주제를 꺼낼 때마다 질문이 묵살되거나 대화의 방향이 달라졌다. 그들은 AI 책임성 팀이 집중하는 단 하나의 문제에만 집중하기를 원했다. AI의 편향성. 즉, 알고리즘이 특정 사용자 집단을 차별하는 문제에 대해서만 대화하기를 원한 것이다. 특정 일자리 또는 주택 광고를 백인에게만 보여주고 소수인종에게는 보여주지 않는 광고 타겟팅 알고리즘이 대표적인 예다.

지난 1월 미 의사당에 폭도가 난입하는 사건이 있었다. 폭도들은 조직화를 위해 페이스북 등의 소셜 미디어를 사용했고, ‘선거를 도둑 맞았다’는, 페이스북에 널리 퍼진 거짓말을 연료로 세를 키웠다. 그 즈음에는 그간의 대화를 통해 AI 책임성 팀이 거짓 정보와 혐오 표현을 억제하는 데 아무런 진전도 이루지 못했음을 확실히 알 수 있었다. AI 책임성 팀은 이 문제들에 한 번도 집중한 적이 없었다. 더 중요한 것은, 만약 그런 시도를 했더라도 결국 실패할 수밖에 없는 구조적 문제가 있다는 점을 알게 된 것이었다.

이유는 간단하다. 페이스북이 하는 것과 하지 않는 모든 것은 성장을 향한 저커버그의 끝없는 욕망이라는, 단 하나의 동기에서 출발한다. 퀴노네로가 가진 AI 부문의 전문성은 그 같은 성장을 위한 날개였다. 취재 과정에서 알게 된 바에 따르면 그의 팀에 주어진 지상 목표는 AI 편향성 제거였다. 의회에서 통과될 경우 성장을 저해할 우려가 있는 규제를 피하기 위해서는 그 같은 편향을 제거하는 것이 유리했기 때문이다. 또 페이스북 경영진은 페이스북 플랫폼의 거짓 정보를 제거하기 위해 고안된 다양한 프로그램을 반복적으로 약화시키거나 중단시켰다. 거짓 정보를 제거하는 것은 성장을 저해하는 결과로 이어질 것이기 때문이었다. 

다시 말해, AI 책임성 팀이 하는 일은, AI 편향성이라는 특정한 문제의 해결에 무슨 특별한 능력이 있던 간에, 거짓 정보, 극단주의, 정치 양극화라는 더 큰 문제의 해결과는 근본적으로 무관하다. 그리고 그 대가는 우리 모두의 것이다.

“만약 당신이 참여도(engagement)를 극대화하는 분야에서 일한다면 진실에는 관심을 가지지 않을 것이다. 해악, 분열, 음모도 마찬가지다. 이것들은 오히려 당신의 친구이다”라고 캘리포니아주립 버클리대학(University of California, Berkeley)의 헤니 페어리드(Hany Farid) 교수는 말한다. 그는 페이스북 플랫폼의 이미지 및 동영상 기반 거짓 정보를 이해하기 위해 페이스북과 협업을 진행하고 있다.

“그들은 늘 보도자료에 쓸 만한 정도 까지만 일을 한다. 물론 예외는 있지만, 그들의 일이 더 나은 정책으로 이어진다는 생각은 들지 않는다. 그들은 절대 근본적 문제를 제대로 다루지 않는다.”

퀴노네로는 2012년 3월 베이 지역에 거주하는 친구를 방문했다. 당시 그는 마이크로소프트 리서치(Microsoft Research) 영국 사무소 매니저였다. 그의 주요 임무는 머신러닝을 이용하여 MS 검색엔진 빙(Bing)에서 광고 클릭 및 방문자 수를 늘리는 것이었다. 당시 그가 가진 머신러닝 지식은 희귀한 것이었고 그의 팀은 생긴지 1년도 안 되었다. AI의 하위 부문인 머신러닝은 아직 큰 규모의 문제를 해결하는 능력이 입증되지 않은 상태였다. 그런 기술에 투자하는 대기업도 거의 없었다.

퀴노네로의 친구는 당시 실리콘밸리에서 가장 잘나가는  스타트업 중 하나인 자신의 회사(페이스북)를 자랑하고 싶어 했다. 당시 설립 8년차였던 페이스북은 이미 적극적 사용자 (최근 30일 동안 1회 이상 로그인한 사용자) 수가 월 십억 명에 근접하고 있었다. 퀴노네로는 멘로파크(Menlo Park)에 있는 페이스북 본사를 둘러보다가 한 엔지니어가 주요 웹사이트 업데이트를 혼자서 진행하는 장면을 목격했다. MS에서라면 복잡한 행정 절차가 수반되었을 일이었다. 이것은 저커버그의 “빠르게 움직여 혁신하라(Move fast and break things)”는 철학을 몸소 느낀 첫 번째 경험이었다. 퀴노네로는 폭넓은 가능성에 경이감을 느꼈다. 그 후 일주일도 지나지 않아 그는 면접 인터뷰를 마치고 새 계약서에 서명했다.

그가 페이스북에 합류한 시점은 더할 나위 없이 적절했다. 5월 IPO를 앞두고 페이스북 광고 서비스는 고속 성장을 거듭하고 있었다. 목표는 매출을 증대하고 당시 온라인 광고 시장의 절대 강자로 군림하던 구글을 타도하는 것이었다. 머신러닝은 사용자에게 어떤 광고가 가장 효과적인지 예측함으로써 광고 효과를 높일 수 있는 최적의 도구였다. 퀴노네로는 입사하고 얼마 지나지 않아 MS에서 하던 것과 비슷한 일을 하는 팀의 팀장으로 승진했다.

퀴노네로는 격렬한 업무에서 오는 긴장을 풀기 위해 늦은 2019년부터 닭을 기르기 시작했다.
위니 윈터마이어

엔지니어가 데이터를 직접 입력하는 하드코딩 방식의 전통적인 알고리즘과 달리 머신러닝 알고리즘은 입력 데이터를 이용한 ‘훈련’을 통해 입력 데이터 내의 상호관계를 학습한다. 이렇게 훈련된 머신러닝 모델은 앞으로의 결정을 자동으로 수행할 수 있게 된다. 광고 클릭 데이터로 훈련한 알고리즘은 여성이 남성에 비해 요가 레깅스 광고를 더 많이 클릭한다는 것을 알게 된다. 그러면 알고리즘은 그런 광고를 여성에게 더 많이 보여준다. 오늘날 페이스북 같은 AI 기반 기업에서는 엔지니어들이 특정 문제에 어떤 모델이 가장 효율적으로 작동하는지 알아보기 위해 조금씩 다른 수많은 모델을 구축한다.

페이스북이 보유한 방대한 사용자 데이터는 퀴노네로에게 큰 자산이었다. 그의 팀은 ‘여성,’ ‘남성’ 같은 큰 집단만이 아니라, ‘요가 관련 페이지에 ‘좋아요’를 누른 25세 이상 34세 이하 여성’처럼 구체적인 집단을 분류하는 기능이 있는 모델을 개발할 수 있었다. 목표 대상을 구체화할수록 광고를 클릭할 가능성이 높아진다. 이는 광고주 입장에서는 같은 돈으로 더 많은 효과를 거둘 수 있음을 의미한다.

그의 팀은 생긴지 1년도 되지 않아 이런 모델을 개발하고, 새로운 모델의 설계와 도입에 걸리는 시간을 단축하는 도구도 개발했다.

이 소식은 회사에 빠르게 퍼졌다. 개인 사용자의 뉴스피드에 무엇을 띄울지 결정하는 일을 하던 팀이 퀴노네로 팀이 개발한 기술을 적용하기 원했다. 누가 무슨 광고를 클릭할지 예측하도록 알고리즘을 훈련한 것처럼 누가 어떤 게시물을 공유하거나 ‘좋아요’를 누를지 예측하도록 알고리즘을 훈련하고, 알고리즘이 예측한 게시물을 사용자가 잘 볼 수 있게 하면 되는 일이었다. 예를 들어, 모델이 어떤 사용자가 강아지를 매우 좋아한다고 판단하면, 친구가 올린 강아지 게시물이 그 사용자의 뉴스피드 상단에 보이게 하는 식이었다.

퀴노네로의 모델이 뉴스피드 부문에서 거둔 성공은 때마침 회사 밖에서 전해진 놀랍고도 새로운 AI 연구 소식과 함께 저커버그와 쉬롭퍼의 눈길을 사로잡았다. 당시는 페이스북 사용자 수가 막 10억 명을 넘어선 시점이었다. 이는 다른 어떤 소셜미디어와 비교해도 최소 8배 이상 많은 수치였다. 그럼에도 그들은 성장을 지속할 방법을 찾고자 했다. 그리고 AI와 인터넷 연결, 가상 현실에 막대한 투자를 하기로 결심했다.

저커버그와 쉬롭퍼는 두 개의 AI 팀을 만들었다. 하나는 최신 AI 기술을 개발하는 연구 중심의 FAIR 팀이었다. 다른 하나는 개발된 기술을 페이스북 제품과 서비스에 통합하는 응용머신러닝(Applied Machine Learning, AML) 팀이었다. 2013년 12월 몇 개월에 걸친 설득 끝에 AI 분야의 유명 전문가 얀 르쿤(Yann LeCun)을 스카우트하는 데 성공했다. 그는 FAIR 팀을 이끌기로 했다. 그로부터 3개월 후 퀴노네로는 또 한 번 승진하여 AML 팀을 이끌게 되었다(이후 FAIAR 팀으로 명칭 변경, ‘파이어’라고 읽음).

“주변을 보고 그의 생각을 알 수 있었다. 나는 몇 년 동안 늘 마크의 책상에서 몇 걸음만 가면 닿는 거리에 있었다.”

호아킨 퀴노네로 칸델라

새로운 팀을 이끌게 된 퀴노네로는 페이스북 직원 모두에게 개방된 새로운 모델 개발 플랫폼을 구축했다. FB러너플로우(FBLearner Flow)라는 이름의 이 플랫폼을 이용하면 AI 경험이 거의 없는 엔지니어도 몇 일 만에 머신러닝 모델 훈련에서 도입까지 마칠 수 있다. 2016년 중반 페이스북 엔지니어링 팀의 4분의 1 이상이 이 플랫폼을 사용했으며, 그간 훈련에 이를 사용한 AI 모델의 수는 이미지 인식, 광고 타겟팅, 콘텐츠 규제 등 100만 개가 넘었다.

이는 전세계인이 페이스북을 사용하게 하겠다는 저커버그의 목표에 새롭고 강력한 무기가 되었다. 그 때까지 페이스북은 효과적으로 사용자의 관심을 끌기 위해 알림 내용과 빈도를 다양하게 바꾸는 등 디자인 측면의 기법을 사용하고 있었다. 최대 목표는 ‘참여도(engagement)’를 측정하기 위해 사용하는 수많은 지표 중 하나인 L6/7(페이스북에 지난 7일 동안 6일 로그인 한 사람의 비율)을 높이는 것이었다. 여기에서 ‘참여’란 게시물을 올리던, 댓글을 달던, 무엇을 공유하거나 ‘좋아요’ 버튼을 누르던 아니면 그냥 한 번 쳐다보는 것이든, 어떤 식으로든 페이스북을 사용하는 성향을 말한다. 이 즈음에는 엔지니어들이 수행하던 사용자 상호작용 분석을 알고리즘이 도맡았다. 알고리즘은 참여도를 조금씩 꾸준히 높이기 위해 개별 사용자를 위한 맞춤 뉴스피드를 제공하는 더 빠르고 개인화된 피드백 회로를 만들었다.

저커버그의 자리는 멘로파크 본사의 빌딩20 한가운데 있다. FAIR 팀과 AML 팀은 그의 자리 바로 옆에 위치한다. AI 팀 원년 멤버들의 자리는 저커버그의 책상과 거의 맞닿을 정도로 매우 가까웠다. AI 조직(페이스북 AI 팀을 포괄하는 조직)에 근무한 경험이 있는 한 전직 팀장은 저커버그의 관심에 따라 주변 사람들이 달라지곤 했다며 그 곳을 ‘은밀한 성소’에 비유했다. 퀴노네로는 “주변을 보고 그의 생각을 알 수 있었다”며 “나는 몇 년 동안 늘 마크의 책상에서 몇 걸음만 가면 닿는 거리에 있었다”고 말한다.

새 머신러닝 모델이 하루 단위로 쏟아져 나오는 가운데 페이스북은 새 모델의 영향력을 추적 관찰하고 사용자 참여도를 극대화하기 위해 새로운 시스템을 고안했다. 이 시스템은 지금도 동일하게 적용되고 있다. 2016년부터 2018년까지 뉴스피드 엔지니어링 관리자로 근무한 크리슈나 게이드(Krishna Gade)의 설명에 따르면, 각 팀은 먼저 게시물 순위 변경 모델이던, 페이스북 커뮤니티 표준(페이스북에 게시해도 되는 것과 게시하면 안되는 것을 판단하는 규칙)을 위반한 콘텐츠를 찾는 모델이던, FBL러너를 활용하여 새로운 머신러닝 모델을 훈련한다. 그 다음, 소규모 사용자 집단을 대상으로 새 모델을 시범 운용하여 ‘좋아요’, 댓글 및 공유 횟수 같은 참여도 지표가 어떻게 달라지는지 측정한다.

측정 결과 참여도가 지나치게 낮아지면 해당 모델은 폐기된다. 그렇지 않으면 모델이 도입되고 지속적인 모니터링이 시작된다. ‘좋아요’나 댓글 같은 지표가 낮아지면 몇 일에 한 번씩 엔지니어에게 알림이 전달된다. 그러면 엔지니어는 문제의 원인이 무엇인지 특정 모델의 재훈련이 필요한지 분석한다.

시스템이 도입된 지 얼마 지나지 않아 논란이 일었다. 참여도 극대화 모델이 논란과 거짓 정보, 극단주의도 선호하는 것으로 나타난 것이다. 다시 말해, 사람들이 좋아하는 악의적인 내용이라는 것이었다. 이는 때때로 기존의 정치적 긴장을 재점화는 사태로 이어지기도 한다. 지금까지 있었던 최악의 사례는 미얀마이다. 미얀마의 이슬람교도인 로힝야족에 관한 가짜뉴스와 혐오표현이 급속도로 전파되면서 기존의 종교 갈등이 대학살 사태로 번진 것이다. 수 년 동안 책임을 부인하던 페이스북은 마침내 2018년 “분열과 현실의 폭력을 부추기는 데 페이스북 플랫폼이 사용되는 것을 막기 위해” 충분한 일을 하지 않았다고 인정했다.

처음에는 페이스북도 그런 상황을 몰랐던 것 같지만, 2016년에는 이미 내부적으로 조사를 하고 있었다. 월스트리트저널이 2016년도 페이스북 내부 발표 자료를 검토한 결과, 페이스북 연구원 모니카 리(Monica Lee)는 페이스북이 매우 많은 극단주의 그룹에 활동 근거지를 제공하고 관심을 보이는 사용자를 연결해 주었음을 인지하고 있었다. “극단주의 그룹 가입의 64%는 우리의 추천 도구 때문”이라는 발언이 발표에서 나왔다. 이는 주로 ‘회원님을 위한 추천 그룹(Groups You Should Join)’ 및 ‘추천그룹 더보기(Discover)’ 모델에 기인한 것이었다.

“경영진 앞에 놓인 질문은 ‘어떤 사용자가 정신적으로 불안하다는 것을 알게 되어도 그 사람의 참여도를 최적화해야 할까’ 였다.”

2018년에 페이스북에 입사한 전직 AI 연구원

오랜 기간 페이스북 최고제품책임자로 일하고 있는 크리스 콕스(Chris Cox)는 2017년 사용자 참여도 강화가 정치 양극화를 심화하는지 알아보기 위해 태스크포스를 구성했다. 콕스는 둘 사이에 실제로 상관관계가 있고, 정치 양극화 완화가 참여도 하락으로 이어질 수 있음을 확인했다. 월스트리트저널이 2018년 중반에 생산된 문서를 검토한 바에 따르면 이 태스크포스는 추천 알고리즘 수정을 통해 사용자에게 지금보다 다양한 그룹을 추천하는 등의 잠재적 해결책을 제안했다. 그러면서 그 중 몇 가지 방안은 ‘성장을 저해’한다는 점을 인정했다. 제안은 대부분 진척되지 않았고 태스크포스는 해체되었다.

그 후 다른 연구원들이 이 결론을 거듭 입증했다. 2018년 페이스북에 입사한 한 전직 AI 연구원은 자신과 동료들이 ‘연구에 연구’를 거듭한 끝에 참여도 극대화 모델은 정치 양극화를 심화한다는 기본적으로 동일한 결론에 도달했다고 말한다. 그들은 다양한 이슈에 대한 사용자의 동의 수준, 사용자가 즐겨 참여하는 콘텐츠, 사용자의 입장 변화를 추적했다. 그 결과 이슈가 무엇이든, 모델은 사용자에게 더 극단적인 관점의 콘텐츠를 제공하는 방향으로 학습했다. “시간이 지날수록 사용자가 측정가능한 수준으로 극단적인 성향이 강화되었다.”

또, 이 연구원의 팀은 우울한 내용의 게시물을 올리거나 이런 게시물에 참여하는 성향(우울증의 징후일 가능성이 있다)이 있는 사용자가 갈수록 부정적인 게시물을 쉽게 소비하여 정신건강이 악화될 우려가 있다는 것도 발견했다. 이 팀은 이들의 참여도가 극대화되는 것을 막기 위해 콘텐츠 순위결정 모델을 약간 변경함으로써 우울한 내용이 담긴 게시물을 덜 보게 하자고 제안했다. 이 연구원은 “경영진 앞에 놓인 질문은 ‘어떤 사용자가 정신적으로 불안하다는 것을 알게 되어도 그 사람의 참여도를 최적화해야 할까?’였다”고 말한다(페이스북 대변인은 이 같은 제안서를 확인하지 못했다고 답변했다).

그렇지만 페이스북 경영진은 사용자의 우울증 악화를 막기 위해서와 같은 이유 앞에서도 참여도를 낮출 가능성이 있는 제안이면 그것이 무엇이던, 얼버무리는 태도를 보이기 일쑤였다. 프로젝트의 성공이 성과 평가와 연봉을 좌우하는 상황에서 직원들은 반응이 탐탁치 않은 프로젝트는 서둘러 폐기하고 위에서 지시한 프로젝트만 진행하는 태도를 빠르게 익혔다.

페이스북 경영진이 강력히 추진한 프로젝트 중 하나는 사용자가 다른 사람들의 행위를 모방할 위험성을 예측하는 것이었다. 즉, 페이스북 라이브로 다른 사람이 자살하는 모습을 본 사용자가 자살을 시도할 위험성을 말하는 것이었다. 이것은 라이브 방송으로 자살 장면을 본 사용자가 해당 동영상에 남긴 댓글을 모델로 분석하고, 숙련된 페이스북 커뮤니티 관리자가 고위험 사용자를 발견하면 지역 긴급대응서비스에 연락하여 정신건강 검진을 하는 방식으로 이루어졌다. 이것은 콘텐츠 순위 결정 모델을 수정할 필요도 없고 참여도에 미치는 영향도 무시할 만한 수준이었다. 부정적인 언론 보도도 효과적으로 피할 수 있었다. 그렇지만 이 연구원은 그것이 불가능에 가까운 일이라며 “곡예에 가까운 PR 방식이었다. 동영상의 첫 10초를 근거로 앞으로 30초안에 누군가 자살할지 판단한다는 것이 제대로 될 리가 없었다”고 말한다.

그렇지만 페이스북은 당시 이 프로젝트를 진행한 팀이 그 이후 고위험 사용자를 성공적으로 예측하고 정신건강 검진 횟수도 증가했다며 이 같은 평가에 반박한다.

한편 인터뷰에 응한 해당 연구원은 그 후 자신의 딸에게 페이스북을 사용하지 못하게 했다.

퀴노네로는 2018년 4월 SAIL 팀(후일 AI 책임성 팀으로 통합)이 구성될 당시 이 같은 문제를 해결하기에 완벽한 조건을 갖추고 있었다. AML 팀을 이끌면서 회사의 알고리즘, 특히 게시물과 광고, 기타 콘텐츠의 추천 알고리즘을 잘 알게 되었기 때문이다.

회사도 이 문제에 진지하게 임할 준비가 된 것 같았다. 지금까지는 이 팀 저 팀에서 이 문제를 다루었지만 퀴노네로는 단일화된 전담 팀의 팀장이었다. 또, AI와 사회의 조화에 필요한 것이라면 무엇이든 다룰 수 있는 재량권도 있었다.

당시 퀴노네로는 기술 전문가로서 책임성을 강화하기 위해 스스로 재교육을 하고 있었다. AI 연구 분야에서는 AI의 편향성과 책임성에 대한 관심이 높아지고 있었다. 이는 알고리즘이 흑인 전과자가 동일하거나 더 심각한 범죄로 다시 체포될 확률을 같은 상황에서 백인 전과자가 다시 체포될 확률보다 높게 판단한다는 것을 보여주는 연구 결과가 큰 반향을 일으키면서 일어난 변화였다. 퀴노네로는 알고리즘의 공정성에 관한 논문과 윤리적 엔지니어링, 기술의 역사에 관한 책을 읽고 인권 전문가, 윤리학자 등과 교류하기 시작했다.

위니 윈터마이어

퀴노네로와 여러 시간 대화한 결과 그가 이 일에 진지하게 임했다는 것은 확실히 알 수 있었다. 그는 중동의 억압적 정권들이 잇달아 전복된 아랍의 봄이 한창일 때 페이스북에 들어왔다. 전문가들은 혁명의 동력을 제공하고 시민 조직화의 도구로서 정보 확산에 기여한 소셜미디어의 역할에 찬사를 보냈다. 스페인에서 태어나 모로코에서 유년시절을 보내면서 표현의 자유가 억압되는 것을 직접 체험한 퀴노네로는 선(good)을 위한 동력으로서 페이스북이 가진 잠재력에 격렬한 끌림을 느꼈다.

그로부터 6년이 지난 어느 날 일어난 캠브리지애널리티카 사태는 이 같은 약속이 배신의 위기에 처했다는 경고였다. 퀴노네로는 회사에 대한 자신의 믿음을 정면으로 마주하며, 회사에 남는 것이 자신의 양심에 어떤 의미가 될지 고민해야 했다. 그는 “나를 포함한 대부분의 페이스북 직원들이 페이스북과 자기 자신을 떼어서 생각할 수 없었다. 극단적으로 내면화되어 버린 것”이라고 말한다. 그는 회사에 남아 SAIL 팀을 이끄는 것을 택했다. 떠나는 것보다 남아서 방향을 바꾸는 것이 세상에 더 좋은 일이라고 믿었기 때문이다.

퀴노네로의 오랜 친구이자 구글 브레인 팀을 이끄는 주빈 가라마니(Zoubin Ghahramani)는 “특히 지난 몇 년 동안 페이스북 같은 회사에서 일하다 보면 내가 만든 제품이 사람들의 생활이나 생각, 의사소통 또는 상호작용 방식에 영향을 미친다는 것을 깨닫게 된다”며 “호아킨이 이 모든 것에 아주 많이 신경 쓴다는 것을 나는 안다. 더 나은 성과와 개선을 위해 노력하는 사람으로서 그는 책임 있는 AI의 철학과 정책 수립에 있어 자신이 할 수 있는 중요한 역할이 있다고 생각했다”라고 말했다.

SAIL 팀은 다섯 명으로 출발했다. 이들은 모두 다른 부서에서 왔지만 알고리즘의 사회적 영향에 대한 관심이라는 공통점이 있었다. 그 중 데이터과학팀 출신의 연구과학자 이자벨 클라우만(Isabel Kloumann)은 AI 모델 편향성 측정 도구 초기 버전을 가지고 있었다.

SAIL 팀은 프로젝트별로 다양한 아이디어를 브레인스토밍 방식으로 논의했다. SAIL 팀 초기 회의에 몇 번 참여한 적이 있는 전직 AI 조직 리더는 정치 양극화 문제 해결을 위해 제시된 안이 있었다며 기억을 떠올린다. 그 안에는 극단적 관점이 담긴 댓글을 더 잘 찾아내기 위해 문장을 비트 단위로 쪼개어 의미를 해석하는 머신러닝의 일종인 의미 분석을 활용하는 방안이 포함되어 있었다. 그렇게 찾은 댓글은 삭제하는 것이 아니라 기본적으로 숨김 처리하고, 볼 수 있는 선택권을 사용자에게 주어 해당 댓글을 보는 사람의 수를 제한하는 방식이었다.

페이스북에서 SAIL 팀이 수행할 수 있는 역할과 앞으로의 발전 방향에 대한 논의도 이루어졌다. 페이스북이 무엇을 해야 하고 무엇을 하지 말아야 할 지 제시하는 AI 책임성 가이드라인 제정이 최우선 과제라는 공감대가 있었다. 종국에는 페이스북의 AI 프로젝트를 평가하고 지침을 위반한 프로젝트는 중단시키는 핵심 조직으로 성장하겠다는 희망도 품었다.

그렇지만 전직 직원들은 페이스북의 성장을 직접 촉진하는 일이 아니면 상부의 승인이나 자금 지원을 받기가 극히 어려웠다고 증언한다. SAIL 팀은 본질적으로 성장을 위한 조직이 아니었을 뿐 더러 어떨 때에는 성장에 방해가 되는 아이디어까지 내놓았다. 그 결과 SAIL 팀은 자원을 거의 지원받지 못했으며 조직은 약화되었다. 많은 제안이 단지 이론 차원에 머물렀다.

그러다가 2018년 8월 29일 갑자기 모든 것이 달라졌다. 중간선거를 앞두고 트럼프 대통령과 다른 공화당 지도급 정치인들이 페이스북과 트위터, 구글에 반보수적 편향성이 있다며 거세게 비난한 것이었다. 그들은 특히 페이스북의 콘텐츠 규제가 커뮤니티 표준을 적용할 때 진보적 의견보다 보수적 의견을 억압한다고 주장했다. 이 주장은 나중에 틀렸다는 것이 밝혀졌지만, 트럼프 대통령의 트윗에 힘입어 #StopTheBias 해시태그가 소셜미디어에서 빠른 속도로 퍼졌다.

트럼프 대통령 입장에서는 주류 정보전달 채널에 대한 불신을 심는 것이 선거를 앞두고 펼치는 최후의 노력일 뿐이었다. 그렇지만 저커버그의 입장에서는 미국의 보수 성향 페이스북 사용자를 잃고 공화당 정부의 규제를 받을지도 모른다는 위협을 의미했다. 이는 회사의 성장을 위협하는 것과 같았다.

페이스북은 나에게 저커버그와의 인터뷰는 허락하지 않았다. 그렇지만 기존에 보도된 자료를 토대로 그가 트럼프와 공화당 지도부의 요구를 점차 받아들였다는 것을 알 수 있었다. 트럼프가 대통령으로 선출된 후 페이스북 글로벌 정책 부사장이자 사내 최고위직 공화당원인 조엘 카플란(Joel Kaplan)은 새로운 정치 환경에서 신중한 태도를 보여야 한다고 저커버그에게 조언했다.

트럼프의 #StopTheBias 트윗이 있고 3주가 지난 2018년 9월 20일 저커버그는 SAIL 팀 설립 후 처음으로 퀴노네로와 회의를 가졌다. 그는 AI의 편향성에 대해 퀴노네로가 알고 있는 것과 페이스북 콘텐츠 규제 모델에서 AI의 편향성을 없앨 방안을 모두 알고 싶어 했다. 회의가 끝날 무렵 하나는 분명해졌다. AI 편향성이 퀴노네로의 최우선 과제가 됐다는 것이다. 2019년 4월 AI 책임성 팀에 합류한 엔지니어링 디렉터 레이처드 알라오(Rachad Alao)는“우리가 이 문제를 적극적으로 다루도록 하기 위해 경영진이 심하게 압박했다”고 말한다.

그것은 회의 참석자 모두의 승리였다. 저커버그는 반보수적이라는 비난을 피할 방법을 찾았고, 퀴노네로는 사용자 경험의 전반적 개선에 필요한 자금과 인력을 지원받게 되었다. 그들이 할 일은 클라우만의 모델을 발전시켜 콘텐츠 규제 모델에 있다고 하는 반보수적 편향을 찾아 바로잡고, 플랫폼 여기저기에 위치한 절대 다수의 모델에 존재하는 다른 종류의 편향들을 제거하는 것이었다.

이렇게 하면 플랫폼이 의도치 않게 특정 사용자를 차별하는 것을 막을 수 있었다. 그 즈음 페이스북은 이미 수천 개의 모델을 동시에 가동하고 있었지만, 편향성 측정은 거의 이루어지지 않은 상태였다. 그것은 법적인 문제로 이어질 수도 있었다. 실제로 몇 개월 후 페이스북은 미국 주택도시개발부(Department of Housing and Urban Development, HUD)와의 소송전에 휘말렸다. HUD는 페이스북 알고리즘이 사용자 데이터에서 유추한 ‘감춰진’ 속성을 토대로 주택 광고를 타겟팅 한다며, 이것이 일종의 차별이라고 주장했다(소송은 여전히 진행중이다). 쉬롭퍼 역시 의회가 곧 알고리즘에 의한 차별을 규제하는 법안을 통과시키면 어쨌든 이 같은 노력을 해야 할 것이라고 생각했다.

(페이스북은 AI 편향성 해결 노력이 성장을 지속하거나 규제를 피하기 위한 것이라는 말에 반박한다. 페이스북 대변인은 “우리가 AI 책임성 팀을 만든 것은 그것이 옳은 일이기 때문”이라고 밝혔다.)

그렇지만 SAIL 팀의 업무를 알고리즘의 공정성으로 좁히면 페이스북의 고질적인 알고리즘 관련 문제가 모두 묻힐 수 있었다. 그리고 콘텐츠 추천 모델은 참여도를 높이기 위해 사용자에게 게시물이나 뉴스, 그룹을 계속 추천하여 극단적 콘텐츠를 보상(reward)하고 정치적 분열을 더욱 악화시킬 가능성이 있었다.

저커버그는 이를 인정했다. 퀴노네로와 회의를 가진 지 두 달쯤 지난 후 그는 페이스북 콘텐츠 규제 계획을 소개하는 공개 메시지를 통해 참여 전략의 위해성을 간단한 그래프로 설명했다. 그래프에서는 게시물이 페이스북 공동체 표준을 위반할수록 사용자 참여도가 높아지는 것으로 나타난다. 참여도 극대화 알고리즘이 선동적인 콘텐츠를 보상하기 때문이다.

페이스북

그 다음 그는 반대 방향을 나타내는 그래프를 제시했다. 저커버그는 페이스북이 커뮤니티 기준을 위반한 콘텐츠에 보상이 아닌 ‘벌(penalize)’을 줌으로써 ‘확산과 참여를 낮출 수 있다고 주장했다. 어떻게 가능할까? 바로 더 많은 AI를 통해서이다. ‘경계선 콘텐츠’를 탐지하기 위해 콘텐츠 규제 모델을 개선하면 유해한 콘텐츠의 뉴스피드 노출을 줄임으로써 해당 콘텐츠의 확산성을 완전히 없앨 수 있다고 그는 주장했다.

페이스북

문제는 저커버그가 얘기하는 그 모든 약속에 비해 이 전략은 아무리 좋게 봐도 미약하다는 것이다.

거짓 정보와 혐오표현은 계속 진화한다. 새로운 거짓이 등장하면 새로운 사용자와 그룹이 목표가 된다. 유해한 콘텐츠가 확산되기 전에 규제하려면 콘텐츠 규제 모델이 새로 등장한 유해한 콘텐츠를 정확히 판별할 수 있어야 한다. 그렇지만 머신러닝은 이런 식으로 작동하지 않는다. 홀로코스트 부인 콘텐츠를 탐지하도록 학습된 알고리즘은 로힝야족 학살을 부인하는 콘텐츠를 보고 그것을 바로 탐지할 수 있는 능력이 없다. 새로운 콘텐츠 사례를 통해 알고리즘을 수천 번 아니면 수백만 번 훈련해야 그것을 거르는 법을 배울 수 있다. 그렇게 한다 해도, 사람은 쉽게 알아보지만 AI는 이해하지 못하도록 사용자가 다른 표현을 사용하거나 자극적 언어를 완곡한 표현으로 바꿈으로써 콘텐츠 규제 모델을 쉽게 속여넘길 수 있다. 그래서 새로운 음모론은 걷잡을 수 없이 확산되고 그 같은 콘텐츠가 금지된 다음에도 비슷한 콘텐츠가 늘 플랫폼에 존속하는 것이다.

쉬롭퍼는 뉴욕 타임스와의 인터뷰에서 콘텐츠 관리 전략의 이 같은 한계를 언급했다. 뉴욕타임스는 “쉬롭퍼와 150명이 넘는 엔지니어링 전문가가 유해한 콘텐츠를 규제하는 솔루션을 개발할 때마다 지금까지 보지 못한 수상한 콘텐츠가 갑자기 나타나고, 이들은 탐지에 걸리지 않는다”고 보도했다. “절대 완벽히 없애지 못할 것”이라는 쉬롭퍼의 발언도 소개했다.

한편, 콘텐츠 추천 알고리즘 역시 참여도를 극대화하는 역할을 한다. 이는 콘텐츠 규제 모델에 의해 걸러지지 않은 유해한 게시물 하나하나가 뉴스피드 상단에 노출되어 더 많은 사용자에게 닿을 수 있다는 뜻이다. 실제로 뉴욕대학교(New York University)가 실시한 연구에 따르면 정파성이 있는 언론사의 페이스북 페이지 중 정치와 관련된 거짓 정보를 정기적으로 올리는 언론사가 2020년 미 대선 및 의사당 난입 사건이 일어나기 전까지 가장 높은 참여도 증가를 기록했다. 페이스북에서 2018년에서 2019년까지 도덕성(integrity) 문제를 담당한 전 직원은 “우리는 [이를] 모두 알고 있었지만 여전히 참여도를 높이는 데 몰두했다”며 “그럴 수밖에 없었다”고 털어 놓는다.

그렇지만 퀴노네로의 SAIL 팀은 이 문제를 다루지 않았다. 카플란과 저커버그가 원한 것은 보수주의자를 잃지 않는 것이었기 때문에 SAIL 팀은 계속 편향성 문제에만 집중했다. SAIL 팀이 AI 책임성 팀으로 확대 개편된 후에도, 거짓 정보의 확산을 막을 콘텐츠 추천 시스템을 만들라는 지시는 단 한 번도 없었다. 도덕성(integrity) 문제 해결을 위한 페이스북의 전체 활동 목록을 엔틴과 다른 홍보 담당자에게 받아 확인했지만, 다른 부서 중에서도 이같은 일을 하는 곳은 없었다. 페이스북에서 도덕성 문제란 거짓 정보, 혐오표현, 정치 양극화를 모두 포괄하는 용어다.

페이스북 홍보 담당자는 “그 일은 어느 한 팀이 하지 않는다. 우리 회사는 그런 식으로 운영되지 않는다”고 말했다. 그러면서 그 일은 각 부문에서 콘텐츠 순위 결정이 거짓 정보에 미치는 영향에 대해 전문성을 가진 팀들이 나누어 수행한다고 설명한다. 그렇지만 쉬롭퍼는 일전의 인터뷰에서 그와 정반대되는 발언을 했었다. 내가 왜 기존 팀들이 문제를 해결하게 하지 않고 AI 책임성 팀이라는 단일 조직을 만들었는지 문의하자 그는 그것이 회사의 ‘모범 방식’이라고 답변했다.

그는 “중요한 분야라면 빨리 움직여야 한다. 명확하게 정해진 것은 아니지만, 우리는 전담 팀을 만들고 알맞은 인물을 찾아 팀을 맡긴다”며 “어떤 분야가 성장하고 성숙하면 제품 팀(product team)들이 더 많은 일을 하게 된다. 그래도 중앙집중적인 단일 팀은 여전히 필요하다. 최근의 변화를 놓치지 않고 따라가야 하기 때문이다”라고 말했다.

나는 AI 윤리 및 인권 전문가들에게 페이스북 AI 책임성 팀의 업무에 대해 설명했다. 이들은 AI 책임성 팀이 맡은 문제가 페이스북이 가장 큰 비난을 받는 거짓 정보 같은 문제가 아니라는 점을 지적했다. 루만 초드리(Rumman Chowdhury)는 “페이스북이 만드는 제품과 이것이 세상에 미치는 영향에 관한 질문에서 이 문제가 빠졌다는 점이 매우 기이하다”고 말한다. 초드리는 기업에 책임 있는 AI 활용에 대한 자문을 제공하는 스타트업 패리티(Parity)를 창업했으며, 이 회사는 이 인터뷰 이후 트위터에 인수되었다. 나는 초드리에게 퀴노네로 팀의 업무에 관한 문서를 보여주었다. 그녀는 “우리가 현재 벌어지고 있는 일이 아니라 포용성, 공정성, 평등을 거론한다는 점이 뜻밖이다”라고 털어 놓았다.

“‘책임 있는 AI’라는 것은 기업이 내용을 완전히 자의적으로 정할 수 있는 프레임이라고 생각된다. ‘기준을 정하는 것은 우리이고, 그것을 따르는 것도 우리’라는 태도가 느껴진다”고 디지털권리순위(Ranking Digital Rights, RDR)의 엘리 로버츠 비들(Ellery Roberts Biddle) 편집장은 말한다. RDR은 기술 기업이 인권에 미치는 영향을 연구하는 비영리단체이다. “그들이 말하는 공정성이 어떤 의미인지 잘 모르겠다. 의사당에 난입한 그런 극단주의 단체를 추천하는 것이 공정한 것일까? 그런 추천을 모든 사람에게 하면 과연 공정한 것일까?”

“[미얀마] 대학살의 경우 페이스북과 그 플랫폼이 관련 내용을 어떻게 퍼뜨렸는지 구체적으로 설명할 수 있을 정도로 충분한 증거가 UN에 있다”고 비들은 말한다. “도대체 얼마나 더 끔찍한 일이 벌어질 수 있다는 말인가?”

지난 2년 간 퀴노네로의 팀은 클라우만의 초기 측정 도구를 발전시킨 ‘페어니스플로우(Fairness Flow)’ 시스템을 개발했다. 페어니스플로우를 이용하면 머신러닝 모델의 정확도를 각기 다른 사용자 집단에 대해 측정할 수 있다. 이를 통해 얼굴 인식 모델의 정확도를 사용자의 나이, 성별, 피부색 별로 비교하거나 음성 인식 알고리즘의 정확도를 언어, 방언, 억양 별로 비교할 수 있다.

페어니스플로우 사용 지침은 엔지니어들이 ‘공정한’ 모델의 의미를 이해하는 데 도움을 준다. 그러나 공정한 알고리즘을 만드는 데 있어 더 어려운 문제는 공정성의 정의가 다양하며, 다양한 정의가 충돌하는 경우도 있다는 점이다. 페어니스플로우는 공성성의 정의를 네 가지로 제시하여 엔지니어가 자신의 목적에 가장 잘 맞는 것을 사용하게 한다. 예를 들어, 음성 인식 모델은 모든 억양에 대해 동일한 정확도를 보여주는지 또는 최저 기준을 통과하는지 여부 등을 공정성의 정의로 삼는다.

그렇지만 알고리즘 공정성 테스트는 여전히 선택사항에 불과하다. 페이스북 뉴스피드나 광고 서비스 또는 제품과 직접 관련된 일을 하는 다른 팀 중 공정성 테스트가 의무화된 곳은 없다. 급여 인센티브는 여전히 참여도 및 성장 지표와 연동되어 있다. 어떤 상황에서 어떤 공정성 정의를 택해야 할지 지침은 있지만 그렇다고 해서 그 정의를 반드시 적용해야 하는 것도 아니다.

특히 이 마지막 문제가 페이스북에 반보수적 편향성이 있다는 비난이 제기되었을 때 적나라하게 모습을 드러냈다.

2014년 미국 정책 책임자에서 글로벌 정책 부사장으로 승진한 카플란은 콘텐츠 관리 및 사용자 뉴스피드 게시물 순위 결정과 관련하여 더 고압적인 태도를 보이기 시작했다. 2016년 공화당이 페이스북의 반보수적 편향성을 주장한 후, 그의 팀은 페이스북이 보수 성향 사용자를 부당하게 차별하지 않는다는 것을 입증하는 것을 최우선 목표로 거짓 정보 탐지 모델이 사용자에게 미치는 영향을 수작업으로 검토하기 시작했다.

모든 페이스북 사용자의 프로필에는 인종, 정치 및 종교 성향, 사회경제적 지위, 교육 수준 등 대략 200개의 ‘특성’이 존재한다. 이 중에는 사용자가 직접 제공한 정보도 있고 머신러닝 모델로 추정된 것도 있다. 카플란 팀은 이 특성을 활용하여 보수적 콘텐츠나 그룹, 페이지에 참여하는 사용자를 모아 전반적으로 보수적인 성향을 보이는 사용자 집단을 새로 구성했다. 그 다음 콘텐츠 관리가 이 집단의 게시물에 어떤 영향을 미치는지 알아보는 특별 분석을 시행했다고 인터뷰에 응한 전직 연구원은 말한다. 그가 맡은 일은 이것을 분석한 결과를 검토하는 것이었다.

AI 책임성 팀이 후일 작성한 페어니스플로우 문서에는 그 같은 경우의 도구 사용법에 관한 사례 연구가 포함되어 있다. 이 문서에 따르면 정치 이데올로기와 관련하여 거짓 정보 탐지 모델이 공정한지 여부를 판단할 때 ‘공정하다’는 것은 탐지 모델이 보수적 사용자와 진보적 사용자에게 동등한 영향을 주어야 한다는 뜻이 아니다. 보수 성향 사용자가 거짓 정보를 더 많이 생산한다는 전반적인 합의가 있으면, 탐지 모델은 보수적 콘텐츠를 더 많이 걸러내야 한다. 만약 진보 성향 사용자가 거짓 정보를 더 많이 생산한다는 합의가 있으면 마찬가지로 이들이 생산하는 콘텐츠를 더 많이 걸러내야 한다.

그렇지만 카플란의 팀은 이와 정확히 반대되는 접근법을 택했다. 그들은 탐지 모델이 진보 성향 콘텐츠보다 보수 성향 콘텐츠에 더 많은 영향을 미쳐서는 안 된다는 것을 ‘공정함’의 기준으로 삼았다. 어떤 모델이 진보 성향 콘텐츠보다 보수 성향 콘텐츠에 더 많은 영향을 미치면 모델 운용을 중단하고 수정을 요구하기로 했다. 실제로 의료 부문의 거짓 정보 탐지 모델로 인해 백신거부 운동 확산율이 눈에 띄게 낮아지자 해당 탐지 모델을 차단한 적도 있다고 전직 연구원은 고백했다. 그들은 이 문제가 해결되기 전에는 모델을 운용할 수 없을 것이라는 말도 했다고 한다. 그렇지만 이 문제가 해결되면 그 모델은 쓸모가 없어진다. 그는 “그렇게 되면 아무 의미가 없다”고 말한다. 이런 식으로 변경된 모델은 거짓 정보로 인한 “실제 문제에 말 그대로 아무런 영향도 미칠 수 없다.”

“그들이 말하는 공정성이 어떤 의미인지 잘 모르겠다. 의사당에 난입한 그런 극단주의 단체를 추천하는 것이 공정하다는 것일까? 그런 추천을 모든 사람에게 하면 공정한 것일까?”

 RDR 엘리 로버츠 비들 편집장

이런 일이 콘텐츠 규제 뿐 아니라 다른 부문에서도 비일비재하게 일어났다. 2020년 워싱턴 포스트는 카플란 팀이 반보수적 편향성을 강화할 우려가 있다며 페이스북 내 선거 개입 및 정치 양극화 완화 노력을 방해했다고 보도했다. 월스트리트저널에 따르면 2018년에도 같은 논리를 내세워 페이스북 연구원들이 플랫폼상의 분열을 완화하기 위해 페이스북 추천 모델을 수정하려던 시도를 중단시켰다. 또, 페이스북 데이터 과학자들이 뉴스피드 순위 결정 모델을 수정하면 2016년 미 대선 당시 러시아가 사용한 조작으로부터 페이스북 플랫폼을 보호할 수 있다며, 모델 수정을 제안했지만, 카플란이 정치적 편향성에 대해 목소리를 높이면서 이 제안도 동력을 잃었다.

뉴욕타임스에 따르면 2020년 대선을 앞두고도 페이스북 정책 관련 임원들은 또다시 정치적 편향성을 핑계 삼아 증오 표현이나 악의적 콘텐츠의 확산을 제한할 수 있는 여러 제안을 거부하거나 약화시켰다.

페이스북은 블로그 포스팅을 통해 월스트리트저널 보도에 반박하고, 인터뷰를 통해 뉴욕타임스 평가에 이의를 제기했다. 카플란 팀 대변인 역시 나에게 워싱턴포스트와 월스트리트저널, 뉴욕타임스가 보도한 사례는 “모두 개별적인 사례이고 잘못된 평가라고 본다”며 패턴화된 행동이 아니라고 주장했다. 그러면서도 거짓 정보 탐지 모델의 재훈련 기록에 대한 코멘트 요청은 거부했다.

이 같은 사례 중 다수가 페어니스플로우 시스템이 도입되기 전의 일이다. 그렇지만 이들 사례는 이미 페이스북이 성장을 위한 공정성을 추구하면 다른 과제에서 큰 대가를 치러야 하는 상황에 처했음을 보여준다. 만약 페이스북 엔지니어들이 카플란 팀과 같은 공정성 정의를 사용한다면 페어니스플로우는 거짓 정보를 퇴치하는 것이 아니라 오히려 거짓 정보를 보상하는 행동을 말 그대로 체계화하는 결과를 가져올 것이다.

‘공정성을 둘러싼 그 모든 것’이 그저 현재 상태를 유지하는 편리한 핑계로만 사용될 때도 많다고 전직 연구원은 말한다. “[공정성을 강하게 주장하면] 공정함과 공평함에 대해 마크가 공개적으로 말하는 것들에 정면으로 도전하는 느낌이 든다.”

의사당 난입 사건이 있고 나서 한 달 후 퀴노네로와 마지막 인터뷰를 가졌다. 나는 의사당 난입 사건이 그의 생각과 업무 방향에 어떤 영향을 미쳤는지 알고 싶었다.

인터뷰는 늘 그렇듯 화상으로 진행되었다. 한 창에는 그의 집 서재를 배경으로 퀴노네로가 앉아 있고 다른 창에는 PR 담당자 엔틴이 보였다. 나는 퀴노네로에게 페이스북이 이번 폭동에서 어떤 역할을 했다고 생각하는지, 그리고 그 사건으로 AI 책임성 팀의 업무에 변화가 없었는지 질문했다. 한참 동안 말이 없던 그는 질문에 답하지 않고, AI 부문 팀들 내에서 다양성과 포용성을 높이기 위해 최근 추진한 일들을 설명하기 시작했다.

그래서 나는 같은 질문을 한 번 더 했다. 그가 아무런 말을 하지 않자 컴퓨터 시각 알고리즘으로 화자를 추적하는 페이스북 포털(Facebook Portal) 카메라가 그의 얼굴을 천천히 클로즈업했다. 그는 “그 질문에 내가 간단하게 답할 수 있는지 모르겠다”며 “너무 어려운 질문”이라고 말했다.

표정을 숨긴 채 상황을 지켜보던 엔틴이 심심풀이용으로 손에 쥐고 있던 빨간 공을 꽉 움켜 쥐는 모습이 눈에 띄었다.

나는 퀴노네로에게 왜 전에는 페이스북 콘텐츠 순위 결정 모델을 수정하여 거짓 정보와 극단주의를 억제할 방법을 찾지 않았는지 물었다. 그는 그것이 다른 팀의 일이었다고 말했다(그렇지만 그런 업무를 하는 다른 팀은 없다는 것을 확인했다). 그는 “AI 책임성 팀이 그 모든 문제를 직접 다루는 것은 현실적이지 않다”고 말했다. 그래서 내가 앞으로 그런 문제를 맡을 생각이 있는지 묻자 그는 “그것이 이런 대화의 주제가 될 것임에 동의한다”며 모호한 말로 인정했다.

한 시간 가량 이어진 인터뷰가 끝나갈 때 쯤 그는 AI가 ‘범인’으로 부당하게 묘사될 때가 많다고 강한 어조로 말하기 시작했다. 페이스북이 AI를 사용하던 하지 않던, 사람들은 여전히 거짓말과 증오 표현을 쏟아낼 것이고, 그런 콘텐츠가 플랫폼을 타고 확산될 것이라고 그는 말했다.

나는 이런 상황을 바꾸기 위해 알고리즘이 한 일이 전혀 없다는 사실을 받아들이기가 확실히 어렵기는 할 것이라는 말로 그를 한 번 더 강하게 압박했다.

그는 “모르겠다”며 말을 흐렸다. 그리고는 “이것이 나의 솔직한 답변이다. 나는 정말 모르겠다”고 강한 어조로 여러 번 말하며 인터뷰를 마쳤다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.