Troll farms reached 140 million Americans a month on Facebook before 2020 election, internal report shows

여론조작 단체의 영향력

MIT 테크놀로지 리뷰가 입수한 페이스북의 2019년 내부 보고서에 따르면, 당시 여론 조작용 ‘댓글 부대’가 만든 페이스북 페이지가 수많은 이용자들에게 노출되며 인기순위 상위권을 독식했던 것으로 드러났다.

미국 역사상 가장 치열했던 2020년 선거 운동 기간에 가장 인기 있던 미국 기독교와 흑인 관련 페이스북 페이지들을 운영하고 있었던 것은 동유럽의 ‘트롤 팜(troll farm, 여론 조작 댓글 부대)’이었다. 페이스북의 내부 보고서에 따르면, 이러한 페이스북 페이지에 올라온 게시물들을 접한 사람들의 수를 모두 합치면 거의 미국인 인구의 절반에 달하며, 그런 게시물이 그렇게 많은 사람들에게 퍼질 수 있었던 것은 페이스북 이용자들의 선택 때문이 아니라 주로 페이스북 플랫폼 자체의 설계와 알고리즘 때문이었던 것으로 드러났다.

MIT 테크놀로지 리뷰는 이전에 페이스북에 근무했으나 보고서 작성에는 참여하지 않았던 어떤 인물을 통해 2019년 10월에 작성된 해당 보고서를 입수했다. 보고서에 따르면, 2016년 선거를 겪고 나서도 페이스북은 자사의 플랫폼이 정보를 퍼뜨리는 방식에 근본적인 변화를 주지 못했다. 대신에 페이스북은 ‘나쁜 행위자’가 정치적인 담론에 참여할 때 그들의 행위를 감시하다가 진압하는 ‘두더지 잡기’와 유사한 전략을 추구했으며, 그저 ‘최악의 최악’을 방지하기 위해 약간의 안전장치만을 추가했을 뿐이었다.

그러나 페이스북의 이러한 방식이 근본적인 문제를 해결하는 데는 거의 도움이 되지 않았다고 보고서는 기록했다. 주로 정치적 선전과 같은 자극적인 콘텐츠를 소셜 미디어에 집단적으로 업로드하는 전문적인 단체를 의미하는 ‘트롤 팜’은 각종 페이스북 페이지를 운영하며 거대한 네트워크를 형성하고 있었다. 그들이 올리는 게시물을 접하는 미국인은 매달 1억 4,000만 명에 달했는데, 이들 중 75%는 그런 페이지를 구독한 적이 없었다. 이들은 뉴스피드에 계속 그런 게시물을 노출하는 페이스북의 추천 알고리즘으로 인해 트롤 팜의 게시물을 접하게 되었다.

보고서의 저자이자 페이스북에서 고위급 데이터 과학자로 근무했던 제프 앨런(Jeff Allen)은 “페이스북 사용자들이 그런 게시물을 보려고 했던 것이 아니라, 페이스북 플랫폼이 그런 트롤 팜 게시물의 조회수를 올려준 것”이라고 말한다.

페이스북의 대변인 조 오스본(Joe Osborne)은 성명에서 앨런의 보고서가 작성될 당시

페이스북은 “이미 이런 주제에 관해 조사하고 있었다”고 밝혔다. 그러면서 “그때부터 우리는 팀을 꾸려서 새로운 정책을 만들었고, 이런 문제에 대응하기 위해 업계의 다른 기업들과 협력했다. 우리는 이런 페이지를 운영하는 외국이나 미국내의 가짜 단체들에 대항하여 적극적인 단속 활동을 벌여왔으며, 매 분기마다 결과를 공개하고 있다”고 덧붙였다.

기사 작성 전 사실을 확인하는 과정에서 MIT 테크놀로지 리뷰는 보고서에서 언급한 ‘트롤 팜 페이지’ 중 다섯 곳이 여전히 운영 중인 것을 발견했다.

이곳은 2019년 10월 기준으로 미국 흑인을 대상으로 하는 페이스북 페이지 중 가장 큰 곳이었다. 이 페이지는 여전히 운영 중이다.

보고서는 또한 러시아 정부의 지원을 받는 ‘인터넷 리서치 에이전시(IRA: Internet Research Agency)’가 2016년 선거 기간에 기독교인, 흑인, 아메리카 원주민을 대상으로 삼았던 것처럼 ‘트롤 팜’ 페이지들도 같은 집단들을 대상으로 한다는 사실을 발견했다. 2018년에 버즈피드 뉴스(BuzzFeed News)의 조사에 따르면, 2016년 미국 선거 개입 혐의로 기소된 러시아 IRA의 구성원 중 적어도 한 명이 첫 번째 ‘트롤 팜’이 등장했던 무렵에 마케도니아에 방문했다. 그러나 버즈피드는 IRA와 트롤 팜의 연관성을 증명할 확실한 증거를 발견하지는 못했다. (페이스북 역시 자체적인 조사에서 IRA와 마케도니아 트롤 팜 사이에 어떤 연관성도 드러나지 않았다고 발표했다.)

앨런은 “이는 정상이 아니다. 건강하지 않다. 우리는 ‘가짜 이용자들’이 대체로 알 수 없는 목적으로 구독자를 엄청나게 늘릴 수 있게 해왔다… IRA와 연결되어 있을 가능성이 있는 사람들이 IRA가 목표로 삼았던 인구 집단들을 상대로 엄청난 구독자를 모은다는 사실은 미국의 2020년 선거에도 큰 위험이 된다”고 보고서에 적었다.

그는 트롤 팜이 이러한 전략을 사용하는 것이 성공적이라고 생각하는 한, 다른 ‘나쁜 행위자’도 똑같은 방법을 사용할 수 있다고 적으며, “트롤 팜이 미국 흑인을 대상으로 하는 게시물로 미국인 3,000만 명의 관심을 얻는다면, IRA도 같은 방식으로 엄청난 수의 구독자를 확보할 수 있으며, 이는 전혀 놀라운 일이 아니다”라고 글을 이어갔다.

앨런은 해당 보고서가 트롤 팜을 이해하기 위한 1년 반에 걸친 노력의 4번째이자 마지막 결실이라고 썼다. 보고서를 우리에게 제공한 인물에 따르면 앨런은 페이스북 운영진이 그의 연구를 ‘사실상 무시’한 것에 좌절감을 느끼고 그 달에 회사를 떠났다. 앨런은 이에 대한 사실 확인 요청을 거절했다.

보고서는 외국을 기반으로 하는 선거 개입에 적극적으로 대응하겠다고 공개적으로 여러 번 약속했으면서도 페이스북 운영진이 수년 동안 플랫폼에서 손을 놓고 있었다는 충격적인 상황을 드러낸다. MIT 테크놀로지 리뷰는 대중의 이익을 위한 일이라는 생각으로 직원들의 이름을 삭제한 상태로 전체 보고서를 공개하고자 한다.

보고서에서 밝혀진 사실들

  • 2019년 10월 기준으로, 주로 미국 구독자로 이루어진 약 15,000개의 페이스북 페이지가 2016년 선거 기간에도 가짜 정보를 퍼뜨린 곳으로 드러난 코소보와 마케도니아에서 운영되고 있었다.
  • 그런 트롤 팜 페이지 전체를 기준으로 하면(보고서는 비교를 위해 전체 페이지를 묶어서 하나로 다루고 있다), 그런 페이지들에 접근한 미국 사용자는 한 달에 1억 4,000만 명에 달하며, 전 세계 사용자는 매주 3억 6,000만 명에 달했다. 그 뒤를 이어 미국 구독자 수가 두 번째로 많은 월마트(Walmart) 페이스북 페이지의 미국 구독자 수는 1억 명이었다.
  • 트롤 팜 페이지들을 종류에 따라 묶으면 다음 결론에 도달한다.
  • 페이스북에서 가장 큰 미국 기독교인 페이지. 두 번째로 큰 페이지보다 20배나 더 크다. 매달 미국 이용자 7,500만 명이 이러한 페이지들에 접근했으나 이들 중 95%는 이 페이지들 중 어느 것도 구독하지 않았다.
  • 페이스북에서 가장 큰 미국 흑인 페이지. 두 번째로 큰 페이지보다 세 배 더 크다. 매달 미국 이용자 3,000만 명이 이러한 페이지들에 접근했으나, 이들 중 85%는 이 페이지들 중 어느 것도 구독하지 않았다.
  • 페이스북에서 두 번째로 큰 아메리카 원주민 페이지. 매달 40만 명이 이러한 페이지들에 접근했으나, 이들 중 90%는 이 페이지들 중 어느 것도 구독하지 않았다.
  • 페이스북에서 다섯 번째로 큰 여성 관련 페이지. 매달 미국 이용자 6,000만 명이 이용했으나, 이들 중 90%는 이러한 페이지들 중 어느 것도 구독하지 않았다.
  • 트롤 팜은 주로 미국에 영향을 미쳤으나, 영국, 호주, 인도, 중남미 국가도 대상이 되었다.
  • 페이스북은 사용자 참여(좋아요, 댓글, 공유)가 높은 콘텐츠일수록 ‘나쁜’ 콘텐츠일 가능성이 높다는 점을 확인하기 위해 다수의 연구를 진행했다. 그러나 그러면서도 페이스북은 사용자 참여도에 따른 순위가 높은 콘텐츠를 계속 뉴스피드에 노출했다.
  • 페이스북은 다른 사용자의 게시물을 단순히 복사해서 붙여 놓은 콘텐츠 게시를 금지하지만, 이미 ‘알려진 나쁜 행위자’들에게도 그런 정책을 강제하지 않는다. 그 덕분에 영어를 사용하지 못하는 외국인들이 다른 곳에서 복사한 콘텐츠로 구독자를 쉽게 모을 수 있다. 어느 시점에는 미국의 페이스북 페이지 중에 무려 40%가 주로 독창성이 떨어지거나 제한된 자료로 이루어져 있었다.
  • 트롤 팜 페이지들은 뉴스 기관과 다른 발행자들이 기사와 영상 게시물을 통해 수익을 낼 수 있도록 하는 ‘인스턴트 아티클(Instant Articles)’과 중간 광고 프로그램을 이용했다. 그 결과 어느 시점에는 기본적인 품질 확인의 부재로 인스턴트 아티클의 무려 60%가 다른 곳에서 표절한 콘텐츠로 이루어져 있었다. 인스턴트 아티클 같은 방식을 통해 트롤 팜 게시물들은 다른 게시물 사이에서 눈에 띄지 않은 채 잘 섞여 있었으며 페이스북에서 수익까지 얻을 수 있었다.

트롤 팜 페이지들의 구독자를 늘린 페이스북의 방식

보고서는 코소보와 마케도니아를 기반으로 하는 트롤 팜에 특히 주목한다. 이러한 트롤 팜들은 미국 정치를 이해할 필요가 없는 사람들이 운영하고 있다. 그러나 페이스북 뉴스피드의 보상 시스템 방식으로 인해 그런 트롤 팜들이 미국의 정치적 담론에 상당한 영향력을 행사할 수 있다.

보고서에서 앨런은 이러한 페이지들이 그렇게 많은 구독자를 얻을 수 있었던 세 가지 이유를 밝히고 있다. 첫째, 페이스북은 페이지들이 다른 곳에서 복사해 온 콘텐츠를 올린다고 해도 불이익을 주지 않는다. 이전에 인기를 얻었던 콘텐츠는 두 번째로 업로드됐을 때도 다시 인기를 얻을 가능성이 크다. 이런 방식을 이용하면 누구든 쉽게 구독자 수를 늘릴 수 있다. 예를 들어 미국 흑인들의 관심을 받고 싶으면, 다른 흑인 대상의 페이지들이나 심지어 레딧(Reddit) 또는 트위터에서 인기 있는 콘텐츠를 복사해서 자신의 페이지에 붙여넣기하면 된다. ‘나쁜 행위자’들은 심지어 수십 개의 페이지에 같은 게시물을 붙여넣기도 한다.

둘째, 페이스북은 페이지를 구독하지 않는 사람들에게도 콘텐츠를 노출한다. 이용자의 친구들이 이러한 페이지에 올라온 게시물에 댓글을 달거나 게시물을 공유할 경우, 이용자들은 자신들의 뉴스피드에서 이런 콘텐츠를 보게 될 것이다. 페이지의 콘텐츠에 더 많은 댓글이 달리거나 콘텐츠가 더 많이 공유될수록, 콘텐츠는 더 많은 사람에게 노출된다. 따라서 가장 인기 있는 콘텐츠를 다시 업로드하는 전략을 주로 사용하는 트롤 팜들은 이런 시스템에서 큰 혜택을 누리게 된다.

셋째, 페이스북의 순위 시스템에 따라 인기 있는 콘텐츠일수록 뉴스피드 상단에 게시된다. 보통 트롤 팜을 운영하는 사람들은 정치적인 동기보다는 금전적인 동기로 움직이는 경우가 많다. 따라서 그들은 콘텐츠의 내용은 상관없이 가장 관심을 많이 받을 수 있는 게시물을 올린다. 그러나 가짜 정보, 낚시성 게시물, 정치적으로 분열을 초래하는 콘텐츠가 사람들의 관심을 더 받을 수 있기 때문에(페이스북의 자체적인 내부 분석에서도 이 점을 인정했다), 트롤 팜은 시간이 지날수록 점점 더 그런 콘텐츠를 올리게 된다고 보고서는 말한다.

그 결과, 2019년 10월 기준으로 미국 기독교인을 대상으로 하는 인기 페이지 중 15곳, 미국 흑인을 대상으로 하는 인기 페이지 15곳 중 10곳, 그리고 아메리카 원주민을 대상으로 하는 인기 페이지 12곳 중 4곳이 트롤 팜이 운영하던 곳으로 드러났다.

2019년 10월 페이스북의 인기 미국 흑인 페이지들

순위미국 흑인트롤 팜?
1My Baby Daddy Aint ShitY
2EssenceN
3The RootN
4The Source MagazineN
5BlackBabiesY
6Hair & BeautyY
7Gang Memes VideosY
8Savage HoodY
9Hood Life MemesY
10Black EnterpriseB
11Savage Hood MemesY
12Hood Mood MemesY
13HELLO BEAUTIFULN
14HooDopeY
15The Positive Black ImagesY

2019년 10월 페이스북의 인기 미국 기독교인 페이지들

순위미국 기독교인트롤 팜?
1Be Happy Enjoy LifeY
2Jesus is my LordY
3You CanY
4Speak LoudlyY
5Purpose of LifeY
6Positive QuotesY
7Memories of a loved oneY
8Smile & ShineY
9Light of the WorldY
10Why Not Us?Y
11Happiness Is In Your MindY
12My LifeY
13Life is BeautifulY
14BlessingY
15Conscious ReminderY
16BlessedY
17GuidepostsN
18Simply BeautifulY
19Motivational Quotes & VideoY
20light-candle for a lost love oneY
21I Believe in God Do You?Y

2019년 10월 페이스북의 인기 아메리카 원주민 페이지들

순위아메리카 원주민트롤 팜?
1Indian Country TodayN
2American Indian College FundN
3Association on American Indian AffairsN
4Native AmericansY
5Native Americans CherokeeY
6Native American TimesN
7Native American Rights FundN
8National Congress of American IndiansN
9Redhawk Native American Arts CouncilN
10Eagle SpiritY
11Bald Eagles spiritY
12Native American Journalists AssociationN

앨런은 “페이스북 플랫폼은 미국 기독교 커뮤니티의 가장 큰 목소리를 교회에 가본 적도 없는 듯한 소수의 ‘나쁜 행위자들’이 낼 수 있게 했다”고 썼다. 그러면서 “페이스북 플랫폼은 미국 흑인 커뮤니티의 가장 큰 목소리를 미국 흑인과 전혀 관련이 없는 듯한 소수의 ‘나쁜 행위자들’이 낼 수 있게 했다”고도 썼다.

또한 그는 이렇게 썼다. “이는 너무나 이상해서 항상 나를 놀라게 한다… 그리고 솔직히 너무 무섭기도 하다. 이러한 상황을 바로잡을 수 있을 때까지 우리는 임무를 수행하면서 항상 심각한 역풍을 느끼게 될 것이 분명해 보인다.”

보고서에는 가능한 해결책도 제시되어 있다. 그는 웹페이지가 다른 괜찮은 웹페이지를 얼마나 자주 인용하는지 또는 그런 웹페이지에 얼마나 자주 인용되는지에 따라 웹페이지의 품질을 평가하는 ‘그래프 기반의 권위 측정(graph-based authority measure)’이라는 방식을 통해 구글이 검색 순위에서 ‘나쁜 행위자’를 강등시키려고 한 것을 가리키며, “이는 인류가 우리의 미디어 생태계에서 ‘나쁜 행위자’와 처음 싸웠던 방식과는 매우 다르다”고 썼다.

그는 이어서 “우리도 자체적으로 그래프 기반의 권위 측정 방식을 갖고 있다”고 언급했다. 페이스북이 인기 순위에 상위권에 올라가 있는 페이지들을 이러한 측정 방식으로 평가한다면, 이러한 페이지들이 더 많은 독자에게 노출되는 충격적인 경향을 뒤집는 데 도움이 될 수도 있다.

앨런은 페이스북의 순위 시스템이 인기를 우선시하면서, 트롤 팜 페이지들이 ‘진정성 있는’ 페이지들을 물리쳤다고 썼다. 그러나 “트롤 팜 페이지 중 90%가 그래프 권한이 0이다… 진정성 있는 페이지들이 분명 이긴 것이다”라고 말한다.

시스템의 문제들

보고서에 목록으로 정리된 모든 트롤 팜 페이지를 검색해 보면, 보고서 작성 시점으로부터 2년이 지났는데도 여전히 다섯 곳이 운영 중인 것으로 나타난다.

  • ‘My Baby Daddy Ain’t Shit’ 페이지는 2019년 10월에 미국 흑인을 대상으로 한 가장 큰 페이스북 페이지였다.
  • ‘Savage Hood’ 페이지는 미국 흑인을 대상으로 한다.
  • ‘Hood Videos’ 페이지는 미국 흑인을 대상으로 한다.
  • ‘Purpose of Life’ 페이지는 기독교인을 대상으로 한다.
  • ‘Eagle Spirit’ 페이지는 아메리카 원주민을 대상으로 한다.
기독교인을 대상으로 하는 트롤 팜 페이지

페이스북이 최근 발표한 ‘많이 조회된 콘텐츠(Widely Viewed Content)’ 보고서는 트롤 팜들이 이용했던 페이스북의 핵심 취약성 중 일부가 아직 남아있다고 말한다. 더 버지(The Verge)의 케이시 뉴튼(Casey Newton)이 진행한 분석에 따르면, 논란이 많은 이 보고서에 언급된 1위에서 19위까지의 인기 게시물 중에서 15개가 이전에 페이스북이나 다른 플랫폼에서 인기 있었던 게시물을 표절한 콘텐츠라고 한다.

스탠퍼드대학교의 박사 후 과정 연구원으로 허위 정보, 소셜 미디어, 민주주의가 교차하는 지점을 연구하는 사만다 브래드쇼(Samantha Bradshaw)는 보고서가 “페이스북 플랫폼과 알고리즘이 특정 콘텐츠를 특정 이용자에게 추천하는 방식에 내재된 심각한 시스템 문제를 보여주고 있다”고 말한다. 그런 문제가 고쳐지지 않는다면, 시스템은 계속 ‘나쁜 스탠퍼드대학교의 박사 후 과정 연구원으로 허위 정보, 소셜 미디어, 민주주의가 교차하는 지점을 연구하는 사만다 브래드쇼(Samantha Bradshaw)는 보고서가 “페이스북 플랫폼과 알고리즘이 특정 콘텐츠를 특정 이용자에게 추천하는 방식에 내재된 심각한 시스템 문제를 보여주고 있다”고 말한다. 그런 문제가 고쳐지지 않는다면, 시스템은 계속 ‘나쁜 행위자들’에게 경제적으로 이익이 되는 왜곡된 방식을 반복할 것이라고 말하며 그녀는 “그것이 바로 문제”라고 덧붙인다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.