Stop talking about AI ethics. It’s time to talk about power.

AI 윤리는 그만! AI의 실체를 고민할 때

인공지능 분야의 손꼽히는 권위자인 케이트 크로포드 교수는 새로 출간한 저서에서 이렇게 주장한다. "우리는 AI가 지구에 미치는 정치적 물리적 영향을 인정해야 한다."

20세기 초, 독일의 말 한 마리가 유럽에서 화제가 되었다. 겉으로 보기에, 영리한 한스(Clever Hans)라는 이 말은 사람들만 할 수 있던 온갖 종류의 재주를 부렸다. 발굽을 두드리는 방식으로, 덧셈, 뺄셈, 시간 보기, 달력 읽기, 단어와 문장 스펠링 맞추기도 가능했다. 답이 ‘A’일 경우는 한 번, ‘B’는 두 번, 2+3은 다섯 번 발을 굴렀다. 한스는 세계적인 센세이션을 일으켰고, 사람들은 동물도 사람처럼 생각할 수 있다고 믿었다. 

문제는 한스가 위에 언급한 내용 중 어떤 것도 실제로 할 수 있는 것은 없었다는 점이다. 후일 연구원들의 조사 결과, 한스는 질문하는 사람의 태도, 호흡, 얼굴 표정 변화를 관찰함으로써 정답을 맞추는 법을 알았던 것으로 밝혀졌다. 질문하는 사람과 멀리 있을 때, 한스가 정답을 맞추는 능력은 떨어졌다. 한스가 똑똑하다는 생각은 한낱 착각에 불과했다.

한스 이야기는 AI 연구원들이 알고리즘 능력을 평가할 때 주의해야 할 사항으로 인용된다. 시스템은 보이는 것만큼 똑똑하지 않다. 정확히 파악하도록 주의해야 한다. 

https://wp.technologyreview.com/wp-content/uploads/2021/04/Kate-Crawford-author-photo-2021.jpg?w=1768
케이트 크로포드

그러나 AI 분야에서 업적이 탁월한 케이트 크로포드(Kate Crawford)는 새 저서 ‘아틀라스 오브 AI (Atlas of AI)’에서 이 생각을 전면 뒤집었다. 문제는 사람들이 한스의 업적을 정의하는 방식에 있었다고 주장했다. “한스는 이미 서로 다른 종(種) 사이에 의사소통 하기, 사람들 앞에서 묘기 부리기, 상당히 오래 견디기 등 놀라운 행동을 하고 있었지만, 이 행동이 똑똑한 것으로 간주되지는 않았다.”

이러한 연유로 크로포드는 인공지능과 인공지능이 실생활에 미치는 영향에 대해 탐구를 시작했다. 새 저서는 챕터마다 그동안 사람들이 얼마나 협소한 시각으로 인공지능 기술을 바라보고 정의했는지 밝힘으로써 이 기술에 대한 이해를 넓히고자 한다.

크로포드는 컴퓨터 제조에 사용되는 희토류(Rare Earth Element) 채굴 광산부터 아마존 주문 이행 센터(Fulfillment Center)까지 세계 여행을 통해 이해를 넓혀준다. 아마존 주문 이행 센터는 끊임없는 성장과 이윤 추구를 목적으로 인간의 기계화가 이뤄진 곳이다. 책 1장에서, 크로포드는 실리콘밸리 중심부에서 네바다 클레이튼 밸리 작은 탄광촌으로 밴 몰고 가기에 대해서 이야기한다. 그곳에서 그녀는 컴퓨터에 전력을 공급하는 리튬을 얻는데 필요한 행위가 얼마나 환경을 파괴하고 있는지에 대해서 조사한다. 이 이야기는 두 곳이 물리적으로는 상당히 가깝지만, 경제적으로는 얼마나 큰 차이가 나는지를 보여주는 강력한 사례이다.


크로포드는 이같은 현장 조사에 바탕을 둔 분석을 통해, 인공지능은 단순히 ‘클라우드’에서 실행되는 효율적인 소프트웨어라는 완곡한 표현에서 벗어난다. AI를 가능하게 하는 환경과 노동, 그리고 심각한 문제를 가진 그 이면의 역사에 대한 자세하고 생생한 그의 묘사를 접하고 나면, 인공지능 기술에 대해 순전히 추상적으로 계속 이야기할 수는 없게 된다.

4장에서는 크로포드가 우리를 공간이 아닌 시간 여행으로 데려간다. 이 분야가 분류에 얼마나 집착하는지 설명하기 위해, 그녀는 필라델피아 펜실베니아대학교 인류고고학 박물관(Penn Museum)을 방문하여 사람의 두개골 전시장을 유심히 관찰한다.

이 두개골은 19세기 미국의 새뮤얼 모튼(Samuel Morton)이라는 두개골학자가 수집하였다. 그는 측정을 통해 ‘인종’을 아프리카인, 아메리카 원주민, 백인, 말레이인, 몽골인 이렇게 다섯 종류로 ‘객관적으로’ 분류하는 것이 가능하다고 믿었다. 크로포드는 모튼의 연구와 현대 AI 시스템(세상을 정해진 범주로 계속 분류) 사이에 평행선을 긋는다.

그녀는 이런 분류가 객관적인 것과는 거리가 멀다고 지적한다. 이런 식의 분류는 사회질서를 강요하고, 위계 서열을 당연시하며, 불평등을 확대한다. 그래서, AI는 더 이상 객관적이거나 중립적인 기술로 간주될 수 없다.

크로포드는 20년 간 대규모 데이터 시스템, 머신러닝, 인공지능이 현실 세계에 미치는 영향에 대해 파악하느라 고군분투했다. 크로포드는 2017년 메러디스 휘태커(Meredith Whittaker)와 AI나우(AI Now) 연구소를 공동 설립하였다. AI나우는 인공지능 기술이 사회적으로 미치는 영향에 대해 연구를 시작한 최초의 단체 중 하나이다. 그녀는 또한 현재 로스엔젤레스 USC 애넌버그대 교수이자, 파리 고등사범학교(École Normale Supérieure) AI 및 사법 분야 초대 객원 의장을 역임하고 있으며, 마이크로소프트 리서치(Microsoft Research) 선임 수석 연구원으로 재직 중이다.

5년 전 크로포드는 데이터와 AI가 중립적이지 않다는 단순한 생각을 소개하려고 계속 연구 중이었다고 밝혔다. 그러나 지금은 이와 관련된 대화가 더욱 무르익었고, AI 윤리 분야가 성장하게 되었다. 그는 이번 책 발간으로 이 분야가 계속 발전하기를 기대한다. 

기자는 크로포드와 함께 그녀의 저서에 대해서 담화를 나누었다. 

아래 인터뷰는 편집본임을 밝힌다.

왜 이 프로젝트를 하려고 했나? 어떤 의미가 있는가?

크로포드: 그 동안 나온 인공지능 서적은 주로 기술적 성취에 대해서 너무 협소하게만 다룬다. AI 분야의 위인에 대해 쓴 책도 가끔 있다. 그러나 인공지능이 무엇인지에 대해서는 이게 전부다.

이로 인해, 인공지능이 왠지 객관적이고 중립적인 순수 기술 시스템인 것처럼 굉장히 왜곡된 시선이 나타나게 되었다. 또한, 스튜어트 러셀(Stuart Russell)과 피터 노빅(Peter Norvig)이 본인들의 저서에서 언급한 것처럼, 인공지능을 어떤 행동이든 최선의 결정을 내리는 똑똑한 대리인으로 보는 시선도 있다.

나는 전혀 다른 것을 해보고 싶었다. 인공지능이 가장 넓은 의미에서 어떻게 개발되는지를 진정으로 이해하기 위해서였다. 여기에는 인공지능을 움직이는 천연 자원, 인공지능이 소비하는 에너지, 공급망 뒤에 숨어 있는 노동력이 있다. 또한, 우리가 매일 사용하는 모든 플랫폼과 장치에서 추출되는 방대한 양의 데이터를 관찰하는 것도 포함된다.

그렇게 함으로써, 인공지능은 인공적이지도 않고 똑똑하지도 않다고 주장하고 싶었다. 인공지능은 인공적인 것과 반대이다. 인공지능은 지구 지각에서 가장 물질적인 부분, 인간의 육체 노동, 우리가 매일 생산하고 말하며 사진 찍는 모든 결과물에서 나온다. 또한, 똑똑하지도 않다. 이 분야는 애초에 잘못이 있다고 생각한다. 사람들은 컴퓨터가 인간의 두뇌 같아서, 아이들처럼 훈련만 시키면, 점점 초자연적인 존재로 진화할 것이라고 추측했다.

정말 문제 있다고 생각하는 부분이다. 사실, 우리는 데이터가 가진 문제 만큼 문제를 가질 수 밖에 없는 대규모 통계 분석의 한 형태에 대해 지능(Intelligence)이라는 개념을 도입했다. 

사람들이 AI에 대해 이렇게 생각해야 된다고 믿었나? 아니면 여정을 통해 생각할 거리를 제공하고 싶었나?

후자가 진짜 목적이었다. 2016년, 블라단 욜러(Vladan Joler)와 ‘AI 시스템 해부(Anatomy of an AI system)’라는 프로젝트를 시작했을 때가 전환점이었다. 우리는 음성인식 AI 관련 특별 컨퍼런스에서 만났고, 아마존 에코(Amazon Eco)가 작동하기 위해 필요한 것들이 무엇일지 알아내려 했다. 어떤 부품으로 구성되어 있을까? 데이터 추출은 어떻게 할까? 데이터 파이프라인 단계는 어떻게 되는가?

이것을 이해하기 위해서는 부품이 어디서 왔는지 파악해야 한다는 것을 깨달았다. 칩 생산 장소, 탄광 위치, 제련 장소, 물류와 공급망 경로를 알아야 했다.

이 장치의 수명을 어떻게 파악해야 하나? 전자 폐기물이 말레이시아, 가나, 파키스탄 같은 지역 어디에 있는지 어떻게 알 수 있을까? 결국 우리는 생산부터 처리까지 자재 공급망 추적에 매우 긴 시간이 걸리는 2년간의 연구 프로젝트를 수행했다.

AI 시스템을 더 크고, 더 긴 시간적 관점에서 바라보기 시작하면, 여러분은 ‘AI 공정성(AI Fairness)’과 ‘윤리성(Ethics)’이라는 매우 좁은 틀에서 벗어날 수 있다. 그리고 인공지능은 지구에 지속적으로 엄청난 지형적 변화를 가하는 시스템일 뿐만 아니라, 현재 존재하는 노동 불평등을 확대시키는 시스템이라는 결론에 이른다.

그래서 나는 아마존 에코라는 장치 하나에 대한 분석에 그치지 않고, 산업 전반적으로 이런 종류의 분석을 확대 적용해야 한다는 것을 깨달았다. 나로서는 큰 도전이었고, 그래서 이 AI 서적을 집필하는 데 5년이 걸렸다. 이러한 시스템이 우리에게 어떤 영향을 미치는 지 지켜봐야 한다. 왜냐하면 사람들은 이 시스템이 지구에 미치는 영향을 진정으로 파악하는 연구는 거의 하지 않기 때문이다.

정말 다행스러운 점은 노동, 데이터, 불평등에 대해 의문을 갖는 학자들의 연구 분야가 점점 늘어나고 있다는 것이다. 지금 떠오르는 사람으로는 루하 벤자민(Ruha Benjamin), 사피야 노블(Safiya Noble), 마 힉스(Mar Hicks), 줄리 코헨(Julie Cohen), 메러디스 브로사드(Meredith Broussard), 시몬 브라운(Simone Brown)이 있고, 다른 연구자들도 많다. 이 연구가 환경, 노동권, 데이터 보호를 연결하는 관점을 도입함으로써 지식 체계(Body of Knowledge)에 기여할 것으로 보인다.

이 책 전반적으로 여정을 배경으로 하였다. 거의 모든 챕터 마다 실제로 주변을 둘러보는 것으로 시작한다. 왜 이것이 중요하다고 생각했나?

알고리즘 공간에서는 머신러닝을 둘러싸고 많은 논쟁이 일어난다. 이처럼 추상적으로 ‘어디에도 없는 곳(Nowhere)’에서 벗어나 특정 장소에서 AI 분석을 시작하는 것은 매우 의식적인 선택이었다. 또한, 우리가 이렇게 하지 않고, 알고리즘적 객관성 같은 ‘어디에도 없는 공간(Nowhere Space)’에 대해 이야기했다면, 이것은 정치적인 선택이면서 파장도 미친다는 사실을 강조하고 싶다.

여러 장소를 한데 엮으면서, 나는 지도를 비유하여 생각하기 시작했다. 지도를 바탕으로 이야기를 풀어가는 책은 흔하지 않기 때문이다. 책을 펼치면 대륙 전체 크기를 볼 수도 있고, 확대해서 산맥이나 도시를 볼 수도 있다. 그러면 관점과 규모에서 변화가 생긴다.

책에서 물리학자 우슬라 프랭클린(Ursula Franklin)의 멋진 표현을 인용했다. 그녀는 지도가 집단적 통찰을 이용하여 어떻게 알려진 것과 알려지지 않은 것을 이어주는지에 대해 기술한다. 그래서 내가 가진 지식뿐만 아니라, AI가 정말 말 그대로 바위, 모래, 기름으로 만들어지고 있는 실제 장소에 대해서도 생각해보았다.

책은 어떤 평가를 받았나?

발간 초기에는, 사람들이 이런 생각이 이미 늦었다고 느낀다는 것을 알고 놀랐다. 지난 몇 년과 다른 종류의 대화를 해야 한다는 것을 깨달은 순간이었다.

그 동안 AI 시스템의 사소한 기술적 해결에 초점을 맞추고, 항상 기술적 대응과 답변에 치중하는데 시간을 너무 많이 할애했다. 지금은 AI 시스템이 남기는 환경 발자국(Environmental Footprint)과 씨름해야 한다. 시스템 개발 중 발생하는 실질적인 노동 착취 문제를 해결해야 한다.

우리는 이제 인터넷에서 가능한 많은 데이터를 빼내서 이것을 진실이라고 부를 때 발생하는 단점을 보기 시작했다. 이런 식으로 세상을 규정지음으로써 너무 많은 피해가 발생했다. 그리고 언제나처럼, 피해는 고스란히 이미 소외되고 시스템 혜택을 누리지 못하는 계층의 몫이었다. 

사람들이 다른 방식으로 행동하기를 바라는가?

출구 없는 대화가 쉽게 오갈 수 없는 상황이 되면 좋겠다. 이런 대화 속에서는 ‘윤리’나 ‘인공지능의 유익한 사용(AI for Good)’ 같은 용어의 실제 의미가 완전히 변질된다. 닫힌 커튼을 열어 젖히고 시스템 레버를 실제로 작동시키는 자는 과연 누구인지 알아보자고 했으면 한다. 이는 윤리 원칙 같은 것에만 얽매이지 말고 누가 실질적으로 권력을 쥐고 있는지 파악하자는 의미이다. 

어떻게 하면 이런 윤리적 틀에서 벗어날 수 있을까?

지난 10년 동안 기술 분야의 발목을 잡는 무언가가 있었다면, 그건 변화 이론(Theory of Change)이 항상 공학의 중심에 있었다는 사실이다. 항상 “문제가 생기면, 기술적 해결책이 있다”고 했다. 최근 들어 이 범위가 확대되기 시작했다. “음, 문제가 있다면, 규제(Regulation)로 해결 가능하다. 이것은 정책 입안자가 해야 될 일이다.”

범위는 앞으로 더욱 확대되어야 한다. 또한 다음과 같은 질문도 제기되어야 한다. 시민단체는 어디에 있고, 운동가들은 어디에 있나? 기후 정의, 노동권, 데이터 보호 문제를 다루는 옹호론자들은 어디에 있는가? 관련 논의에 이들을 어떻게 참여시킬 것인가? 피해를 입은 커뮤니티를 어떤 방식으로 포함시킬 것인가?

시스템은 규제 감독과 민주주의 보호권 밖에 있는 수십억 명의 사람들에게 정말 설명이 불가능한 방식으로 영향을 미치고 있다. 이 문제에 대해 어떻게 하면 훨씬 심도 있게 민주적으로 대화를 할 수 있을까?

그런 의미에서 이 책은 테크를 중심에서 밀어내고, 어떤 세상에서 살고 싶은지 같은 의미 있는 질문을 던지기 시작했다. 

어떤 세상에서 살고 싶은가? 어떤 미래를 꿈꾸는가?

기후 정의와 노동권 같은 문제 해결을 위해 정말 힘겨운 노력을 해 온 단체들이 힘을 모았으면 한다. 또한, 사회 변화 및 인종 정의 문제와 관련하여 반목했던 단체가 진정으로 우려를 공유하고, 합의점에 이르렀음을 깨달았으면 좋겠다.

시간이 부족하다. 지구는 이미 극심한 압박을 받고 있다. 극히 일부에게 권력이 편중되는 현상을 목격하고 있다. 철도 시대 초창기에 권력이 집중된 현상을 겪었을 것이다. 이제 바로 테크 분야에서 그런 일이 일어나고 있다.

그래서 우리는 사회를 다양화하고 민주적으로 책임 지는 방법을 찾아야 한다. 이것은 단체 행동이 필요한 문제이지, 개인의 선택 사항이 아니다. 또한, 더 윤리적인 기술 브랜드를 선택하는 문제도 아니다. 이 거대한 도전에 맞서 함께 협력할 수 있는 방법을 모색해야 한다. 

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.