12월 2일 수요일 저녁 트위터를 통해, 구글 AI윤리팀 공동 책임자 팀니트 게브루는 구글에서 해고당했다고 밝혔다.

AI 윤리 연구 분야에서 명성이 높은 게브루는 획기적인 논문을 공동 집필했다.  이 논문에서 게브루는 인공지능이 여성과 유색인종에 대해서는 얼굴 인식 정확도가 떨어져, 이를 활용할 경우 차별로 이어질 수 있음을 밝혔다. 또한 ‘AI의 흑인들’ (Black in AI)을 공동 설립했고, 기술 산업의 다양성을 신장하는 활동을 했다. 구글에서 게브루가 관여한 팀은 AI 분야에서 가장 다양성을 띤 팀 중 하나이며, 손꼽히는 전문가들이 다수 포진하고 있다. 때때로 주류 AI 관행에 도전하는 괄목한 성과를 올려 업계 동료들의 부러움을 샀다.

일련의 트윗과 유출된 메일, 언론 기사들은 게브루가 공동 집필한 또 다른 논문을 둘러싼 회사와 게브루 간 갈등이 게브루의 사임으로 정점에 올랐음을 보여준다. 제프 딘(Jeff Dean) 구글 AI 책임자는 사내 메일(이후 온라인에 게재)을 통해 “논문은 출판 기준에 미달했다. 게브루는 조건이 맞지 않을 경우 사임하겠다고 했는데, 구글 입장에서는 게브루가 원하는 조건이 달갑지 않았다”고 밝혔다. 게브루는 휴가를 다녀오면 “마지막 일정”을 협상하기로 했다고 트윗했다. 하지만 휴가가 끝나기도 전에 게브루의 회사 이메일 계정이 차단되었다.

AI 윤리 분야의 여러 선구자들은 온라인상에서 게브루가 연구에서 드러난 불편한 진실을 밝혔기 때문에 쫓겨났다고 주장한다. 1,400명이 넘는 구글 직원과 1,900명의 지지자들이 항의 서한에 서명했다.

무엇 때문에 게브루가 해고되었는지 아직 정확히 알려진 바 없다. 게브루와 구글은 소셜 미디어에 게재된 글 이상의 언급을 피했다. 그러나 MIT 테크놀로지 리뷰는 공동저자인 에밀리 M. 벤더(Emily M. Bender) 워싱턴대 컴퓨터언어학 교수에게 연구 논문 사본을 입수했다. 벤더는 논문 저자들이 온라인 초안 유출을 바라지 않았기 때문에, 본지에 논문 자체를 발표하지 말아달라고 부탁했다. 이로써 AI에 대해 게브루와 동료 연구진이 제기하던 문제 중 구글의 우려를 자아낸 부분이 무엇이었는지 조금이나마 알 수 있다.

“확률론적 앵무새의 위험에 대하여: 언어 모델이 너무 커도 될까?(On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?)”라는 제목의 이 논문은 대형 언어 모델(엄청난 양의 텍스트 데이터로 훈련된 AI)의 위험을 다루고 있다. 언어 모델은 지난 3년 간 점점 더 인기가 많아지고 점점 더 규모가 커지고 있다. 조건이 맞을 경우, 언어 모델은 설득력 있고 의미 있는 새 텍스트를 잘 만들고, 가끔 언어에서 의미를 추정하는 것도 잘한다. 그러나 논문 도입부를 보면 “우리는 언어모델 개발과 관련된 잠재적 위험과 위험 완화 전략을 위해 충분히 생각했는지 묻고자 한다”고 되어있다.

논문 내용 무엇이길래

다른 연구자들의 연구를 집대성한 기반 위에 쓰여진 이 논문은 자연어처리의 역사, 대형 언어 모델의 4대 리스크, 추가 연구에 대한 제안을 제시한다. 주요 내용을 아래와 같이 요약하였다.

환경 및 금융 비용

대형 AI 모델 훈련은 컴퓨터 연산 능력이 많이 필요하고, 따라서 전력 소비가 크다. 게브루와 공저자는 엠마 슈트루벨(Emma Strubell)과 동료들이 2019년 발표한 논문에 나온 대형 언어 모델의 탄소배출량과 금융 비용에 대해 언급한다. 언어 모델이 점점 더 많은 데이터를 제공받으면서, 2017년 이후 에너지 소비량과 탄소 발자국(Carbon Footprint)이 폭발적으로 증가하고 있다는 것을 발견했다.

슈트루벨의 연구로 특정 유형의 ‘신경 구조 검색(NAS: Neural Architecture Search)’ 기법을 사용한 하나의 언어 모델이 평균적으로 미국 자동차 5대의 평생 생산량인 62만 6,155 파운드 (284톤)의 이산화탄소를 배출했음이 밝혀졌다. 구글의 검색엔진 개선에 쓰인 언어 모델 BERT는 슈트루벨의 추정치에서 1,438 파운드의 이산화탄소를 생산했다. 이는 뉴욕시와 샌프란시스코를 왕복 비행했을 때 나오는 수치와 거의 같은 수준이다. 이러한 수치는 모델을 한 차례 훈련시키는 데 드는 최소 비용으로 보아야 한다. 실제로, 모델은 연구 개발 과정 중 여러 차례 훈련과 재훈련을 반복한다.

대규모 인공지능 모델을 만들고 유지하는데 이렇게 많은 자원이 투입되기 때문에 결국 이는 자금력이 있는 조직들만 활용하게 될 가능성이 크다. 반면 이 과정에서 나타나는 기후 변화의 피해는 가장 소외된 사람들에게 가장 크게 닥친다. 이것이 게브루 논문이 지적하는 바다. 이들은 논문에서 “환경에 대한 부정적 영향과 자원에 대한 불공정한 접근을 시정하기 위해 연구자들이 에너지 효율성과 비용 절감에 더 신경써야 할 때”라고 썼다.

대용량 데이터, 이해하기 어려운 모델

대형 언어 모델이 학습하는 텍스트의 규모는 기하급수적으로 커지고 있다. 이는 연구진이 인터넷에서 가능한 모든 자료를 수집하려고 했다는 의미인데, 그 결과 인종차별, 성차별, 악의적 언어가 훈련 데이터로 이어질 가능성이 있다.

인종차별적 언어를 정상으로 간주하도록 훈련 받은 AI 모델은 분명히 옳지 않다. 그러나 연구원들은 몇 가지 더 미묘한 문제를 지적한다. 그 중 하나는 언어 변화가 사회 변화와도 밀접한 관련이 있다는 점이다. 예를 들면, 미투 운동과 흑인 생명 존중 운동(Black Lives Matter)의 일환으로 성차별적이지 않고 인종차별적이지 않은 어휘를 새로 정립하려는 노력이 있었다. 방대한 온라인 데이터로 훈련된 AI 모델은 위와 같은 단어 뉘앙스를 이해하지 못하며, 새로운 문화적 규범에 부합하는 언어를 생산하거나 해석하지 못할 수 있다.

또한 인터넷 접근성이 낮아서 온라인상의 언어 발자국(Linguistic Footprint)이 넓지 않은 국가와 사람들의 언어와 규범을 담지 못할 것이다. 그렇게 되면 AI가 만든 언어는 단일성을 띠게 되고, 가장 부유한 국가와 공동체의 관행을 작은 국가와 공동체에 반영할 것이다.

또한 훈련을 위한 데이터세트가 워낙 방대하기 때문에, 그 안에 내포된 편견(Embedded Bias)을 찾아내기 어렵다. 연구원들은 “따라서 문서화하기 너무 방대한 데이터세트에 의존하는 방법은 본질적으로 위험하다”라며 “문서화된 사항은 문제가 생겼을 때 원인을 추적할 수 있지만, […] 문서화되지 않은 훈련 데이터는 뚜렷한 의도가 없이도 계속 피해를 입힌다.”

연구 기회 비용

세 번째 문제는 ‘잘못된 연구 노력’의 위험이라고 요약할 수 있다. 대부분의 AI 연구원들은 대형 언어 모델이 실제로 언어를 이해하지 못하고 조작만 능하다는 점을 인정하지만, IT 대기업(Big Tech)은 언어를 더 정확하게 조작하는 모델로 돈을 벌 수 있으니 투자를 멈추지 않는다. 게브루와 동료들은 “이러한 연구 활동은 기회비용을 수반한다”고 밝혔다. 1) 이해를 얻을 수 있거나 2) 더 작고 섬세하게 큐레이션된 데이터세트(결과적으로 에너지 소비 감소)로 좋은 결과를 얻을 수 있는 AI 모델에 많은 노력을 기울이지 않는다.

의미의 오해

대형 언어 모델의 네번째 문제는 언어 모델이 진짜 사람의 언어를 아주 잘 흉내내기 때문에 사람을 속이는 데 이용하기 쉽다는 것이다. 몇 가지 유명한 사례 중, 한 대학생이 블로그에서 AI를 이용해 자기 계발과 생산성에 대한 조언을 제공했던 적이 있었는데, 이 블로그는 인기를 끌었다.

위험은 분명 있다. AI 모델은 선거나 코로나19와 연관된 허위 정보 생성에 이용될 수 있다. 기계 번역이 의도치 않게 잘못된 결과를 내놓을 수도 있다. 연구진은 다음과 같은 예를 들었다. 페이스북이 2017년 팔레스타인 남자가 아랍어로 올린 “아침 인사(Good Morning)”를 “공격하라(Attack Them)”는 뜻의 히브리어로 잘못 번역하는 바람에 해당 남성이 체포되기도 했다.

왜 중요한가

게브루와 벤더의 논문은 6명이 공동으로 저술하였으며, 이 중 4명이 구글 연구원이다. 벤더는 파장을 우려해 이름을 공개하지 말아달라고 부탁했다. (벤더는 정년이 보장된 교수로 재직 중이다. 그는 이것이 학문적 자유의 중요성을 잘 보여준다고 말한다.)

벤더는 이 논문의 목표는 자연어처리의 최근 연구 환경을 검토하는 것이었다며 “모델을 만드는 사람들이 실제로 데이터를 파악하지 못하는 상황이다. 장점이 너무 분명하기 때문에 한 발짝 뒤로 물러서서 단점은 무엇인지 물어보는 것이 특히 중요하다. 위험을 줄이면서 장점을 어떻게 취할 수 있을까?”라고 말한다.

구글 AI 책임자인 딘은 사내 메일을 통해 논문이 기대에 못 미친 이유는 관련 연구를 너무 많이 무시했기 때문이라고 주장했다. 특히, 딘은 대형 언어 모델의 에너지 효율 증대 및 편향 문제 완화 방법에 대한 최근 연구도 빠져있다고 지적했다.

그러나 6명의 공동 저자는 다양한 분야의 연구를 참조했다. 이 논문에 기재된 참고문헌은 128개나 된다. 벤더는 “한 두명의 저자가 해낼 수 없는 연구이다. 여러 명의 협업이 꼭 필요했다”고 언급했다.

우리가 본 논문은 또한 대형 언어 모델의 크기와 연산 비용을 줄이고, 내포된 편견을 측정하기 위한 몇 가지 연구 결과들의 소개했다. 그러나 이런 노력만으로는 부족했다고 주장한다. 벤더는 “다른 연구 결과도 적극 반영할 것”이라고 말했다.

구글 몬트리올 사무소에서 AI를 연구하는 니콜라스 르루(Nicolas Le Roux)는 트위터를 통해 딘의 이메일에 담긴 논리는 일반적이지 않다고 평했다. 르루는 “외부에 논문을 제출할 때, 회사에서 확인하는 것은 언제나 민감한 자료의 공개 여부이지, 문헌 검토의 품질이 아니다”고 말했다.

딘의 이메일에도 게브루와 동료 연구진이 컨퍼런스에 논문을 제출하기 전, 내부 검토용으로 구글 AI에 단 하루만 시간을 줬다고 적혀 있다. 딘은 “우리의 목표는 동료평가를 마친 저널과 경쟁하는 것이다. 출판 전 어떻게 연구를 검토할 지 엄격하면서도 사려 깊은 방법으로 말이다”라고 밝혔다.

벤더는 그렇다고 하더라도 이번 컨퍼런스에서 논문이 상당한 검토 과정을 거치게 될 것이라고 했다. “학문은 언제나 대화이고, 계속해 개선해 나가는 과정이다”라고 말했다.

전 구글 홍보 책임자 윌리엄 피츠제럴드(William Fitzgerald) 등도 딘의 주장에 의문을 제기하고 있다.

구글은 이후 대형 언어 모델의 폭발적 증가로 이어진 상당수 기초 연구에서 선구자적 역할을 하였다. 구글 AI는 2017년 자사 언어 모델 BERT와 오픈AI(OpenAI)의 GPT-2와 GPT-3 기반이 되는 트랜스포머 언어 모델을 최초로 개발했다. BERT는 이제 구글의 고수익 사업 분야인 검색에도 힘을 실어주고 있다.

벤더는 구글의 행동이 향후 AI 윤리 연구의 사기를 저하시키는 결과를 일으킬 수 있다고 우려한다. AI 윤리 분야 최고 전문가 중 상당수가 굴지의 IT 기업에서 근무하는 이유도 그곳에 돈이 있기 때문이다. 벤더는 “이는 여러 모로 장점이 많다. 그렇지만 세계 과학 발전에는 가장 좋은 환경이 아닐 수도 있다”라고 주장했다.