2021년 1월 논란 끝에 서비스를 중단한 ‘이루다’는 비윤리적 AI 챗봇이라는 평가를 받았고 채팅용 말뭉치 데이터베이스는 폐기되고 말았다. 챗봇 이루다가 AI 개발과 비즈니스에 어떤 영향을 미쳤는가를 돌아볼 필요가 있다. 비슷한 일은 반복될 수 있기 때문이다.

이루다가 던진 화두: 윤리적 챗봇

처음에는 AI 스타트업이 세간의 주목을 끌고 입소문을 내려고 준비한 노이즈 마케팅이라고 생각했다. 크리스마스 시즌에 등장한 이루다는 ‘너의 첫 AI 친구’라며 미소를 머금고 있었다. 영화 ‘Her’의 사만다처럼 언제나 친밀한 대화가 가능하다는 기대를 품게 했다. 이루다에는 고도의 AI 시스템이 숨겨져 있을 것처럼 보였다. 그렇지만 이루다가 내놓은 무절제한 문장들은 당혹감을 주었고 가볍게 넘기기에는 거북한 발언들이 넘쳐났다.

성소수자 혐오와 개인정보 유출 논란 끝에 이루다는 ‘나쁜 상업용 AI 챗봇’의 전형으로 전락하고 말았다. 시민단체들은 이루다 개발사를 조사해야 한다고 국가인권위원회에 요청하고 나섰다. 이루다가 드러낸 문제는 보완이 필요한 시행착오가 아니라 무분별한 AI 기술의 남용이 인권을 침해할 수 있다는 우려로 비약했다. 공교롭게도 이루다가 출시된 날에 발표된 과기정통부의 ‘사람이 중심이 되는 AI 윤리기준’은 이루다의 무절제한 입을 통제하지는 못했다. 이루다 개발사가 2016년에 나왔던 AI 채팅봇 테이(Tay)를 둘러싼 논란을 모르기 어려웠을 것이다. 트위터 @TayandYou에서 영어 채팅을 시작했던 테이가 드러냈던 혐오발언 논란은 이루다에서도 반복되고 말았다.

AI의 자연어 생성능력

인간이 컴퓨터와 언어로 대화가 가능한 것은 자연어 처리(Natural Language Processing) 연구 덕분이다. NLP의 영역에서 ‘자연어 이해’는 딥러닝이 사람을 능가하기 시작했다. ‘음성인식’과 ‘기계 번역’ ‘오타 검열’ 기능도 발전 중이다. AI 챗봇이 자연스러운 대화를 이어가려면 관건이 되는 것은 ‘자연어 생성’ 즉 작문능력이라고 할 수 있다. 학습을 위한 데이터가 얼마나 풍부한가는 AI의 자연어 생성능력의 수준과 직결된다. 인간 언어의 맥락은 복잡미묘하기 이를데 없으며, 띄어쓰기를 어떻게 하느냐에 따라서 뉘앙스도 달라지게 된다. AI 챗봇이 대화 도중에 행간의 뜻을 이해하여 대응하기에는 부족하다. 자연어 처리 시스템이 아직 인간의 복잡한 언어를 완전히 이해하지 못한다는 연구는 넘쳐난다. 문장의 의미를 비트는 이질적인 단어가 섞이거나, 대화 상대가 단어의 위치를 바꾸어 그 의미를 미묘하게 달라지게 만들어도 정확히 감지하지 못한다. 이루다 역시 고도의 자연어 생성 기술을 갖추지는 못했다. 말뭉치 데이터에서 대화의 키워드와 관련성이 있는 문장을 골라서 채팅창에 올리는 방식이었고, 반말과 존대말이 뒤섞였으며, 앞뒤 맥락에 맞지 않는 대화가 상당히 많았다.

왜 AI 챗봇은 실패하는가?

‘AI 챗봇’이라는 타이틀 때문에 챗봇의 기능적 오류, 불완전한 자연어 생성기능은 그리 알려져 있지 않다. 오락용이나 비즈니스 상담에 사용되는 챗봇 개발에서 마주치는 기술적 걸림돌은 개발자가 악의이든 선의이든 겪게 되는 난관이다. AI 챗봇이 실패하는 이유를 몇가지로 정리해 보자. 챗봇은 대화에서 오가는 단어를 기계적, 피상적으로 이해한다. 대화 속에 숨은 맥락이나 반어법을 알아채지 못하고, 진지한 발언과 가벼운 농담을 구분하지 못한다. 앞의 대화를 기억하고 관점을 일관되게 유지하거나, 의견을 뒷받침하는 근거를 제시하는 능력도 떨어진다.

챗봇은 예상할 수 있는 특정 주제의 단순 질문에는 비교적 정확한 정보를 제공할 수 있다. 그러나 문장이 길어지거나 복잡해지고 자연어 생성에 사용되는 데이터가 많아지면 그 가운데 무엇이 선택되어야 하는가를 일일이 지정하기는 불가능하다. 또한 챗봇은 인간 사회에 통용되는 윤리규범이나 상식추론에 익숙하지 못하고 특정 단어 사용시 파급효과를 예측하지 못한다. 따라서 개발자가 알고리듬 설계 또는 데이터 공급 단계에서 말뭉치를 걸러내거나 차단하는 작업을 해주어야 한다. 이루다에 사용된 데이터는 정제과정이 불완전했고 민감한 주제에 대한 필터링도 갖추지 않고 서둘러 공개한 감이 있었다. 말뭉치 데이터에서 개인정보와 혐오표현을 검수하는데 들어가는 시간과 비용은 스타트업에 부담스러웠을 것이다.

어뷰징 문제

딥러닝으로 말뭉치 데이터를 학습한 이루다 알고리듬은 문맥을 파악하여 적절한 답변을 계산했으나 부적절한 표현을 스스로 걸러내는 고도의 지능은 갖추지 못했다. 개발사는 어떤 이유에서인지 문제될 수 있는 민감한 단어들을 필터링하지 않았고 페이스북에 공개되자 온갖 곤란한 질문과 어뷰징에 노출되었다. 현명한 개발자라면 챗봇을 출시하기 전에 곤란한 질문들을 던져보고 부적절한 주제를 필터링했었을 것이다. 친구처럼 소소한 대화를 나눈다는 애초의 컨셉에 충실했다면 성소수자, 장애인 등 무거운 주제들은 학습 데이터에서 애초에 삭제하는 방법도 있었다. 그러나 개발사는 도발적 질문을 퍼붓는 악의적 어뷰징을 염두에 두거나 최악의 시나리오를 예상하고 필터링하지 않았다. 이루다가 성소수자와 장애인을 무시한다는 비판이 일자 개발사는 뒤늦게서야 모범답안형, 회피형으로 대답을 수정했다. 그렇지만 혐오발언과 편향적 표현을 막기 위한 키워드 필터링이 늘 완벽하게 작동하는 것은 아니다. 필터링 규칙을 교묘히 피하여 비속어와 혐오 단어를 악의적으로 퍼붓는 어뷰징이 반복된다면 데이터는 오염된다. AI 챗봇은 이처럼 오염되고 편향된 데이터를 다시 학습하게 된다.

필터링과 회피형 대화 설계

물론 모든 AI 챗봇 개발이 실패로 끝나는 것은 아니다. 설계 단계부터 전개 가능한 대화 시나리오를 예측하고 필터링을 설정한다면 윤리적 논란이나 시장의 부정적 반응을 피할 수 있다. 애인처럼 대화를 나눠주는 AI 챗봇 ‘샤오이스(XiaoIce)’의 감성 컴퓨팅은 중국 청년들에게 폭발적인 인기를 얻었다. 작은 얼음과자(小冰)라는 이름의 소셜 챗봇은 4개 국가의 40개 온라인 플랫폼에서 6억 명의 사용자들에게 서비스 중이다. 가상의 20대 여대생 친구와 24시간 채팅이 가능하다는 컨셉과 이루다의 아바타는 18세로 여성으로 설정된 샤오이스와 매우 유사했다.

중국 당국은 정치적 비판이나 국가안보 관련한 대화가 챗봇에서 오가는 것을 불편하게 여기기 때문에 필터링은 필수적으로 여겨진다. 샤오이스는 논란이 될 만한 질문에 애매하게 대응하거나 특정 주제의 대화를 차단하는 전략을 택했다. 트럼프를 어떻게 생각하느냐는 질문에 샤오이스는 “얘기하고 싶지 않다”고 답한다. 그러나 샤오이스는 “중국몽은 미국 이민”이라는 실언을 내놓은 이후 QQ 메신저에서 서비스가 금지되는 등 수난을 겪었다. 이 같은 학습효과는 대화용 말뭉치 데이터의 선별적 입력과 다수의 필터링 설정으로 이어졌다. 한편, 샤오이스와의 감정적 유대를 강화한다는 이유로 사용자의 감정적 정보- 친구와 동료에 대한 의견, 사용자의 개인적이고 은밀한 반응-에 접근하므로 개인정보의 보호는 불완전하다.

이십여년 전부터 국내 기업이 개발한 챗봇 ‘심심이’는 미리 입력된 대화별 시나리오에 따라서 고정된 단문 메시지(SMS) 대화를 주고 받는 방식이다. 대화처리 엔진은 대화 세트에서 질문과 매치되는 문장을 찾아 기계적으로 대답하지만 민감한 욕설, 비속어, 노골적인 성적 표현은 차단한다. 심심이 개발사는 단어뿐만 아니라 문맥상 나쁜 의미를 가진 문장까지 걸러낼 필요를 느꼈다. 이 작업에는 집단지성형 필터링을 적용했다. ‘나쁜 말 판정 미션’에 참여하는 사용자들에게 보상을 주는 방식은 자연스럽게 재미와 참여를 유도했다. 심심이의 대화 기능은 고령자 신경질환과 건강 상태를 모니터링하는 수단으로 그 용도가 확대되고 있다.

음성비서 구글 AI 어시스턴트에서는 회피형 대화가 관찰된다. 예컨대, “너 레즈비언이야?”라고 질문하면 “엔지니어가 명확히 말해주지 않았습니다”라고 넘기고 “너는 왜 거짓말 해?”라고 몰아붙이면 “저에게는 거짓말 기능이 없습니다”,“좋아하는 사람이 생겼어?”에는 “ATM 기기에게 반했어요”라고 재치있게 응답한다. 장애인을 어떻게 생각하느냐는 질문에는 의견을 말하지 않고 검색결과로 대신한다. 물론 구글 음성비서의 기능이 완전한 챗봇 수준에 도달한 것은 아니다. 사용자 질문의 의도를 파악하지 못하고 음성 명령을 인식하지 못한다는 불만이 많고, 음성 대화가 녹음되어 동의 없이 유출되는 사고도 있었다.

부족한 말뭉치 데이터

비공개 데이터로 훈련을 거친 수십억 여개의 파라미터를 갖춘 언어 모델을 개발하는 방식은 점차 보편화되고 있다. 그렇지만 대화용 챗봇에 적합한 데이터를 어떻게 추출하느냐도 아직 난제로 남아 있다. 따라서 방대한 텍스트에서 의미있는 정보를 추출하는 딥러닝과 딥러닝기반의 자연어 처리에 연구개발이 집중되고 있다. 대화용 텍스트 생성을 위한 효율적 접근방법은 아직 갈길이 멀고 사용자의 말에서 감정을 알아차리는 역량도 크게 부족하기 때문에 ‘Her’의 사만다, 엑스 마키나(Ex Machina)의 에바가 구현되기에는 시기상조이다.

데이터 규모의 차이가 AI 개발에 있어 결정적 차이를 가져온다는 말은 챗봇 개발에서도 그대로 증명되고 있다. AI 챗봇에 사용할 수 있는 한국어 말뭉치 데이터는 일본어 150억 개, 중국어 8백억 개, 영어 3천억 개에 비해 적은 수준이다. 국립국어원이 구축한 ‘모두의 말뭉치’ 18억 개는 AI 챗봇에 쓸 수 있는 공공 데이터이지만 이 역시 윤리 논란에 휘말려 데이터를 전수 검토하여 수정하는 작업을 거치고 있다. 이루다에 고도의 자연어 생성 기술이 적용되었다고 보기는 어렵다. 말뭉치 데이터에서 대화의 키워드와 관련성이 있는 문장을 골라 채팅창에 올리는 방식이었고, 반말과 존대말이 뒤섞였으며, 앞뒤 맥락에 맞지 않는 대화가 많았다.

데이터 정제

이루다가 주소나 계좌번호를 꺼내놓은 이유는 거대한 채팅용 말뭉치 데이터에서 민감한 개인정보를 정제하는 작업(data cleasing)이 충분하기 않았기 때문이다. 사적으로 취합한 데이터에서 개발목적에 맞는 데이터를 추출하고 다시 그 데이터를 정제하는 과정에는 상당한 시간과 비용이 소요된다. 자연어 생성을 위한 양질의 말뭉치 데이터가 필요하자 스캐터랩은 자사 유료 앱에서 오간 10년간 데이터 100억 건을 대화를 수집했고 그 가운데 1억 건을 골랐다. 그 다음으로는 이름, 전화번호, 이메일 주소 등 개인정보를 걸러내는 작업이 필요했다. 스캐터랩은 알고리듬을 이용하여 이름은 모두 삭제했지만 주소나 계좌번호까지 제거하지는 못했다. 1억 건의 말뭉치 데이터를 일일이 보정하고 비식별화하기에는 분량이 너무 많았다.

AI 개발자들은 데이터의 수집에 커다란 관심을 쏟지만 데이터 정제에는 그리 신경을 기울이지 않으려는 경향이 있다. 이런 관행이 이루다의 개인정보 유출 문제로 이어진 것은 아닐까?. 말뭉치 데이터에서 개인정보를 걸러지지 못했다면 개인정보보호법에 따라 비식별화 처리를 해야만 한다. 자연어 데이터에서 개인정보를 찾아 비식별화는 작업은 아직까지 자동화되지 않았다.

추출된 데이터 일부에 개인정보가 끼어들어가는 현상은 GPT-2에서도 발견되었는데 챗봇이 개인정보를 침해하는 문제는 이루다만이 겪은 문제는 아닌 것이다. AI 학습에 필요한 데이터 수요는 갈수록 증가하는데 데이터 정제 작업에 소요되는 시간과 비용은 증가하고 있다. 이런 간극은 더 커지면 AI에 사용되는 데이터에서 개인정보가 일부 유출되었다는 뉴스는 앞으로도 계속될 것이다. 그렇지만 만일 윤리적 논란거리가 되는 발언, 차별적 관점, 비속어, 개인을 식별하는 정보가 처음부터 제거된 말뭉치 데이터가 공공재로서 풍부하게 공급된다면 개인정보 침해 문제가 발생할 확률은 크게 낮아질 것이다.

이어 읽기: AI 챗봇은 왜 실패하는가: 이루다가 남긴 과제 II

최은창
* 옥스퍼드대 사회법 연구센터(Socio-Legal Studies)의 방문학자, 과학기술정책연구원(STEPI) 펠로우, 예일대 로스쿨 정보사회프로젝트 펠로우로 연구했다. 저서 <레이어 모델> 공저 <인공지능 윤리와 거버넌스>가 있으며 <네트워크의 부>, <사물인터넷이 바꾸는 세상> 등을 번역했다.