음악 스트리밍 회사인 스포티파이(Spotify)의 연구팀이 개발한 새로운 종류의 머신러닝 모델은 반사실적 사고 분석(counterfactual analysis)의 기반이 되는 복잡한 수학 연산을 최초로 다룬다. 반사실적 사고 분석이란 과거 사건의 원인을 식별하고 미래 사건의 효과를 예측하는 데 사용할 수 있는 정교한 기술이다. 역효과 분석이라고도 한다.

올해 초 과학 저널인 <네이처 머신 인텔리전스(Nature Machine Intelligence)>에 소개된 이 모델은 금융, 헬스케어 등 다양한 응용 분야에서 자동화된 의사 결정, 특히 맞춤형 추천 정보의 정확성을 향상시킬 것으로 기대된다.

반사실적 사고(Counterfactual: 현재 또는 과거의 결과와 반대되는, 실제로 일어나지 않은 상황에 대한 생각)의 기본 아이디어는 특정 요소가 달라진다면 어떤 상황이 벌어졌을지 질문해 보는 것이다. 이러한 접근 방식은 마치 시간 여행에 관한 영화처럼 사건의 흐름을 되돌려 몇 가지 주요 세부 사항을 변경한 후 다시 재생 버튼을 눌러 결과가 어떻게 달라지는지 확인하는 것과 유사하다. 적절한 요소만 조정한다면 진정한 인과관계를 상관관계 또는 우연의 일치와 구분할 수 있다.

이 모델을 공동 개발한 스포티파이의 인과 추론 연구소(Causal Inference Research Lab)의 리더 키어런 길리건-리(Ciaran Gilligan-Lee)는 “원인과 결과를 이해하는 것은 의사 결정에 매우 중요하다. 현재의 선택이 미래에 어떤 영향을 미칠지 이해하고 싶을 것”이라고 말한다.

스포티파이의 경우, 의사 결정이란 고객에게 소개할 노래 또는 아티스트의 새 앨범 발매 시점에 관한 선택을 의미할 수 있다. 길리건-리는 스포티파이에 아직 반사실적 사고를 적용하고 있지 않지만 “이러한 접근 방식은 스포티파이가 매일 처리하는 질문에 답을 구하는 데 도움이 될 수 있다”고 말한다.

반사실적 사고는 직관적이다. 사람들은 흔히 ‘그 일’ 대신 ‘이런 일’이 일어났다면 상황이 어떻게 되었을지 상상하며 세상을 이해한다. 그러나 이 과정에는 엄청난 양의 연산 작업이 수반된다.

길리건-리는 “반사실적 사고는 매우 모순적으로 보이는 통계적 연구 분야다. 반사실적 조건을 고려하는 것 자체가 이상한데, 어떤 사건이 실제로는 발생하지 않았다는 전제 하에 해당 사건이 발생할 가능성을 탐구하기 때문”이라고 설명한다.

길리건-리와 공동 저자들은 MIT 테크놀로지 리뷰 기사를 통해 서로의 연구 작업에 대해 알게 된 후 공동 연구에 착수했다. 그들은 트윈 네트워크(twin network)라는 반사실적 사고에 대한 이론적 체계를 기반으로 자체 모델을 정립했다.

트윈 네트워크는 1990년대에 컴퓨터 과학자 앤드류 발케(Andrew Balke)와 주데아 펄(Judea Pearl)이 발명했다. 2011년 펄은 인과 추론과 인공지능에 대한 연구 공로를 인정받아 컴퓨터 과학 분야의 노벨상이라 할 수 있는 튜링상을 수상했다.

길리건-리는 펄과 발케가 트윈 네트워크를 사용하여 몇 가지 간단한 예시를 다뤘다고 설명한다. 하지만 규모가 크고 복잡한 현실 세계에 사람이 직접 수학적 체계를 적용하고 계산하는 것은 매우 어려운 작업이다.

이런 이유로 머신러닝이 활용된다. 트윈 네트워크는 반사실적 사고를 한 쌍의 확률 모델로 취급한다. 이 중 하나는 실제 세계를 나타내고 다른 모델은 허구의 세계를 나타낸다. 이 모델들은 실제 세계의 모델이 허구 세계의 모델을 통제하는 방식으로 연결되기 때문에 두 세계는 바꾸려는 특정 상황을 제외하고 모든 면에서 동일하게 유지된다.

길리건-리와 그의 동료들은 트윈 네트워크의 기본 체계를 청사진으로 활용하여 신경망을 개발한 후 이를 여러 사건들이 허구 세계에서 어떻게 진행될지를 예측하도록 훈련시켰다. 그 결과, 반사실적 추론을 수행하기 위한 범용 컴퓨터 프로그램이 탄생했다. 길리건-리는 “이 프로그램을 이용하여 원하는 시나리오에 대한 반사실적 질문에 대한 답을 얻을 수 있다”고 주장한다.

오염된 물

스포티파이 팀은 독일의 대출 승인, 뇌졸중 약물 치료에 대한 국제 임상 시험, 케냐의 상수도 안전 등 현실 속 여러 가지 사례 연구를 통해 모델을 테스트했다.

2020년 연구원들은 케냐 지역의 식수가 박테리아에 오염되는 것을 막기 위해 파이프와 콘크리트 구조물을 설치할 경우 유아의 설사 발병률을 낮출 수 있는지 여부를 조사했고 긍정적인 효과가 나타나는 것을 확인했다. 하지만 길리건-리는 이러한 효과는 정확한 원인을 파악해야 한다고 주장한다. 전국에 있는 우물 주위에 콘크리트 벽을 설치하기 전에 설사병의 감소가 실제로 해당 조치로 인한 직접적인 결과이고 부수적으로 발생한 결과가 아니라는 점을 분명히 확인할 필요가 있다.

연구원들이 연구를 위해 마을의 우물 주변에 콘크리트 벽을 설치하는 과정에서 오염된 물의 위험성에 대한 주민들의 인지도가 높아져서 그 결과 주민들이 집에서 물을 끓여 마시기 시작했을 가능성도 있다. 길리건-리는 이러한 경우라면 “교육을 통해 낮은 비용으로 개입 효과를 크게 강화할 수 있을 것”이라고 말한다.

길리건-리의 연구팀은 이 시나리오를 모델에 적용했다. 실제 세계에서 오염 방지를 하지 않은 우물의 물을 마신 후 병에 걸린 어린이들이 허구의 세계에서도 조치를 취한 우물의 물을 마신 후 병에 걸리는지 물었다. 그 결과 연구원들은 어린이들이 물을 마시는 장소에 관한 세부 사항만 변경하고 집에서 물을 처리하는 방법과 같은 기타 조건을 동일하게 유지할 경우, 결과가 크게 달라지지 않는다는 사실을 발견했다. 이는 어린이들의 설사병 감소가 파이프 및 콘크리트 구조물 설치의 (직접적인) 결과가 아니라는 것을 의미한다.

이 연구는 반사실적 추론을 사용했던 2020년 연구 결과와 동일한 점을 시사한다. 그러나 길리건-리는 2020년 연구에서는 오직 우물 주변의 오염 방지물 설치 효과에 관한 질문을 위해 연구진이 수작업으로 맞춤형 통계 모델을 구축했다고 말한다. 반면 스포티파이 팀의 머신러닝 모델은 다양한 목적으로 사용이 가능하며, 수많은 시나리오에 대한 여러 가지 반사실적 질문을 하는 데 사용할 수 있다고 설명한다.

원인과 결과를 추론할 수 있는 머신러닝 모델을 구축하기 위한 경쟁에 참여하는 기술 회사는 스포티파이만이 아니다. 지난 몇 년 사이에 메타(Meta), 아마존, 링크트인 및 틱톡의 소유업체인 바이트댄스(ByteDance)와 같은 회사도 이러한 기술 개발에 뛰어들었다.

메타에서 소프트웨어 엔지니어로 일하고 있는 네일롱 장(Nailong Zhang)은 “인과적 추론은 머신러닝에서 매우 중요하다”고 지적한다. 메타는 사용자의 재방문을 유도하기 위해 인스타그램에서 보내야 하는 알림의 수와 종류를 관리하는 머신러닝 모델에서 인과적 추론을 활용하고 있다.

미국 인디애나주 퍼듀 대학교에서 데이터 과학자로 근무하고 있는 로밀라 프라단(Romila Pradhan)은 반사실적 사고를 사용하여 자동화된 의사 결정의 투명성을 강화하고 있다. 조직들은 이제 머신러닝 모델을 사용하여 대출, 고용, 가석방, 심지어 주거 서비스의 수혜자로 선정할지(또는 누구를 탈락시킬지)를 결정한다. 규제기관에서는 조직이 이러한 결정의 영향을 받는 사람들에게 해당 결정 중 상당 수에 대한 결과를 설명하도록 요구하기 시작했다. 그러나 복잡한 알고리즘으로 이루어진 단계들을 재구성하여 제시하는 것은 쉽지 않다.

프라단은 이러한 경우에 반사실적 사고가 도움이 될 것으로 기대한다. 여러분이 은행의 머신러닝 모델로부터 대출 신청 거부 통보를 받은 후 그 이유를 알고 싶다고 가정해 보자. 이러한 요청에 답변을 제공하는 방법 중 하나는 반사실적 사고를 활용하는 것이다. 실제 세계에서 대출 신청이 거부된 것을 고려할 때, 허구 세계 속 여러분의 신용 실적이 지금과 다르더라도 대출 신청이 거부되었을까? 우편 번호, 직업, 소득 등이 달라진다면 어떨까? 프라단은 향후에 대출 승인 프로그램에 이러한 질문에 답할 수 있는 능력을 추가하면 은행이 고객에게 ‘예 또는 아니오’라는 짧은 결과만을 알리는 대신 이유를 제시하는 방법을 찾을 수 있을 거라고 말한다.

프라단은 반사실적 사고가 사람들이 다양한 결과를 검토하는 방식과 같기 때문에 중요하다고 말한다. 그녀는 “반사실적 사고는 설득력 있는 설명을 제공할 수 있는 유용한 방법”이라고 덧붙인다.

반사실적 사고는 기업이 사람들의 행동을 예측하는 데에도 도움이 될 수 있다. 반사실적 사고를 이용하면 평균적으로 나타나는 결과 대신 특정 상황에서 일어날 수 있는 결과를 추론할 수 있기 때문에 기술 플랫폼에서는 이 기술을 통해 가장 정교하게 사용자들을 분류할 수 있다.

오염된 물 또는 대출 신청 결과가 미치는 영향을 체계적으로 설명할 수 있는 논리와 동일한 논리를 사용하여 스포티파이 재생 목록, 인스타그램 알림 및 광고 대상 설정의 영향도 보다 정교하게 통제할 수 있다. 이 노래를 재생하면 해당 사용자의 음악 감상 시간이 길어질 것인가? 이 사진을 보여주면 해당 사용자가 화면에 계속 머물 것인가? 길리건-리는 “기업이 알고 싶어하는 것은 일반 사용자가 아닌 특정 사용자를 위한 맞춤형 추천 방법”이라고 말한다.