I just watched Biggie Smalls perform ‘live’ in the metaverse

고인이 된 아티스트가 메타버스 라이브 공연을 펼쳤다

1997년에 사망한 유명한 힙합 뮤지션 ‘비기 스몰스’(B.I.G)의 아바타가 메타(Meta)의 호라이즌 월드에서 라이브 공연을 열었다.

지난 12월의 어느 날, 미국의 전설적인 힙합 뮤지션 ‘비기 스몰스(Biggie Smalls, 노토리어스 B.I.G.의 애칭)’가 무대 위에 서 있었다. 스포트라이트가 그의 빨간색 벨벳 수트를 비추었고, 사전 녹음된 환호 속에서 그는 오렌지색 스니커즈를 박자에 맞춰 움직이며 자신의 대표곡인 ‘Mo Money Mo Problems’를 불렀다. 돈과 풍요로움이 가져다주는 문제점을 다룬 노래다.

이 설명이 혼란스럽게 느껴진다면 당연한 반응일 것이다. 비기 스몰스는 1997년, 24세의 나이로 총에 맞아 사망했지만 역사상 가장 위대한 래퍼 중 한 명으로 엄청난 음악적, 문화적 유산을 남겼다. 비기 스몰스(본명: 크리스토퍼 월리스)가 12월 16일 메타(Meta)의 메타버스 플랫폼 호라이즌 월드(Horizon Worlds)에서 완전한 형태로 다시 나타났다. 랩을 부르면서 중간에 몸을 들썩이고, 리듬에 맞춰 주먹을 흔드는 모습은 살아 있을 때와 다를 바 없었다.

스몰스의 초현실적인 아바타는 그저 인상적인 기술적 위업에 그치지 않는다. 이번 공연은 메타버스 플랫폼이 사람들의 관심을 끌기 시작하면 우리가 마주하게 될 두 가지 큰 문제와 관련한 중대한 시험이기도 하다. 그 두 가지 큰 문제란 ‘사람들이 고인이 된 아티스트의 아바타가 하는 공연을 보려고 기꺼이 돈을 지불할까?’ 그리고 ‘망자의 이미지를 이용하는 비즈니스가 과연 윤리적인가?’이다.

이번 스몰스의 공연이 이미 고인이 된 아티스트를 부활시킨 최초의 사례는 아니다. 논란의 여지가 있기는 했지만 홀로그램 공연은 세상을 떠난 뮤지션들을 되살리는 방식으로 인기를 얻으며 오랫동안 활용되어 왔다. 버디 홀리(Buddy Holly), 휘트니 휴스턴(Whitney Houston), 마이클 잭슨(Michael Jackson), 에이미 와인하우스(Amy Winehouse)는 모두 사망 후에 공연을 위해 홀로그램으로 재탄생된 바 있다. 가장 주목할 만한 홀로그램 공연 중 하나는 1996년에 사망한 스몰스의 라이벌 투팍 샤커(Tupac Shakur)가 2012년 코첼라(Coachella) 뮤직 페스티벌에서 ‘진행한’ 공연이었다.

그러나 홀로그램은 본질적으로 제한적이다. 홀로그램을 이용해서 아티스트가 3D로 공연하는 듯한 모습을 보여주려면 관객들은 특정 각도로 앉아야 한다. 메타버스 공간을 활용하면 사람들은 조금 더 실물과 비슷한 아바타를 볼 수 있고, 심지어 잠재적으로는 아티스트의 아바타와 상호작용도 가능할 수 있다. 이러한 상호작용은 스몰스의 공연을 개발한 팀이 가까운 미래에 제공하고자 하는 것이다.

16일에 열린 스몰스의 공연에서 놀라웠던 부분은 ‘사실감’이었다. 스몰스의 움직임, 버릇, 표정 등 많은 것들이 놀라울 정도로 실제 같았다.

그러나 스몰스가 아바타라는 사실을 관객들에게 상기시킨 지점들이 있었다. 다른 래퍼들과 함께 무대 위에서 공연하는 장면에서 스몰스는 그들과 마치 우연히 마주친 사람처럼 보였다. 래퍼들이 뒤에서 가사를 보조해 줄 때 스몰스는 실존하는 인간 뮤지션처럼 동료 래퍼들에게 반응하지 않고 자신이 공연하고 있는 부분에서 벗어나기도 했다.

스몰스의 아바타는 사전 녹화된 디지털 영상 밖에서의 모습이 더 ‘자연스러워’ 보였다. 이 영상은 그의 아바타가 90년대의 브루클린을 배회하는 모습을 보여주었다. 영상에서 그의 움직임은 부자연스럽지 않았고, 그의 옷은 주름져 있었으며, 그의 머리와 손은 그가 디지털로 만들어진 존재인지 구별할 수 없을 정도로 그럴듯했다.

스몰스의 아바타 제작을 담당한 시각효과(VFX) 책임자 레밍턴 스콧(Remington Scott)은 이러한 시각적 위업을 달성하기 위한 기술을 개발하는 데 수년이 걸렸다고 말했다. 스콧은 영화 <반지의 제왕>의 골룸 캐릭터에 생명을 불어넣은 모션 캡처(motion capture) 기술을 구현한 제작사 하이퍼리얼(Hyperreal)의 설립자이다. 스콧은 “우리가 이 기술을 장편 영화에서 사용했을 때에는 반년이라는 시간과 수백만 달러의 비용이 소요됐다”라며 “우리는 이제 훨씬 낮은 비용으로 6주 만에 기술을 구현할 수 있다”고 말했다.

스콧은 제작팀이 스몰스의 아바타를 만들기 위해 그의 가정에서 촬영한 수십 시간 분량의 영상과 가족사진을 수집했다고 밝혔다. 이렇게 수집한 참조 이미지는 스몰스의 눈가나 그가 특정한 표정을 지을 때 피부에 주름이 생기는 방식 등 매우 사소한 세부 사항을 아바타에 구현하는 데 사용되었다.

스콧은 제작팀이 ‘미세 표현 참고 자료’ 데이터베이스를 구축했고, ‘모공 수준의 해상도 이미지’를 분석했으며, 스몰스의 얼굴 피부가 어떻게 움직이는지 이해하기 위해 피부 아래층의 탄력을 추적했다고 설명했다. 이러한 표정의 미세한 변화는 아바타를 가능한 한 사실적으로 만드는 데 결정적인 역할을 했다.

이러한 모든 연구는 성과를 거두었다. 스몰스의 어머니 볼레타 월리스(Voletta Wallace)는 이메일에서 “나는 아바타가 만들어지는 과정을 모두 보았고 아들의 아바타는 정말 사실 같았다. 아바타의 세부적인 부분에서 내 아들의 특징을 발견할 수 있다”고 설명하며 “아들의 아바타는 내가 바라던 전부였다”고 덧붙였다. 스콧은 제작팀이 스몰스의 아바타를 보여줬을 때 월리스가 “이건 내 아들 크리스토퍼예요”라고 말했다고 밝혔다.

스콧은 “모두의 눈가가 촉촉해졌다”라고 당시를 회상하며 “그 순간 우리는 우리가 구현하려고 했던 기술적 성취를 넘어섰고, 감정적 시뮬레이션의 영역에 들어와 있었다”라고 설명했다.

스몰스가 가상현실(VR) 콘서트를 위한 뮤지션으로 선정된 이유 중 하나는 라이브 공연 녹화본이 전혀 없었던 스타였기 때문이다. 이번 공연에 협력한 디지털 미디어 업체 윌링기(Willingie)의 설립자 엘리엇 오사기(Elliot Osagie)는 “비기는 생전에 앨범 두 장을 냈고, 투어 콘서트는 한 차례도 하지 않았다”라고 설명했다. 따라서 이번 가상 공연은 그의 팬들이 마침내 자신들의 영웅이 라이브 공연을 하는 모습을 볼 기회이자, 새로운 세대에게 전설적인 래퍼를 소개할 기회이기도 했다.

여기에 월리스가 합류했다. 월리스는 스몰스가 남긴 1억 6,000만 달러(추정치)의 재산을 관리하고 있다. 이번 공연이 ‘감정적’인 프로젝트였지만 동시에 사업 기회이기도 했다는 점에는 의심의 여지가 없다. 스콧은 월리스와 월리스의 아들 비기 스몰스의 재산이 “팬들과 다시 소통하고 새로운 팬층을 확보할 기회”를 찾고 있었다고 말했다. 특히 여기서 ‘새로운 팬층의 확보’ 부분이 중요하다. 스몰스는 X세대로, 그의 또래들은 점점 나이가 들고 있다. 이보다 더 어린 세대들이 중심이 되는 메타버스에 스몰스를 투입하면 그의 음악을 듣는 관객층을 확장할 수 있다. 월리스는 “나는 아들의 콘서트와 음악 영상, 광고, 애니메이션, 영화 등 메타버스에서 실현할 수 있는 더 많은 기회를 상상한다”고 말했다.

월리스, 하이퍼리얼, 윌링기, 메타는 이번 아바타 제작에 월리스의 재산이 얼마나 투입됐는지 또는 이번 가상 콘서트를 독점으로 주최하기 위해 메타가 얼마를 지불했는지에 대해서는 정보 공개를 거부했다. 메타는 또한 콘서트에서 메타의 역할에 대한 MIT 테크놀로지 리뷰의 질문에 답하지 않았다. 하지만 메타는 자사의 대표적인 메타버스 플랫폼 호라이즌 월드에서 열린 이번 공연이 메타버스에서 열린 것이 아니라 가상현실에서 열렸다고 주장했다. 메타버스가 정확히 무엇을 의미하는지에 대한 질문에 대해서 메타는 답변하지 않았다.

그러나 스콧은 자신의 회사에서 제작한 아바타와 기존의 아바타와의 차이점이 ‘소유권’이라고 설명했다. 그는 “다른 아바타의 경우에는 배우나 공연자에게 나중에 권리가 주어지지 않지만 우리의 모델은 그 점을 뒤집는다”라며 “우리는 재능 있는 사람들을 위한 디지털 아이덴티티를 제작하고 앞으로 나아가고 있다”고 설명했다. 스몰스의 경우에는 그의 디지털 트윈(digital twin)을 만드는 데 그의 재산이 전적으로 투입되었다.

하지만 재현될 수 있거나 재현되어서는 안 되는 부분에 대한 아티스트의 결정권을 어떻게 보장할 수 있을까? 웨스트 스코틀랜드 대학교(University of the West of Scotland)의 디지털 마케팅 수석 강사이자 홀로그램 및 메타버스 뮤직 비즈니스에 대한 글을 쓴 적 있는 테오 차니디스(Theo Tzanidis)는 이에 대해 “그건 수백만 달러 또는 수십억 달러짜리 질문”이라고 말했다.

현재는 일반적으로 유명인과 아티스트들은 계약서나 유언장에 메타버스에서나 인공지능(AI)에 의해 자신들의 아바타가 어떻게 사용되기를 바라는지에 관한 조항을 포함하지 않는다. 그러나 차니디스는 곧 그런 관행이 생기더라도 놀랄 일이 아니라고 생각한다.

우리에게는 스몰스가 자신의 아바타를 이런 식으로 사용하는 데 동의했을지 알 수 있는 방법이 없다. 무엇보다도 그는 생전에 호라이즌 월드 같은 플랫폼의 존재를 상상하지도 못했을 것이다.

오사기는 아바타가 아티스트가 살았던 시대에 충실해야 하며, 해당 아티스트가 상상할 수 없었을 일은 하지 말아야 한다고 생각한다. 그는 ‘재즈의 전설’ 마일스 데이비스(Miles Davis)의 아바타를 이용한 메타버스 프로젝트를 예로 들었다. 그는 “마일스 데이비스는 수십 년이 넘는 경력이 있는 뮤지션으로서 사람들에게 데이비스의 음악에 관한 이야기를 들려줄 수 있다면 멋진 계획이다. 하지만 마일즈 데이비스를 아바타로 부활시켜서 랩 음악의 대가 드레이크(Drake)와 카드놀이를 하게 만드는 것은 일어났을법한 일이 아니다. 나는 아바타를 이용해서 아티스트가 생전에 하던 일을 이어갈 수 있게 해야 한다고 생각한다”라고 설명했다.

오사기의 생각이 아마도 옳을지도 모른다. 그러나 아바타가 점차 더 현실의 삶과 가까워지고, 아바타를 이용한 비즈니스가 확장되고, 메타버스와 실제 삶의 경계가 흐려질 미래에는 마일스 데이비스의 재산 관리인과 드레이크가 승인하든지 말든지 두 사람이 카드놀이를 하는 일이 가능해질 수도 있다.

스몰스의 콘서트를 만든 사람들도 창작의 자유를 누렸다. 한 장면에서는 스몰스의 아바타가 그의 아파트로 추정되는 곳의 발코니에 있는 모습을 보여주었다. 그리고 카메라는 미국의 전 대통령 버락 오바마(Barack Obama)가 스몰스와 포옹하고 있는 초상화를 비추는데, 사실 오바마가 대통령에 당선된 것은 스몰스가 사망하고 10년은 더 지난 후의 일이므로 두 사람의 포옹은 일어날 리 없는 사건이다. 게다가 적어도 두 장면에서는 스몰스가 스마트폰으로 응답하는 모습이 나온다. 스마트폰은 스몰스 생전에 존재하지 않았던 제품이다.

차니디스는 이 분야에 대한 법적인 틀이 부족하다는 점에 문제가 있다고 생각한다. 또한 그의 의견으로는 이러한 작업이 기존의 예술의 한계를 훨씬 뛰어넘는 일이다. 그는 “과거로 돌아가서 역사적 인물들에게 무슨 일을 했는지 물을 수 있다면 어떨까? 자신의 분야에 속한 인물에게 훈련을 받을 수 있다면 어떨까? 우리가 이전의 연대표를 다시 만든다면 어떤 일이 벌어질까?”라고 물었다.

이러한 상상은 이미 실현되고 있다. 미국의 프로 골프 선수 잭 니클라우스(Jack Nicklaus)의 디지털 버전이 아직 공개되지 않은 가상 플랫폼에서 곧 출시될 예정이다. 팬들은 그와 소통할 수 있을 것이며, 그의 아바타는 골프 팁과 자신의 승리에 대한 이야기를 전해줄 것이다.

니클라우스는 자신의 아바타 제작에 관여했지만 스몰스는 그렇지 않았다. 스몰스의 바램이 그의 어머니가 원하는 바와 일치한다는 점을 확인할 방법은 없다. 차니디스는 “메타버스에는 참조할 만한 규칙서도 없고 규칙도 없다”라며 “메타버스에도 규칙(rule)이 있어야 한다”라고 강조했다.

오사기는 이번 콘서트가 스몰스 아바타의 마지막 활동이 아니라고 밝혔다. 그와 스콧은 다른 공연이나 게임으로의 확장뿐만 아니라 스몰스의 코첼라 뮤직 페스티벌 공연까지도 고려하고 있다. 스콧은 이러한 계획에 매우 흥분해있다. 그는 “메타버스는 또 다른 현실이고 그 공간에서 비기 스몰스는 여전히 살아있다. 나는 그 세계를 사랑한다”라고 말하며 “수많은 팬들도 그 세계를 사랑할 것이라고 생각한다”라고 덧붙였다.

미리보기 2회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.