These impossible instruments could change the future of music

이 불가능한 악기가 음악의 미래를 바꿀지도 모른다

에든버러 대학교 연구팀이 실제 악기에 가장 가까운 소리를 내는 가상 악기 개발에 성공했다. 그리고 연구팀에 참여한 뮤지션은 여기서 더 나아가 현실에 존재할 수 없는 불가능한 악기들을 만들어냈다. 이러한 악기들이 어쩌면 음악의 미래를 바꿀지도 모른다.

가디 사순(Gadi Sassoon)이 2016년 밀란에서 열린 록 콘서트 무대 뒤편에서 미켈레 두체스키(Michele Duccesschi)를 처음 만났을 때, 아직 그는 ‘용의 화염으로 부는 엄청나게 긴 트럼펫’이나 ‘바늘처럼 가느다란 외계인의 손가락으로 연주하는 기타’로 음악을 만들겠다는 생각을 떠올리지 못했다. 당시 사순은 두체스키와 그의 동료들이 재창조하고 있는 일상적인 클래식 악기 소리에 완전히 반해 있었을 뿐이다.

이탈리아를 중심으로 활동하는 뮤지션이자 작곡가 사순은 “처음 그들의 음악을 들었을 때 악기 소리가 실제 악기와 똑같아서 깜짝 놀랐다. 컴퓨터로 만든 소리라는 것을 믿을 수가 없었다. 그건 완전히 획기적이고 새로운 차원의 무언가였다”고 자신의 감동을 묘사했다.

사순이 들었던 음악은 당시 두체스키가 연구원으로 일하고 있던 스코틀랜드 에든버러 대학교의 흥미로운 프로젝트에서 내놓은 초기 결과물이었다. ‘차세대 소리 합성(Next Generation Sound Synthesis, 이하 ‘NESS’)’ 팀은 수학자, 물리학자, 컴퓨터 과학자가 협력을 통해 트럼펫, 기타, 바이올린 같은 악기의 초현실적인 시뮬레이션을 슈퍼컴퓨터에 가동시키는 방식으로 지금까지 만들어진 디지털 음악 중에 가장 실제 악기와 유사한 소리를 만들어낼 수 있었다.

관현악 음악과 디지털 음악 모두를 이용해서 ‘두 가지를 서로 충돌시키고자 했던’ 사순은 그들의 음악에 푹 빠지게 되었다. 사순은 NESS와 함께 작업하는 상주 작곡가가 되었고, 그 후 몇 년 동안 밀란과 에든버러를 오갔다.

그는 빠르게 많은 것들을 습득했다. 사순은 이에 대해 “첫해는 오로지 공부만 하면서 보낸 것 같다. 그들은 매우 참을성 있게 나를 기다려줬다”고 설명했다. 그리고 이러한 그의 노력은 성과를 보게 되었다. 2020년 말에 사순은 대학교 실험실에서 연구하며 보낸 수많은 밤 동안 만들어낸 소리들을 이용해서 <멀티버스(Mulltiverse)>라는 제목의 앨범을 발매했다.

한 가지 단점은 실제 악기를 배우려는 사람의 수가 줄어들 것이라는 점이다. 다른 한편으로는, 컴퓨터가 더 실제 뮤지션 같은 소리를 내기 시작할 수도 있고, 또는 완전히 다른 무언가를 만들 수도 있다.

컴퓨터는 처음 등장한 이래로 내내 음악을 만들어왔다. NESS 프로젝트의 수석연구원인 스테판 빌바오(Stefan Bilbao)는 “음악은 그래픽보다도 먼저 나왔다. 따라서 음악이야말로 컴퓨터와 함께 등장한 첫 번째 예술 행위였다”고 설명했다.

그러나 사순처럼 귀가 좋은 사람들에게는 컴퓨터로 만든 소리와 실제 공간에서 어쿠스틱 악기로 만든 소리 사이에 항상 큰 차이가 느껴졌다. 이러한 격차를 줄이는 한 가지 방법은 실제 물체에서 발생하는 진동을 시뮬레이션해서 물리 법칙을 다시 만드는 것이다.

NESS 팀은 실제 악기 소리에서 샘플을 얻지 않았다. 대신에 그들은 가상 악기에서 물리적 성질을 정확하게 시뮬레이션하는 소프트웨어를 개발했다. 이 소프트웨어를 통해 트럼펫이 연주될 때 지름과 길이가 다른 튜브들을 통해 공기가 움직이면서 변화하는 공기압을 추적하거나, 기타줄을 튕길 때의 정확한 움직임, 또는 바이올린 활의 마찰 등을 추적했다. 그들은 심지어 가상 악기가 연주되는 가상 공간의 공기압을 제곱센티미터만큼 아주 작은 영역까지 시뮬레이션하기도 했다.

이런 방식으로 문제를 해결하면서 연구팀은 가상 악기에 대한 다른 접근법들이 놓치고 있던 미묘한 차이들을 포착할 수 있었다. 예를 들어, 이들은 밸브를 반만 눌러서 연주하는 관악기 소리를 만들어낼 수도 있었는데, 이러한 방식은 재즈 뮤지션들이 특정한 소리를 내기 위해 사용하는 기법이다. 빌바오는 이와 관련해 “다른 방식으로는 만들어낼 수 없었던 아주 다양한 종류의 이상한 소리들을 만들어낼 수 있다”고 설명했다.

사순은 NESS 팀이 만든 악기들을 시험하기 위해 초청된 10명의 뮤지션 중 한 명이었다. 이들이 코드를 고치면서 가능한 영역을 확장하는 데에는 오랜 시간이 걸리지 않았다. 뮤지션들은 여러 개의 손으로 연주해야 하는 트럼펫이나 300개의 연결 부분이 있는 드럼 키트 등을 만들었다.

사순은 처음에 NESS 팀이 깜짝 놀랐다고 말했다. 연구팀이 가장 실제 같은 가상 악기를 만드느라 몇 년이라는 시간을 들였는데, 이 뮤지션들은 이러한 악기들을 제대로 사용하지 않았던 것이다. 빌바오는 뮤지션들의 결과물이 끔찍한 소리를 낼 때가 많았다고 회상했다.

다른 이들처럼 사순도 이 악기들로 재밌는 것들을 만들어냈다. 예를 들어, 1.6km 길이의 트럼펫을 코딩해 1000°K에 달하는 뜨거운 공기를 잔뜩 주입하면서 ‘용의 화염(dragon fire)’이라고 부르기도 했다. 그는 이런 악기들을 <멀티버스> 앨범에 사용했다. 그러나 사순은 곧 더 미묘한 불가능성에 관심을 두게 되었다.

시뮬레이션에서 변수를 조금씩 조절하면서 그는 에너지 손실을 제어하는 물리 법칙을 바꿀 수 있었다. 우리 우주에 존재하지 않는 상태를 만들었던 것이다. 이러한 외계 공간에서 그는 바늘 끄트머리 같은 손가락으로 기타 지판을 간신히 건드리면서 기타를 연주하는 방식으로 에너지를 잃지 않고 진동하는 기타 소리를 낼 수 있었다. 그는 “영원히 멈추지 않는 배음을 들을 수 있다”고 설명했다.

NESS 팀이 개발한 소프트웨어는 계속 개선되고 있다. 이들의 알고리즘은 영국의 슈퍼컴퓨터 아처(Archer)를 운영하는 대학의 병렬 컴퓨팅 센터의 도움으로 속도를 높일 수 있었다. 그리고 두체스키와 빌바오를 비롯한 몇 명은 노트북에서 구동할 수 있는 플러그인을 판매하는 ‘피지컬 오디오(Physical Audio)’라는 신생기업을 설립했다.

사순은 이러한 새로운 세대의 디지털 사운드가 음악의 미래를 바꿀 것이라고 생각한다. 한 가지 단점은 실제 악기를 배우려는 사람의 수가 줄어들 것이라는 점이라고 그는 말했다. 다른 한편으로는 컴퓨터가 더 실제 뮤지션 같은 소리를 내기 시작할 수도 있고, 또는 완전히 다른 무언가를 만들 수도 있다. 그는 “아주 대단한 일이다. 이를 통해 새로운 창작의 가능성이 열릴 것”이라고 전망했다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.