We are awash in digital light

창의성을 증폭시키는 디지털 융합

픽사의 공동 설립자 앨비 레이 스미스(Alvy Ray Smith)의 책을 통해 픽셀과 컴퓨터그래픽의 발전 과정을 살펴보고, 현재 디지털 이미지와 영상 기술이 어떻게 변화하고 있는지 알아본다.

컴퓨터과학자 앨비 레이 스미스(ALvy Ray Smith)는 루카스필름(Lucasfilm)의 컴퓨터그래픽 부서와 픽사 애니메이션 스튜디오(Pixar Animation Studios)를 공동 설립한 인물이다.

그는 이 업적만으로도 제2차 세계대전 종전 이후 영화계에서 가장 중요한 기술 혁신가로 여겨질 수 있을 것이다. 그러나 스미스는 할리우드 사람이 아니고, 그가 이번에 출판한 흥미로운 책 <픽셀 전기(A Biography of the Pixel)>도 할리우드 서적이 아니다. 책에는 가십도 거의 담겨있지 않으며, 자주 등장하는 유일한 유명인은 조지 루카스(George Lucas)뿐이다. 스미스는 유명세에 관심이 없다. 이 책에서 그는 조금 더 심오한 주제를 추구하면서, 자신이 참여한 위대한 프로젝트인 ‘컴퓨터그래픽의 발명과 발전’이 할리우드에서 일어난 그 어떤 일보다도 더 훨씬 더 중요한 사건이라고 주장한다.

스미스는 컴퓨터 프로그래밍 업계에서 원로로 여겨졌던 인물이다. 그는 세상을 지배하기 위한 은밀한 군사 프로젝트와 우주 계획의 늪에서 디지털 시대가 탄생하는 과정을 목격한 엔지니어와 프로그래머 세대 출신이다. 그는 기계 언어로 이야기해왔다. 그리고 녹색과 검은색으로 이루어진 스크린에서 움직임을 보여주는 첫 번째 그래픽 기술을 보고 놀라기도 했다. 또한 그는 디지털 ‘페인트’의 부드러운 곡선을 따라 움직이는 스타일러스의 새로운 능력을 시연한 첫 번째 인물 중 하나였다.

자신의 저서 <픽셀 전기>에서 스미스의 목표는 매우 중요하고 서로 얽혀 있는 두 가지 이야기의 흐름을 분명하게 정리하는 것이다. 첫 번째 이야기는 처음 시작부터 디지털 유비쿼티(digital ubiquity)까지 이르는 ‘컴퓨터 이미지의 발전’에 관한 것이다. 스미스의 이야기에는 기록에서 사라진 많은 이름, 장소, 대단한 발견들이 포함되어 있는데, 그는 정확한 기록을 위해 엔지니어의 시각에서 그렇게 잊힌 내용들을 선별하여 다시 추가하는 작업을 맡았다. 두 번째 이야기는 그러한 컴퓨터 이미지의 영향에 관한 것이며, 첫 번째 이야기와 나란히 펼쳐진다. 스미스는 여기서 자신이 ‘디지털 라이트(Digital Light)’라고 부르는, 변화를 가져올 힘에 관해 설명한다. 디지털 라이트는 기본적으로 우리가 스크린을 통해 경험하는 모든 것을 아우르며, 그는 일상에 관한 단순한 묘사가 처음으로 동굴 벽에 새겨진 이후로 디지털 라이트야말로 인간의 의사소통에서 가장 중요한 혁신이라고 설득력 있게 주장한다.

보잘것없는 픽셀

스미스가 반복해서 설명하는 것처럼, 사람들은 개별 천재들이 마법 같은 능력을 발휘하여 위대한 발견을 해왔다고 생각한다. 그러나 실제로는 수많은 발명가들이 가끔은 즉흥적으로, 다른 경우에는 상당한 상업적, 정치적 압박으로 인해 다른 발명가들과 서로 경쟁하기도 하고 협력하기도 하면서 복잡한 역사를 만들어냈다.

예를 들어, 토머스 에디슨(Thomas Edison)과 프랑스의 뤼미에르 형제(Lumière brothers)는 초창기 영화 기술을 발전시키고 기술을 활용했던 사람들이었다. 이들은 1895년경에 완전한 영화 시스템을 보여줬으며 이러한 시스템 개발에 자신들이 전적으로 기여했다고 주장했으나, 둘 다 카메라, 필름, 영사기로 이루어진 완전한 시스템을 스스로 구축하지는 못했다. 책에서 스미스는 영화가 한 사람에 의해 탄생한 것이 아니라 여러 사람들의 경쟁에서 탄생했다고 말하며, 영화 시스템의 일부분은 에디슨의 이전 파트너들이, 다른 비슷한 부분은 뤼미에르 형제와 함께 일했던 소수의 프랑스 발명가들이 만들었다고 적었다.

역사의 쓰레기통으로 좌천된 중요한 인물 중에는 윌리엄 케네디 로리 딕슨(William Kennedy Laurie Dickson: 에디슨을 위해 최초의 영화 카메라를 설계하고 제작한 이상한 유럽 귀족)과 조르주 드메니(Georges Demenÿ: 뤼미에르 형제가 허가 없이 복제한 설계의 주인)도 있었다. 스미스는 이렇게 복잡한 역사를 정확히 설명하려고 자신이 철저하게 조사한 결과를 지나치게 많이 보여주지만(컴퓨터와 그래픽 발전의 모든 주요 단계에서도 이와 비슷하게 뒤엉킨 이야기들이 존재한다), 그래도 역사적 기록을 바로잡으려는 그의 이러한 노력은 존경할 만하다.

몇 세대에 걸친 강압적인 남성들(사실상 거의 모든 남자들)의 자존심과 탐욕에 관한 이 모든 논쟁이 드러내는 단점은 가끔 이런 내용들로 인해 스미스가 책의 큰 주제에서 자꾸 벗어나게 된다는 것이다. 여기서 더 큰 주제란 ‘디지털 라이트가 등장하면서 사람들이 살아가는 방식이 변화하게 되었으므로 이 기술을 획기적이라고 말할 수 있다’는 것이다.

스미스의 가장 간단한 정의에 따르면 디지털 라이트란 ‘픽셀로 구성된 모든 그림’을 의미한다. 그러나 이러한 기술적인 표현만으로는 디지털 라이트의 등장으로 ‘새롭게 상상력을 펼칠 수 있게 될 영역’들에 대한 가능성이 잘 드러나지 않는다. 그러한 영역에는 픽사의 영화뿐만 아니라, 비디오 게임, 스마트폰 앱, 노트북 운영체제, 소셜미디어에서 주고받는 웃긴 GIF 이미지, 종양학자가 검토한 치명적이고 심각한 MRI 이미지, 지역 식료품점의 터치스크린, 화성 임무 계획에 사용되는 디지털 모델도 포함된다. (그리고 마지막 화성 임무에서는 화성 표면을 찍은 놀랄 만한 이미지의 형태로 디지털 라이트를 되돌려준다.)

스미스의 저서에서 한 가지 놀라운 측면은 이 모든 디지털 라이트가 나타내는 위대한 기술적 성취와 강력한 문화적 힘을 알아보겠다고 우리가 깨어있는 동안 거의 내내 쳐다보고 있는 픽셀의 끊임없는 흐름에서 우리가 한 걸음 물러나 생각해볼 수 있도록 이 책이 도와준다는 점이다.

푸리에는 우리가 보는 모든 것을 일련의 파동(wave)으로 설명할 수 있다는 통찰에 기여했다. 스미스는 이에 대해 조금 더 시적으로 이렇게 표현했다. “이 세상은 음악이다. 모두 파동으로 이루어져 있다.”

이 모든 것을 가능하게 한 기술적 발전은 스미스의 제목에서 암시는 바와 같이 보잘것없는 픽셀이다. 픽셀(pixel)이라는 단어 자체는 ‘그림 요소(picture element)’를 줄여서 만든 말이다. 매우 간단하다. 그러나 ‘픽셀’은 형편없이 렌더링 된 흐릿한 사각형들로 이루어진 디지털 이미지의 열등함을 가리키는 말로 오랫동안 잘못 사용되었다. 스미스는 픽셀이 오히려 모든 디지털 라이트를 만드는 구성 요소라는 점을, 다시 말해서, 말 그대로 우리가 세상을 보는 방식을 변화시켜온 기적적이고 불가능할 정도로 다양하며 끝없이 복제할 수 있는 정보 기술의 조각이라는 점을 우리가 이해하기를 바란다.

스미스는 이러한 잘못된 이해를 바로잡으려면, 픽셀이 사각형이 아니라는 사실과 픽셀이 다른 픽셀들과 깔끔한 격자 위에 나란히 배치되어 있는 것이 아니라는 사실에서부터 출발해야 한다고 설명한다. 픽셀이 그렇게 보이도록 렌더링 할 수 있지만, 픽셀 그 자체는 ‘비트로 디지털화되어온 시야(visual field)의 표본’이다. 이 말이 수수께끼처럼 들릴 수도 있지만, 픽셀의 혁명적인 영향을 옹호하는 스미스의 주장에서는 이 설명이 매우 중요하다. 픽셀은 어떤 기기에서도 디지털 라이트로 보여줄 수 있는 저장된 정보이다. 그리고 디지털 기기가 이런 일을 할 수 있는 것은 픽셀이 세심하게 조정된 시야의 ‘표본’이고, 이것이 디지털 사용을 위해서 중복파로 변환될 수 있기 때문이다. 스미스는 이러한 픽셀이 시야를 축소하는 것이 아니라 “무한대로 매우 영리하게 재포장하는 것”과 비슷하다고 적었다.

새 물결(new wave)

화면에 문자 형태이든, 스마트폰의 아이콘이든, 영화관의 픽사 영화이든, 픽셀이 디지털 라이트를 생성하는 과정은 현대의 컴퓨터보다 먼저 등장한 세 가지 수학적 발견을 기반으로 한다. 첫 번째는 프랑스의 귀족이자 1800년대 초에 나폴레옹 치하에서 지방 장관을 맡기도 했던 장 조제프 푸리에(Jean Joseph Fourier)가 발견했다. 푸리에는 소리뿐만 아니라 열과 우리 눈에 보이는 모든 것들까지도 다양한 주파수와 진폭을 가진 일련의 ‘파동(wave)’으로 설명할 수 있다는 근본적인 통찰에 기여했다. 스미스는 이에 대해 조금 더 시적으로 이렇게 표현했다. “이 세상은 음악이다. 모두 파동으로 이루어져 있다.”

그로부터 한 세기 이상 지난 후에 소련의 공학자 블라디미르 코텔니코프(Vladimir Kotelnikov)는 푸리에의 파동 원칙을 기반으로 디지털 라이트 창조를 위한 두 번째 중요한 요소를 발견했다. 그것은 바로 ‘샘플링 정리(Sampling Theorem)’이다. 코텔니코프는 특정 간격으로 스냅샷(‘샘플’)을 찍으면 음악이든 다른 어떤 장면이든 상관없이 어떤 신호든 포착할 수 있다고 설명했다. 예를 들어 색의 단계적 차이나 전경에서 배경으로 이동하는 것처럼 시야의 일부 측면에 대해 충분한 샘플을 확보하면 정보 전체를 재구성할 수 있다. 스미스는 미국의 컴퓨터과학자들이 샘플링 정리를 해리 나이퀴스트(Harry Nyquist)와 클로드 섀넌(Claude Shannon)이 만들었다고 배우지만 “그 위대한 아이디어가 처음으로 분명하고 깔끔하고 완전하게 정리된 것은 1933년에 코텔니코프에 의해서였다”는 점을 인정했다.

디지털 라이트를 가능하게 했던 세 번째 요소는 가장 잘 알려져 있고 가장 최근에 개발된 것으로, 바로 보편적인 컴퓨팅 기계의 윤곽을 묘사한 앨런 튜링(Alan Turing)의 1936년 논문이다. 그 기계에서 위대한 혁신은 올바른 명령어 집합(현재는 소프트웨어라고 한다)만 있다면 어떤 체계적인 프로세스도 실행할 수 있다는 것이었다. 현대 컴퓨터의 기반이 된 튜링 기계는 푸리에의 파동이 코텔니코프의 정리에 의해 샘플링되는 과정을 이해하고, 그러한 파동을 다른 튜링 기계에 복제하도록 프로그램될 수 있다. 이러한 세 가지 요소가 함께 디지털 라이트를 낳게 되었다.

그러나 디지털 라이트 그 자체는 능력이 제한되어 있다. 디지털 라이트의 가장 초장기 모습은 TV 스크린에서 디지털 동굴 벽에 있는 간단한 그림 문자를 보여주는 정도였다. 예를 들어, 1951년 12월에 매사추세츠 공과대학(MIT)의 훨윈드(Whirlwind) 컴퓨터는 에드워드 머로(Edward R. Murrow)가 진행하는 CBS 프로그램 ‘See It Now’를 보여주기 위해 검은 스크린에 하얀 점들을 배열해서 보여줬다. 이 점들은 ‘안녕하세요, 머로 씨(Hello Mr. Murrow)’라는 문자를 하나씩 보여줬고, 그 후에 천천히 글자가 사라지면서 다시 반짝였다. 이 정도로도 매우 똑똑하고, 당대에는 놀라운 수준이었지만, 스미스의 책에서는 이것을 엄청난 대격변이라고 하지 않는다. 대격변을 위해서는 디지털 라이트에 한 가지 요소가 더 필요했다. 바로 상상할 수 없을 정도로 빠른 속도였다.

스미스는 컴퓨터 그래픽이 픽사의 만화 캐릭터나 다른 것들의 3차원 형태로 디지털 공간에 조립된 그래픽 좌표(요즘에는 픽셀이 있지만 초기에는 서로 맞물려 있는 수많은 미세한 삼각형들이었다)에 해당하는 엄청나게 긴 숫자들의 목록일 뿐이라고 설명한다. 

위대한 디지털 융합

그러나 3D 애니메이션의 그러한 경이로움은 컴퓨터 처리 능력이 폭발적으로 향상되기 전까지는 불가능했다. 스미스는 기술적인 세부 사항, 자세한 연구, 개인적인 기억을 매력적으로 혼합해 이후에 일어난 변화에 관해 이야기한다. 수학자와 프로그래머들, 연구에 열중하는 연구원들의 몇 세대가 컴퓨터 그래픽 발전에 기여했고, 이들은 무어의 법칙(Moore’s Law) 덕분에 푸리에의 파동과 코텔니코프의 샘플링을 스크린에서 기하학적인 모양, 간단한 그림, 기본적인 움직임으로 전환하는 것이 점점 더 쉬워지자 새로운 도구와 기계를 개발하게 되었다. 물론 디즈니(Disney)와 루카스필름(Lucasfilm), 그리고 스탠퍼드대학교가 큰 역할을 하고 있지만, 나사(NASA)와 제너럴모터스(General Motors), 보잉(Boeing, 컴퓨터를 이용한 산업 설계를 개척했다)뿐만 아니라 유타대학교와 뉴욕공과대학교(NYIT)처럼 상대적으로 덜 알려진 컴퓨터 그래픽 천재들이 모여있는 곳도 마찬가지이다.

간단한 픽셀에서 디지털 영화로 스미스 자신이 옮겨간 것도 1970년대 초반 NYIT에서 시작됐다. 그곳에서 그는 픽사의 몇몇 공동 설립자들과 함께 세계 최초의 컴퓨터 그래픽 실험실 설립을 도왔고 그 이후에 컴퓨터 그래픽 기술을 루카스필름에 소개하기 위해 이동했다. 그렇게 그는 루카스필름이 컴퓨터 애니메이션을 활용해서 매우 초창기에 제작한 시퀀스를 작업하게 되었다. 영화 <스타트렉 2: 칸의 분노(Star Trek II: The Wrath of Khan)>의 특수효과 장면이었다.

이러한 과정에서 스미스는 장편 디지털 영화 제작이라는 궁극적인 목표에 계속 초점을 맞추고 있었다. 그는 이러한 도구가 위대한 예술을 창조하고, 전 세계 창조적인 천재들을 발굴하는 데 사용되기를 원했다. 픽사는 1995년에 영화 <토이 스토리(Toy Story)>를 발표하면서 이러한 목표를 달성했다. <토이 스토리>는 오로지 컴퓨터 그래픽으로만 제작된 첫 번째 장편 영화였다. 그리고 얼마 지나지 않아서 훨씬 더 중대한 성과를 달성하게 되었다. 스미스가 ‘위대한 디지털 융합(the Great Digital Convergence)’이라고 부른 중요한 순간이었다.

그 후에 일어났던 일은 쉽게 설명할 수 있지만, 완전히 이해하기는 어렵다. 사람들은 그것을 마음대로 가지고 놀기 시작했다.

이것은 2000년쯤에 픽셀이 일반적으로 모든 사진과 영상을 나타낼 수 있었던 순간이다. 그는 “조용히 눈에 띄지 않게 모든 미디어 유형이 하나로 융합됐다. 보편적인 디지털 매체인 ‘비트’로 융합된 것”이라고 책에 적었다.

이러한 융합에 대한 스미스의 설명을 읽으면서 나는 프랑스 작가이자 영화감독 장 콕토(Jean Cocteau)가 했던 유명한 말이 떠올랐다. 콕토는 “영화는 그 재료가 종이와 연필만큼 비용이 저렴해지면 예술이 될 수밖에 없다”고 말했다. 이것은 스미스가 우리에게 픽셀의 힘을 경외심을 가지고 바라보라고 요청할 때 의도하고 있는 바와 어느 정도 일치한다. 그리고 여기서 나는 갑자기 ‘스팀드햄(Steamed Hams)’ 밈(meme)을 생각하게 됐다.

잘 모르는 사람들을 위해 소개하자면, ‘스팀드햄’ 밈은 1996년에 처음 방영된 심슨 가족(The Simpsons) 시즌 7 에피소드 22 ‘스프링필드에 관한 단편 영화’ 편에 나온 한 부분에서 탄생했다. 이 에피소드에서 스프링필드 초등학교의 바보 교장 스키너(Skinner)는 점심을 대접하기 위해 자신의 상관인 교육장 차머스(Chalmers)를 자신의 집에 초대한다. 이 2분 42초짜리 짧은 파트는 작은 재앙들이 점점 커지는 모습을 보여준다. 스키너는 몰래 크러스티 버거로 가서 사 온 햄버거를 자신이 만든 요리라고 주장한다. 차머스에게 조개찜을 대접하겠다고 했던 스키너는 거짓말이 들통나지 않게 하려고 사실 자신이 하려던 말이 ‘조개찜(steamed clams)’이 아니라 ‘햄 찜(steamed hams)’이었다고 주장한다. 그러면서 그것이 뉴욕 북부에서 햄버거를 부르는 사투리라고 변명한다.

이 밈은 심슨 가족 에피소드에서 나온 짤막하고 우스운 내용이며, ‘위대한 디지털 융합’이 컴퓨터와 인터넷 연결이 가능한 사람이라면 사실상 누구든 사용할 수 있는 디지털 영화 제작 도구가 되기 전까지는 특별한 관심을 받지 못했다. 그리고 그 후에 일어났던 일은 쉽게 설명할 수 있지만, 완전히 이해하기는 어렵다. 사람들이 그것을 마음대로 가지고 놀기 시작했다.

창조적인 힘의 해방

스팀드햄 밈이 처음 탄생한 것은 2010년 3월에 텍스트를 영화로 만들어주는 앱으로 만든 짤막한 영상 하나가 유튜브(YouTube)에 등장했을 때였던 것으로 보인다. 그 이후로 몇 년 동안 짧은 영상을 제작하고 퍼뜨릴 수 있는 디지털 도구가 위험할 정도로 빠른 속도로 발전하면서 그 밈도 매우 빠르게 여기저기로 퍼져나갔다. 어떤 영상에서는 10개로 분할된 유튜브 화면에 스팀드햄 영상들이 조금씩 시간차를 두고 재생되면서 마치 돌림노래를 하는 것 같은 소리를 내다가 엄청난 불협화음을 내면서 끝나기도 했다. 다양한 팝송이 깔린 버전들도 있었다. 내가 가장 좋아하는 버전은 오토튠(Auto-Tune) 소프트웨어(이것도 그 융합의 결과물이다)를 통해 스팀드햄 영상의 대사를 이리저리 변형해서 그 소리를 그린데이(Green Day)의 히트송 <Basket Case>의 멜로디에 맞춰지게 만든 버전이다. 다양한 비디오 게임과 결합된 영상도 많이 등장했다. 어떤 진취력 있는 스팀드햄 팬은 배우 제프 골드블룸(Jeff Goldblum)을 설득해서 그의 독특한 어투로 스팀드햄 전체 대본을 읽게 하기도 했다. 그 결과로 탄생한 유튜브 클립은 골드블룸이 대본을 읽어주는 영상과 원본 애니메이션 영상을 전문적으로 편집해서 가끔은 분할 화면으로 보여준다. 또한 13초마다 다른 애니메이터가 완전히 다른 스타일로 이 영상을 렌더링한 일종의 스팀드햄 리메이크 버전도 있다. 여기 언급한 예시들은 스팀드햄 밈의 아주 작은 일부에 지나지 않는다. 이 밈은 엄청나게 많이 재창조되었다.

만약 내가 포스트모던 미술 수업을 요청받는다면, 나는 위대한 디지털 융합(Great Digital Convergence)으로 해방된 창의성을 마음껏 드러낸 대표적인 사례로 이 밈 전체를 제시할 것이다. 펜이나 연필보다 딱히 확보하기 어렵지 않은 도구 덕분에 인터넷에는 현재 GIF 이미지나 클립, 리부트와 리믹스 등 상상도 하기 어려울 정도로 수많은 창의적인 영상과 이미지들이 가득하다. 디지털 영화를 만들고 새로운 도구를 사용하는 이러한 가벼운 창작자들은 너무나 흔해져서 이제는 알아채기도 힘들다. 우리가 디지털 라이트를 편안하게 느끼고 있는 것이다.

어쩌면 어디에나 ‘영화적인 창조(cinematic creation)’가 존재하는 콕토의 세상이 바로 여기에 있는 것일지도 모른다. 이것이 이 책의 저자, 앨비 레이 스미스가 첫 번째 디지털 영화를 추구하면서 50년 동안 만들어왔던 결과물이다. 우리는 이제 도달했다. 우리는 모두 영화감독이나 다름없다. 가서 만들고 즐기자.

Chris Turner는 캐나다 앨버타주 캘거리에 거주하는 작가이다. 그의 가장 최근 저서는 <The Patch: The People, Pipelines, and Politics of the Oilsands>이다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.