Light and dark of the AI generation algorithm

AI 생성 알고리즘의 명과 암

AI 생성 알고리즘은 실제보다 더 실제 같은 창작을 가능케 하는 기술이다. 창작의 새로운 패러다임을 불러오는 동시에 새로운 우려를 낳고 있다.

이 마스크 사진들은 인공지능이 만든 작품이다. 프랑스 파리의 예술공학단체 오비어스(Obvious)가 2020년 AI 시스템을 이용해 만든 ‘아프리칸 마스크(African mask)’다. 아프리카에서 제작된 마스크 이미지 9,300여점을 학습하여 새롭게 만들어낸 것이라 실제와 흡사할 뿐만 아니라 이미지 종류도 매우 다양하다.

오비어스는 이미 2018년 에드몽 드 벨라미(Edmond de Belamy)라고 하는 예술작품을 만들어 선보인 적이 있다. 14~20세기 초상화 1만 5,000여점을 학습해 유사한 풍의 새로운 작품을 만든 것이다. 아래 영상은 이 작품과 함께 작품이 만들어지는 과정의 일부를 보여준다. 놀라운 점은 세계 3대 경매시장 중 하나인 크리스티에서 43만달러에 낙찰됐다는 것이다. 우리 돈으로 5억원 상당이다.

<영상> 오비어스의 에드몽 드 벨라미(Edmond de Belamy)

이러한 작품 창작에 사용된 알고리즘은 요즘 가장 주목받고 있는 생성적 적대신경망(Gene Adversarial Network)이다. 진짜 같은 가짜를 생성하는 모델이다. 이 알고리즘은 구글 브레인에서 머신러닝을 연구하던 이안 굿펠로우 (Ian Goodfellow)가 2014년 NIPS 학회에서 발표하면서 주목을 받기 시작했다. 비교적 최근에 등장한 알고리즘이다. 페이스북 AI 연구팀 리더 얀 르쿤(Yann Lecun) 교수는 GAN을 최근 10년 간 머신러닝 연구 중 가장 혁신적인 아이디어로 꼽았다.  진짜 같은 가짜를 만들어낼 수 있는데 너무나 진짜 같기 때문이다.

원리는 서로 대립되는 두 모델이 상호 경쟁을 통해 성능을 개선시키는 방식이다. 가령 한 모델은 위조지페를 만드는 기능이고 다른 시스템은 위조 감지 기능이 있을 경우 두 모델의 경쟁을 통해 성능을 발전시키는 것이다. 두 모델은 생성자 (Generator)와 구별자 (Discriminator)로 불린다. 생성자는 실제 기준 데이터를 학습한 후 이와 유사한 가짜 데이터를 생성한다. 최대한 진짜 같은 가짜를 만들어내는 게 생성자의 역할이다. 구별자는 생성자가 내놓은 데이터가 진짜인지 가짜인지 구분하는 역할이다. 이렇게 생성과 구별의 상호경쟁적 메커니즘을 통해 진짜 같은 가짜를 만들어내는 게 GAN의 용도다.

<그림> GAN의 학습 과정

GAN은 성능이 뛰어난 만큼 창작의 영역에서 다양하게 활용된다. 스타트업 제너레이티드 포토(Generated Photos)는 10만명의 인물 사진을 생성해 무료로 제공하고 있다. 보통 인물 사진을 허락 없이 쓰면 초상권 혹은 저작권에 위반되기 때문에 사용에 제약이 있다. 하지만 이 사진들은 세상에 존재하지 않는 인물이기 때문에 이러한 제약 없이 마음껏 사용할 수 있다. 무엇보다도 가상의 인물인지 실존 인물인지 분간하기 어려울 정도로 실제 같은 사진이기 때문에 주목을 받는다.

<그림> 제너레이티드 포토가 생성한 인물사진
<출처: Generated Photos>

단지 이미지에만 GAN이 적용되는 것은 아니다. 이안 굿펠로우는 “GAN에게 특정한 문장 스타일이나 화법을 공부시키면 이를 학습해 사용자보다 훨씬 풍부하고 정교한 언어를 사용할 수 있다”고 했다. 실제로 GAN은 문학작품을 창작해내기도 한다. MIT 연구진은 시를 쓰는 인공지능을 개발했다. 이미지를 보여주면 그걸 보고 심상에 맞는 시를 짓는 것이다. 수천개의 이미지와 시를 조합으로 학습시켜서 이미지를 보고 시를 창작해내는 것이다. 영문학 전문가 500명에게 어떤 것이 인간이 창작한 시인지 구분하는 테스트를 했는데 60%만이 AI가 만든 시를 골라냈다. AI가 시를 쓸 수 있다는 것은 다양한 작문이 가능하다는 이야기다.

동영상을 만드는 것도 가능하다. 사진을 올리면 이를 동영상으로 만들어주는 기술이 등장했다. 삼성전자의 모스크바 AI 연구센터에서 GAN 기술을 응용해 만든 것이다. 그동안은 사진을 여러 장 올려서 이를 이어주는 방식으로 영상을 만들었다. 하지만 이 기술은 단 한장만으로 다양한 표정과 움직임이 살아있는 동영상을 생성해낸다는 점에서 놀라움을 준다. 그 적용 대상은 단지 사진만이 아니다. ‘모나리자’나 ‘진주 귀걸이의 여인’과 같은 미술 작품 속 인물도 살아 움직이게 만든다.

<영상> 삼성 모스크바 AI연구팀, 사진으로 동영상 생성

이 기술은 특히 디자인을 효율적으로 하는 데 요긴하게 활용된다. 스탠포드대 연구원 로비 바라트는 머신러닝을 이용해 그림 수천 점을 기준데이터로 삼아 학습시킨 후 GAN을 적용해 풍경화를 그려냈다. 경쟁 방식의 GAN을 2주 정도 돌려 완성도 높은 풍경화를 여러 개 생성해냈고, 이를 잡지 표지에 적용했다. 비즈니스위크지의 표지다. 매주마다 새로운 디자인을 만들어내는 작업은 소위 창작의 고통이 따르고 이는 만만치 않은 비용이 발생하는 것이지만 이러한 인공지능 생성 방식은 창작에 효율성을 가져다준다.

<그림> 인공지능을 이용해 디자인한 비즈니스위크지 표지
출처: Bloomberg

더 재미있는 것은 펜으로 간단한 스케치만 그리고 컨셉만 설정하면 GAN을 통해 완성도 높은 그림을 만들어내거나 제품 디자인 시안을 생성하는 것도 가능하다. 디자인 작업의 효율성을 크게 높여줄 기술이다. 빈센트AI는 손으로 백지에 밑그림을 그리면 이를 유명한 화가인 빈센트 반 고흐의 화풍을 모방해 비슷한 분위기의 작품으로 완성시켜준다. 그림을 전혀 그리지 못하는 초보자도 멋진 예술 작품을 뚝딱 만들 수 있게 되는 것이다.

<그림> 엔비디아의 GAN 기술을 활용해 만든 <빈센트 AI>
<출처: 엔비디아>

산업 디자인 영역에서도 활발히 활용될 것으로 보인다. 버클리대 AI 연구팀이 보여준 가방 디자인을 보면, 사람 디자이너가 가방 그림을 스케치하고 디자인 컨셉트를 선택하면 알고리즘이 그에 해당되는 디자인 시안을 여러 개 생성해낸다. 그럼 디자이너는 그 중에서 가장 적절한 것을 선택해 더욱 다듬어 디자인을 완성한다. 이런 방식으로 디자인을 하게 될 경우 무엇보다 시간이 단축된다. 한달 정도 걸리는 디자인 작업을 단 이틀만에 해낼 수 있게 되는 것이다. 또한 시안의 후보들을 여러 개 생성해내고 디자이너의 마음에 드는 게 없으면 또 다른 후보들을 제시해주다 보니 퀄리티 높은 후보들을 골라내는 게 더욱 수월해진다. 디자인의 새로운 패러다임을 불러일으킬 것으로 보인다.

<그림> 버클리대 AI연구팀, 스케치로 제품 시안 제작
<출처: Berkeley AI Research (BAIR)>

GAN은 이처럼 흥미롭고 놀라운 일들을 하고 있다. 하지만 이 기술이 뛰어난만큼 악용에 대한 우려가 있는 것도 사실이다. 언론에 많이 공개가 된 일이긴 하지만, 2017년 8월 미국 워싱턴대학교 연구진은 버락 오바마 전 미국 대통령의 가짜 영상을 만들어 화제가 됐다. 오바마 전 대통령의 연설 영상에서 음성을 따서 이 음성에 맞추어 입 모양을 내도록 학습시킨 후 합성한 것이다. 실존하지 않은 장면을 영상으로 만들어냈다. 가상인지 실제인지 구분이 어려울 정도로 리얼했다는 점에서 놀라움과 걱정을 자아냈다.

<영상> 워싱턴대 버락 오바마 전 미국 대통령의 가짜 영상

마이크로소포트 등 AI 선도기업들은 사람의 목소리와 말투, 화법까지 학습하여 실제 사람의 대화 음성을 만들어내는 기술까지 내놓고 있어 이게 우려에 그칠 일이 아님을 시사한다. 나도 모르는 사이에, 내가 어디선가 의도하지 않은 발언을 하는 영상이 만들어져서, SNS에 떠돌아다닐 수도 있다는 얘기다.

더 나아가 ‘딥페이크’ 포르노 영상들이 유통되면서 이슈가 점점 심각해지고 있다. 유명 연예인들의 얼굴을 GAN을 이용해서 포르노 영상에 합성한 영상들이 나온 것이다. 과거와 달리 구분이 어려울 정도로 정교한 기술이기 때문에 더욱 커다란 사회적 문제로 대두되고 있다. 가트너는 앞으로는 사람들이 실제 정보보다 AI가 만든 허위 정보를 더 많이 접하게 될 것이라고 경고했다. 가짜 이미지, 가짜 뉴스, 가짜 동영상으로 인해 사회가 왜곡되는 일이 얼마든지 벌어질 수 있다.

우리는 기술의 양면성에 대해 인지해야 한다. 기술은 인류를 진보시키는 도구로 활용될 수 있다. 그러기 때문에 우리는 기술을 더욱 잘 이해해야 하며, 우리 사회를 곳곳을 발전시킬 수 있도록 기술을 자유자재로 사용할 줄 알아야 한다. 동시에 기술은 악용의 도구가 될 수도 있다는 점을 명심해야 한다. 인간의 악함이 기술과 만나면 파괴적 재앙을 만들 수 있다. 기술이 첨단화될수록 그 부정적 여파는 커진다.

따라서 우리는 보호 장치에 대해서도 고민해야 한다. AI의 탁월한 기능을 더욱 발전시키고 잘 활용할 수 있도록 방향을 설정하는 것이 중요하지만, 동시에 기술이 가진 부작용을 줄이기 위한 윤리적, 제도적 틀을 만드는 것도 시급하다는 얘기다. 모험가에게는 여정을 떠나기 전에 좋은 길을 정하는 것이 필수다.  인류가 AI 시대에 건설적인 여정을 할 수 있기 위해서는 걷기 전에 먼저 올바른 길을 정하는 일이 선행되어야 한다.

※ 정두희 MIT 테크놀로지 리뷰 코리아 편집장이며, 한동대학교 ICT창업학부 교수다. LG그룹 AI 자문교수와 교육부 AI 인력양성 정책 자문위원 등으로 활동했다.<한권으로 끝내는 AI 비즈니스 모델>, <3년후 AI 초격차 시대가 온다>의 저자다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.