비디오 게임은 항상 첨단 기술을 빠르게 도입해 왔다. 게임 산업은 지금까지 3D 그래픽 기술은 물론, 3D 디스플레이, 증강현실/가상현실(AR/VR) 기술, 메타버스 등 최첨단 기술을 받아들이며 발전해 왔다. 이제는 인공지능(AI)이 게임 산업의 판도를 바꾸는 새로운 기술로 가장 주목받고 있다.

게임 업계는 이미 꽤 오래전부터 AI 기술이 게임의 미래라는 생각을 갖고 연구와 투자를 진행해 왔다고 한다. 엔씨소프트의 AI 전담 연구조직인 AI TECH 센터의 김민재 센터장을 만나 바로 게임 세계의 AI에 대해서 들어봤다.

엔씨소프트는 지난 2011년부터 AI에 대한 연구를 시작했다고 한다. 무협 콘셉트의 다중 사용자 온라인 롤플레잉 게임인 블레이드앤소울(Blade & Soul)에서 대전 상대로 나오는 NPC(nonplayer character)의 정형화된 공격과 수비 패턴을 개선하기 위해 강화학습 방식의 AI인 ‘비무 AI’를 개발했다. 지금까지 게임 내 NPC의 행동은 몇 가지 정형화된 패턴을 갖고 있었다. 그래서 플레이어들은 마치 공식처럼 이를 외워 상대하기도 했다. 하지만 비무 AI를 적용한 NPC는 기존에 비해 훨씬 다양한 행동 패턴을 보이기 때문에 플레이어들이 좀 더 살아있는 NPC와 대결하는 느낌을 줄 수 있다.

엔씨소프트는 이외에도 지난해 국내 게임 업체로서는 최초로 자체 대형언어모델(LLM)을 개발하는 등 AI 분야에 과감한 투자를 단행하고 있다.

엔씨소프트는 지난해 자체 개발한 LLM을 발표해 화제가 됐다. 게임 업체가 직접 LLM을 개발한 이유는 무엇인가?

지난해 발표한 바르코 LLM은 내부적으로 게임 개발에 활용하기 위한 용도로 개발됐다. 예를 들면 게임 퀘스트 생성이나 캐릭터 생성 등에 이를 사용하고 있다. 내부적으로 사용하기 위해 만들어진 AI 모델이지만, 상당히 오랜 기간 자체적으로 데이터를 수집하고 학습과 튜닝을 해왔기 때문에 기대 이상의 성능을 발휘해왔다. 그래서 외부 다른 기업들도 활용할 수 있도록 서비스를 개방한 상태다.

학습 방법론이나 모델들은 이미 수많은 오픈소스 AI 모델들이 공개되어 있기 때문에 진입 장벽이 꽤 많이 낮아졌다. 반면 문제가 되는 부분은 학습 데이터의 확보다. 엔씨소프트는 자체 보유 중인 기존 게임 콘텐츠의 세계관 설정이나 캐릭터 설정 시나리오, NPC들의 대사 등으로 AI 모델을 학습시켜 게임 분야에 특화된 모델을 만들었고, 이를 내부적으로 사용하고 있다.

자체 LLM을 개발하는 데 가장 어려운 점은 무엇인가?

AI 모델 개발에 있어 학습을 위한 컴퓨팅 인프라와 리소스, 관련 연구를 진행할 인력, 그리고 적용할 도메인의 데이터를 확보하고 있는가 등 세 가지가 가장 큰 장벽이다. 엔씨소프트의 경우 과거부터 쌓아온 데이터가 있기에 다른 곳에 비해 수월하게 LLM을 개발할 수 있었다.

물론 현재 보유하고 있는 게임 관련 데이터가 방대한 양이기는 하지만, 특정 영역에 편중돼 있다. 또한 데이터란 많을수록 좋기 때문에 엔씨소프트도 다른 AI 기업들과 마찬가지로 항상 데이터의 부족함을 느끼고 있으며, 글이나 그림, 영상, 3D 그래픽에 이르는 수많은 데이터를 확보하기 위해 외부와의 협업을 추진하고 있다.

컴퓨터 비전 관련 연구에 많은 관심을 갖고 있는 것으로 알고 있다. 게임에서 이미지 인식 기술은 어떤 의미를 갖는가?

엔씨소프트에 합류하기 전, 컴퓨터 비전 분야를 연구했으며, 합류 후에도 이미지 인식 등 관련 연구를 지속해 왔다. 영상 속 사물을 인식하는 것에서 이제는 영상을 직접 만드는 것이 더 중요한 시대가 되고 있다. 하지만 이미지 인식 기술은 아직도 게임에서 많은 역할을 하고 있다. 예를 들면 인터랙티브한 디지털 휴먼을 개발하기 위해서는 눈과 귀가 있어야 하고, 눈이라는 것은 결국 인식 기술을 의미한다.

많은 인력이 필요한 게임의 품질 검증(QA) 과정에서도 이미지 인식 AI는 매우 큰 역할을 한다. 예를 들면 게임의 UI에서 아이콘이 어디에 위치했는지, 이번 업데이트에서 어떤 요소가 사라지거나 변경됐는지, 확인하는데 이미지 인식 기술이 활용될 수 있다.

엔씨소프트의 이미지 인식 기술을 이용한 재난 구조용 드론도 제작했던 것으로 알고 있다.

수년 전 개발했던 재난 현장용 드론은 우리가 갖고 있는 기술을 게임 외에 다른 곳에 활용해 보고자 하는 목적으로 만들어졌다. 이것은 우리의 이미지 인식 기술이 어느 정도 수준에 올라와 있는지, 그리고 더 고도화하기 위해서는 무엇이 필요한지 확인하기 위한 작업이기도 했다.

결과적으로 당시 속해 있던 엔씨소프트 비전 AI 랩이 과학기술정보통신부가 주최한 AI와 로보틱스를 활용해 복합 재난상황에서 발생하는 다양한 임무를 수행하는 ‘인공지능 그랜드 챌린지’ 3차 대회에서 최종 1위를 차지했었다.

재난 구조용 드론처럼 게임을 위해 개발된 기술이 다른 영역에서 활용되는 예에는 또 어떤 것이 있는가?

최근 게임을 위해 개발된 AI를 다른 산업 군에서 활용하는 경우가 점점 늘어나고 있다. 게임 산업은 영화나 드라마, 웹툰 등과 같은 콘텐츠 제작 산업과 많은 공통점을 갖고 있기 때문에 게임 분야에서 개발한 AI의 혜택을 이런 콘텐츠 산업에서도 활용할 수 있을 것으로 기대하고 있다. 예를 들면 광고나 웹툰, VFX 업계, 혹은 버추얼 프로덕션 등 콘텐츠 관련 부분에서 강점을 보일 것으로 예상된다. 이외에도 로봇이나 전장, 금융 등의 분야로도 충분히 확장될 수 있을 것으로 보고 있다.

바르코 LLM이 기상청이나 뉴스 분야, 혹은 각종 NLP가 필요한 분야에 활용되고 있다는 점을 고려하면 게임용 AI가 게임 분야 외에서도 충분히 가능성을 인정받을 수 있을 것이다.

엔씨소프트 또한 자체 개발한 LLM 등의 AI 기술을 다른 산업군에서도 활용할 수 있도록 지원할 방침이다. 아직 정확한 날짜나 구체적인 내용에 대해서는 정해진바 없지만, 내부적으로 게임 개발을 위해 사용하고 있는 스튜디오 형태의 툴을 외부에 공개하기 위한 준비를 하고 있다. 이는 텍스트나 이미지, 영상, 음성 등의 콘텐츠를 하나의 통합된 도구를 이용해 생성할 방법을 제공하려는 것이다.

게임 업계가 AI에 큰 기대를 걸고 적극적으로 도입에 나서고 있는 이유는 무엇인가?

쇼츠나 스낵 콘텐츠 등 콘텐츠 소비의 사이클이 빨라지고 있으며, 게임 분야 또한 이런 흐름에서 비껴가지 못하고 있다. 여기에 일반적으로 제작에 2~5년, 길게는 10년 정도 소요되는 게임 개발 기간을 크게 앞당길 수 있는 AI에 주목하지 않을 수 없는 상황이다.

엔씨소프트 또한 개발 사이클의 단축을 위해 적극적으로 AI를 활용하고 있으며, 이와 함께 사용자의 몰입도를 향상하기 위한 새로운 기술을 계속 추가해 나가는 중이다. 예를 들면 이미지나 음원 등 아트 리소스 생성, NPC 캐릭터 생성이나 시나리오, 대화, 그리고 TTS와 립싱크 등에 AI를 활용해 개발 기간을 크게 줄이고, 여기에 번역 기능을 적용했다. 결과적으로 해외 플레이어들을 위한 다국어 지원과 같은 로컬라이징에 드는 시간과 노력을 크게 절감할 수 있다.

사용자 몰입도 향상 측면을 위한 기술로는 판타지 풍 다중사용자 온라인 롤플레잉 게임인 ‘쓰론 앤 리버티(Throne and Liberty)’ 게임에서 적용된 사용자의 얼굴 이미지를 이용한 캐릭터 생성 기능이 대표적이다. 이외에도 운영자들이 사용자들의 게임 경험을 향상하고 이탈률을 낮추기 위한 사용자 분석 용도로도 AI를 적극 활용하고 있다. 특히 게임을 안내하고 사용자에게 가이드를 제시하는 챗봇이나 사용자의 상황에 유연하게 대응하는 AI 용병 등이 대표적인 AI를 활용한 사례다.

향후에는 NPC에 LLM을 적용해 마치 살아 움직이는 듯한 캐릭터를 만드는 에이전트화하는 것 또한 구상중이지만, 이는 NPC의 대화나 행동을 게임 세계관 내로 한정하는 등의 조치가 필요해 RAG(Retrieval-Augmented Generation)나 파인튜닝 등으로 정교화할 필요가 있다.

게임에 AI를 도입함에 있어, 우리가 주의해야 할 부분 또한 분명히 있을 것이다. 어떤 부분을 조심해야 하는가?

학계와 달리 게임 산업 업계 현장에서는 AI의 결과물을 사용하는 데 많은 주의가 필요하다. 특히 게임 업계에서는 콘텐츠와 관련된 많은 논란이 계속해서 일어나고 있기 때문에 더욱 조심스러울 수밖에 없다. 예를 들어, 현재 게임의 사용자층을 연령별로 등급을 나누고 있지만, AI가 학습한 데이터에 등급에 맞지 않거나 유해한 데이터가 포함돼는 문제가 있을 수 있다. 따라서 엄중한 데이터 관리를 통해 비윤리적인 콘텐츠의 생성을 제한하는 방법이 필요하다.

엔씨소프트는 이미 학습된 모델을 좀 더 윤리적으로 바꿀 수 있는 튜닝 기술도 연구하고 있으며, AI 윤리 관련 사항을 ESG 경영실에 계속 리포트하는 등 문제 발생을 최소화하기 위한 기술적, 정책적 노력을 기울이고 있다.

게임 내에서 다양성 등을 확보하기 위해서는 편향되지 않은 데이터가 필요하기에 데이터 구성에도 큰 노력이 필요하다. 하지만 이미 우리 주변의 거의 모든 데이터가 어느 정도 편향되어 있기 때문에 주관적인 데이터를 배제하고 공평한 데이터로만 AI를 학습한다는 것은 매우 어려운 일이다.

기술적인 문제 외에도 저작권 문제 등 AI가 직면하고 있는 다양한 사회적 문제들이 그대로 게임 업계에도 영향을 줄 것으로 보인다.

기술적인 부분 외에도, 사회적 영향 또한 고려해야 한다. 대표적으로 AI가 일자리를 대체할 것이라는 우려를 해소해야 한다. 국내에서도 AI가 성우들의 일자리를 빼앗고 있다는 우려의 목소리나 AI가 이미지나 음향 크리에이터, 프로그래머들의 일자리를 위협한다는 부정적인 의견이 나오고 있다.

학습용 데이터의 저작권과 관련된 문제 또한 해결해야 할 중요한 과제다. 특히 개발자나 크리에이터가 별도의 보고 없이 타 기업의 생성형 AI 서비스를 사용해 콘텐츠를 만들 경우, 저작권 문제는 더욱 복잡해질 수 있다. 따라서 현업에서는 이러한 부분에 대한 명확한 정책을 수립하고 지속적으로 점검해 나가야 한다.

특히 저작권 문제는 보수적으로 접근할 수밖에 없다. 직원들이 AI를 사용한 것을 밝히지 않는 경우도 많기 때문에, 이를 확인하기 위해서는 적절한 저작권 검수 프로세스를 마련해야 한다.

• 김민재 센터장은 오는 12월 10-11일에 개최되는 AI Summit Seoul에서 게임 산업의 AI의 미래에 대해서 강연할 예정이다.