최근 사람 목소리나 음악을 몇 초간 들려주면 뒤에 자연스럽게 이어지는 소리를 만들어주는 인공지능(AI)이 공개됐다. 구글에서 개발한 ‘오디오LM(AudioLM)’가 그 주인공이다.

오디오LM은 피아노곡처럼 복잡한 소리와 사람의 음성 등 프롬프트 스타일에 맞는 소리를 원래 녹음 데이터와 거의 구분하기 힘든 수준으로 생성해주는 기술이다. 이는 오디오 생성을 위한 AI의 학습 속도를 개선해줄 수 있는 기술로 평가되며, 종국적으로는 향후 동영상 배경음악을 자동으로 생성하는 데 활용할 수 있을 전망이다.

(모든 예시를 여기서 들을 수 있다.)

사실 이러한 ‘AI 생성 오디오(AI-generated audio)’는 보편화되어 있다. 자연어 처리 기법을 활용하는 아마존의 알렉사(Alexa)가 내는 음성이 대표적이다. 오픈AI(OpenAI)의 주크박스(Jukebox) 같은 AI 음악 시스템도 이미 인상적인 결과를 생성해 냈다. 그러나 대부분의 기존 AI 기술에겐 시간과 수고가 많이 드는 스크립트를 준비하거나 텍스트 기반 학습 데이터에 레이블을 붙여줄 사람이 필요하다. 일례로 주크박스는 텍스트 기반 데이터를 이용해서 노래 가사를 생성한다.