2022년 말 실험용 프로토타입으로 출시된 오픈AI의 챗봇 챗GPT는 수억 명이 사용하는 일상 속 범용 앱으로 빠르게 자리 잡았다. 이런 챗GPT와 같은 LLM은 새로운 기술 패러다임으로 부상했고, 기술 업계 전반이 이 흐름에 휩쓸리며 경쟁 제품 출시 경쟁에 뛰어들었다.

기존 기술 질서의 여파가 채 가라앉기도 전에 업계는 벌써 다음 단계를 묻고 있다. 결론부터 말하면, LLM 이후의 미래 역시 LLM이다. 다만 더 발전한 형태다. 이를 ‘LLM+’라고 부르겠다.

핵심 과제는 인간이 해결하는 데 며칠 또는 몇 주가 걸리는 복잡하고 다단계적인 문제를 LLM이 처리할 수 있도록 만드는 것이다. 이를 위해서는 LLM이 더 오랜 시간 자율적으로 작동할 수 있어야 한다.

이를 실현하려면 몇 가지 조건이 필요하다. 우선 LLM의 효율성을 높이고 운영 비용을 낮춰야 한다. 이 분야에서는 이미 상당한 진전이 이루어지고 있다. 대표적인 접근방식은 ‘전문가 혼합(mixture-of-experts)’은 모델을 여러 개의 작은 모듈로 나누고 각 모듈에 특정 작업에 대한 전문성을 부여하는 방식이다. 이를 통해 필요할 때 일부 모듈만 선택적으로 작동시킬 수 있다.

또 다른 접근방식은 현재 대부분의 LLM 기반 구조인 ‘트랜스포머(transformer)’를 대체하는 것이다. 대안으로는 주로 이미지와 영상 생성에 활용되는 ‘확산 모델(diffusion model)’이 거론된다. 이 외에도 실험적인 시도가 이어지고 있다. 중국 AI 기업 딥시크는 텍스트를 이미지 형태로 인코딩해 연산 비용을 줄이는 방법을 선보이기도 했다.