2017년 여름, 구글 AI 연구진은 ‘어텐션 이즈 올 유 니드(Attention Is All You Need)’라는 논문을 발표하며 새로운 신경망 구조인 ‘트랜스포머(transformer)’를 소개했다. 이 구조는 텍스트처럼 긴 데이터를 처리하는 데 뛰어난 성능을 보이며 AI 발전의 전환점이 됐다.

9년이 지난 지금 트랜스포머는 거의 모든 대형언어모델(LLM)의 기반 기술로 자리 잡았다. 미국 마이애미의 AI 스타트업 서브쿼드래틱(Subquadratic)의 저스틴 댕글(Justin Dangel) 공동 창업자 겸 최고경영자(CEO)는 “오늘날 AI 산업 전체가 트랜스포머를 기반으로 돌아가고 있다”며 “트랜스포머는 컴퓨터 과학 역사에서 가장 중요한 혁신 가운데 하나로, 세상을 바꿔 놓은 기술”이라고 평가했다.

하지만 트랜스포머도 조금씩 한계를 드러내고 있다. 최근 등장한 추론 모델(reasoning model)이나 대량의 입력을 한 번에 처리하는 기능 등 LLM의 주요 발전은 트랜스포머를 자연스럽게 확장한 결과라기보다, 근본적인 한계를 우회하거나 보완하기 위해 덧붙인 기술에 가깝다.

이 때문에 연구자와 엔지니어들 사이에서는 ‘트랜스포머 이후’를 고민하는 움직임이 커지고 있다. LLM 자체는 앞으로도 계속 활용되겠지만, 이를 구현하는 방식은 크게 달라질 수 있기 때문이다. MIT 테크놀로지 리뷰는 올해 ‘AI에서 주목해야 할 10가지’에서 이러한 차세대 모델을 ‘LLM+’라고 부르기도 했다.