📋한눈에 보는 AI 요약AI 자동 요약▶ 펼쳐보기
2017년에 구글이 발표한 ‘트랜스포머’라는 기술은 지금까지 거의 모든 AI 언어 모델의 핵심이 되어 왔습니다. 하지만 처리할 데이터가 많아질수록 계산량과 비용이 급격히 늘어나는 한계가 드러나고 있습니다. 이 문제를 해결하기 위해 여러 스타트업들이 새로운 방식을 개발하고 있는데, 중요한 단어만 골라서 계산하는 방법, 핵심 정보만 요약해서 기억하는 방법, 더 작고 효율적인 신경망을 만드는 방법, 그리고 텍스트를 한꺼번에 생성하는 방법 등이 있습니다. 이러한 차세대 기술들은 AI를 더 빠르고 저렴하며 성능도 뛰어나게 만들 가능성을 보여주고 있습니다.
왜 중요한가요?
AI 기술이 더 효율적으로 발전하면 전력 소비와 비용이 줄어들어 더 많은 사람과 기업이 AI를 쉽게 활용할 수 있게 되고, 스마트폰이나 자동차 같은 작은 기기에서도 똑똑한 AI를 사용할 수 있게 됩니다.
주요 용어 설명
트랜스포머 (Transformer)
AI가 글의 의미를 이해할 때 사용하는 핵심 구조입니다. 문장 속 모든 단어를 서로 비교해서 각 단어가 어떤 의미를 갖는지 파악하는 방식으로, 마치 시험 문제를 풀 때 지문의 모든 문장을 하나하나 대조해 보는 것과 비슷합니다. 현재 챗GPT 등 거의 모든 대형 AI 모델의 기반이 됩니다.
밀집 어텐션 (Dense Attention)
트랜스포머가 문장을 이해하는 핵심 방법으로, 글 속의 모든 단어를 다른 모든 단어와 빠짐없이 비교하는 것입니다. 교실에서 30명의 학생이 서로 한 명씩 전부 악수하는 것처럼, 단어가 많아질수록 비교 횟수가 폭발적으로 늘어나 계산 비용이 크게 증가합니다.
희소 어텐션 (Sparse Attention)
모든 단어를 비교하는 대신, 중요한 단어끼리만 골라서 비교하는 방법입니다. 마치 시험 공부할 때 교과서 전체를 읽는 대신 중요한 부분에 밑줄을 치고 그 부분만 집중적으로 보는 것과 비슷합니다. 이렇게 하면 계산량을 크게 줄이면서도 핵심 의미를 파악할 수 있습니다.
컨텍스트 윈도우 (Context Window)
AI가 한 번에 읽고 기억할 수 있는 글의 최대 분량을 뜻합니다. 책을 읽을 때 한 번에 펼쳐 볼 수 있는 페이지 수에 비유할 수 있습니다. 이 창이 작으면 긴 문서를 처리할 때 앞부분 내용을 잊어버리게 되므로, 이를 넓히는 것이 중요한 과제입니다.
디퓨전 (Diffusion)
원래 이미지 생성 AI에서 쓰이던 기술로, 잡음 섞인 데이터에서 출발해 점차 깨끗한 결과물을 만들어내는 방식입니다. TV 화면의 지직거리는 잡음이 서서히 또렷한 사진으로 바뀌는 것과 비슷합니다. 이 원리를 텍스트에 적용하면 단어를 하나씩 만드는 대신 여러 단어를 동시에 생성할 수 있어 속도가 훨씬 빨라집니다.
⚡ Claude AI가 독자를 위해 자동 생성한 요약입니다. 원문을 함께 읽어보세요.
2017년 여름, 구글 AI 연구진은 ‘어텐션 이즈 올 유 니드(Attention Is All You Need)’라는 논문을 발표하며 새로운 신경망 구조인 ‘트랜스포머(transformer)’를 소개했다. 이 구조는 텍스트처럼 긴 데이터를 처리하는 데 뛰어난 성능을 보이며 AI 발전의 전환점이 됐다.
9년이 지난 지금 트랜스포머는 거의 모든 대형언어모델(LLM)의 기반 기술로 자리 잡았다. 미국 마이애미의 AI 스타트업 서브쿼드래틱(Subquadratic)의 저스틴 댕글(Justin Dangel) 공동 창업자 겸 최고경영자(CEO)는 “오늘날 AI 산업 전체가 트랜스포머를 기반으로 돌아가고 있다”며 “트랜스포머는 컴퓨터 과학 역사에서 가장 중요한 혁신 가운데 하나로, 세상을 바꿔 놓은 기술”이라고 평가했다.
하지만 트랜스포머도 조금씩 한계를 드러내고 있다. 최근 등장한 추론 모델(reasoning model)이나 대량의 입력을 한 번에 처리하는 기능 등 LLM의 주요 발전은 트랜스포머를 자연스럽게 확장한 결과라기보다, 근본적인 한계를 우회하거나 보완하기 위해 덧붙인 기술에 가깝다.
이 때문에 연구자와 엔지니어들 사이에서는 ‘트랜스포머 이후’를 고민하는 움직임이 커지고 있다. LLM 자체는 앞으로도 계속 활용되겠지만, 이를 구현하는 방식은 크게 달라질 수 있기 때문이다. MIT 테크놀로지 리뷰는 올해 ‘AI에서 주목해야 할 10가지’에서 이러한 차세대 모델을 ‘LLM+’라고 부르기도 했다.
MIT 테크놀로지 리뷰와 함께, 미래를 앞서가세요 !!
한달에 커피 2잔값으로 즐기기
온라인 멤버
지면 매거진 멤버
(온라인+지면) 프리미엄 멤버
유료회원 플랜 보기
회원이면 로그인하기
회원가입
회원 가입 후 유료 구독 신청을 하세요 !!
