📋한눈에 보는 AI 요약AI 자동 요약▶ 펼쳐보기
챗GPT와 같은 대형 언어 모델(LLM)은 이미 수억 명이 사용하는 기술이 되었습니다. 업계에서는 LLM 이후의 다음 기술이 무엇인지 묻고 있지만, 결론적으로 다음 단계도 역시 LLM이며 다만 더 똑똑하고 효율적으로 발전한 형태인 ‘LLM+’가 될 것입니다. 핵심 목표는 사람이 며칠이나 몇 주 걸리는 복잡한 문제를 AI가 스스로 오래 작동하면서 해결할 수 있게 만드는 것입니다. 이를 위해 모델을 더 효율적으로 만들고, 한 번에 처리할 수 있는 정보의 양을 늘리며, 오류를 줄이는 다양한 연구가 진행되고 있습니다.
왜 중요한가요?
AI가 단순한 질문 응답을 넘어 복잡한 업무를 스스로 처리할 수 있게 되면, 우리의 일하는 방식과 일상생활이 크게 바뀔 수 있기 때문에 중요합니다. 비용이 낮아지고 성능이 높아질수록 더 많은 사람과 기업이 AI의 혜택을 누릴 수 있게 됩니다.
주요 용어 설명
전문가 혼합 (Mixture-of-Experts)
하나의 거대한 AI 모델을 여러 명의 전문가 팀처럼 작은 모듈로 나누는 방식입니다. 예를 들어 수학 문제는 수학 전문 모듈이, 번역은 언어 전문 모듈이 담당하는 식입니다. 모든 모듈을 동시에 가동하지 않고 필요한 것만 켜서 에너지와 비용을 절약할 수 있습니다.
컨텍스트 윈도우 (Context Window)
AI가 한 번에 읽고 기억할 수 있는 정보의 양을 뜻합니다. 사람으로 치면 시험 볼 때 한꺼번에 펼쳐놓을 수 있는 참고자료의 분량과 비슷합니다. 이 창이 클수록 AI는 더 많은 내용을 한꺼번에 고려해서 답변할 수 있습니다.
확산 모델 (Diffusion Model)
원래 이미지나 영상을 만드는 데 주로 쓰이던 AI 기술입니다. 깨끗한 그림에 일부러 노이즈(잡음)를 넣었다가 다시 제거하는 과정을 반복하면서 학습하는 방식입니다. 현재 텍스트 처리의 주류인 트랜스포머를 대체할 수 있는 후보로 주목받고 있습니다.
재귀적 LLM (Recursive LLM)
방대한 양의 정보를 한꺼번에 처리하는 대신, 여러 조각으로 나눠서 AI의 복제본들이 각각 처리하도록 하는 방식입니다. 마치 큰 프로젝트를 여러 팀원에게 나눠주고 각자 맡은 부분을 해결한 뒤 결과를 합치는 것과 비슷합니다. 이를 통해 긴 작업에서도 오류를 줄이고 안정적으로 결과를 낼 수 있습니다.
트랜스포머 (Transformer)
현재 챗GPT를 비롯한 대부분의 대형 언어 모델이 사용하는 핵심 구조입니다. 문장 속 단어들 사이의 관계를 한꺼번에 파악해서 문맥을 이해하는 데 뛰어난 성능을 보입니다. 2017년에 등장한 이후 AI 언어 기술의 표준이 되었지만, 효율성 한계 때문에 새로운 대안이 연구되고 있습니다.
⚡ Claude AI가 독자를 위해 자동 생성한 요약입니다. 원문을 함께 읽어보세요.
2022년 말 실험용 프로토타입으로 출시된 오픈AI의 챗봇 챗GPT는 수억 명이 사용하는 일상 속 범용 앱으로 빠르게 자리 잡았다. 이런 챗GPT와 같은 LLM은 새로운 기술 패러다임으로 부상했고, 기술 업계 전반이 이 흐름에 휩쓸리며 경쟁 제품 출시 경쟁에 뛰어들었다.
기존 기술 질서의 여파가 채 가라앉기도 전에 업계는 벌써 다음 단계를 묻고 있다. 결론부터 말하면, LLM 이후의 미래 역시 LLM이다. 다만 더 발전한 형태다. 이를 ‘LLM+’라고 부르겠다.
핵심 과제는 인간이 해결하는 데 며칠 또는 몇 주가 걸리는 복잡하고 다단계적인 문제를 LLM이 처리할 수 있도록 만드는 것이다. 이를 위해서는 LLM이 더 오랜 시간 자율적으로 작동할 수 있어야 한다.
이를 실현하려면 몇 가지 조건이 필요하다. 우선 LLM의 효율성을 높이고 운영 비용을 낮춰야 한다. 이 분야에서는 이미 상당한 진전이 이루어지고 있다. 대표적인 접근방식은 ‘전문가 혼합(mixture-of-experts)’은 모델을 여러 개의 작은 모듈로 나누고 각 모듈에 특정 작업에 대한 전문성을 부여하는 방식이다. 이를 통해 필요할 때 일부 모듈만 선택적으로 작동시킬 수 있다.
또 다른 접근방식은 현재 대부분의 LLM 기반 구조인 ‘트랜스포머(transformer)’를 대체하는 것이다. 대안으로는 주로 이미지와 영상 생성에 활용되는 ‘확산 모델(diffusion model)’이 거론된다. 이 외에도 실험적인 시도가 이어지고 있다. 중국 AI 기업 딥시크는 텍스트를 이미지 형태로 인코딩해 연산 비용을 줄이는 방법을 선보이기도 했다.
MIT 테크놀로지 리뷰와 함께, 미래를 앞서가세요 !!
한달에 커피 2잔값으로 즐기기
온라인 멤버
지면 매거진 멤버
(온라인+지면) 프리미엄 멤버
유료회원 플랜 보기
회원이면 로그인하기
회원가입
회원 가입 후 유료 구독 신청을 하세요 !!
