[2025.11.19 뉴스레터] LLM의 시대 연 트랜스포머 이후 가장 중요한 논문이 나왔다
MIT 테크놀로지 리뷰 구독자 여러분, 안녕하세요.
2017년 구글의 'Attention Is All You Need'라는 논문이 트랜스포머로 LLM 시대를 열었다면, 중국 스타트업 문샷 AI가 11월 1일 공개한 'Kimi Linear' 논문은 ‘그다음 페이지’를 여는 신호탄에 가깝습니다. 문맥이 길어질수록 계산량이 제곱으로 불어나는 트랜스포머의 구조적 한계를, “중요한 것만 오래 기억하고 나머지는 효율적으로 잊는” 새로운 방식으로 정면 돌파하려 하기 때문입니다.
키미 리니어의 핵심은 두 가지입니다. 하나는 채널별 망각 게이트를 쓰는 키미 델타 어텐션, 그리고 이렇게 빠른 리니어 어텐션 3층과 전통적인 풀 어텐션 1층을 섞은 3:1 하이브리드 구조를 채택해 속도와 정확도의 균형점을 찾았다는 것입니다.
이 변화의 의미는 단순한 ‘모델 하나 잘 나왔다’가 아닙니다. 수십만 토큰짜리 계약서와 코드베이스, 에이전트들의 장시간 협업 로그를 실시간에 가깝게 다루는 에이전트 시대의 기본 구조가 달라질 수 있다는 이야기이기도 합니다.
'포스트 트랜스포머 시대의 첫 진지한 후보'를 어떻게 바라봐야 할지 함께 고민해 보시죠.
감사합니다. |
|
|
|
2017년 구글의 <주의가 전부다(Attention Is All You Need)> 논문이 트랜스포머 구조를 제시하며 대형언어모델(LLM) 시대의 시작을 알렸다면, 2025년 11월 1일 중국 스타트업 문샷 AI가발표한 <키미 리니어(Kimi Linear)>는 AI 에이전트 시대의 기술적 대전환을 보여주는 논문으로 기록될 전망이다.
|
|
|
MIT 테크놀로지 리뷰 11-12월호
당신은 AI와 일할 준비가 되어 있는가?
AI가 더 이상 ‘도구(tool)’에 머물던 시대는 끝났습니다. MIT 테크놀로지 리뷰 11·12월호는 일의 정의 자체가 다시 쓰이고 있는 지금, 그 변화의 중심으로 독자를 안내합니다. 또한 스스로 학습하며 진화하는 자율형 AI의 다섯 가지 비밀, 동물 인지에서 착안한 ‘비둘기와 강화학습’, AI 전쟁의 최전선과 사회적 충돌에 대한 다양한 기사들이 준비돼 있습니다.
|
|
|
화제의 스타트업 ‘딥’이 40년 만에 새롭게 개발된 해저 거주 기지 ‘뱅가드’를 공개했다. 이를 통해 과학자들은 바닷속에서 일주일간 생활하며 연구를 이어갈 수 있다.
|
|
|
모델의 작동 원리를 파악하는 데 도움을 줄 오픈AI의 새로운 대형언어모델(LLM)은 모델이 왜 이상한 행동을 하는지, 우리가 실제로 모델을 얼마나 신뢰할 수 있는지에 대한 해답을 제시할지도 모른다.
|
|
|
MIT 테크놀로지 리뷰를 구독하여 가장 빠르게 테크 분야의 트렌드를 파악하세요. 아직 구독하지 않으셨다면 구독의 혜택을 누려보세요. |
|
|
MIT 테크놀로지 리뷰 코리아customer@technologyreview.kr92, Saemunan-ro, Jongno-gu, Seoul, Republic of Korea, 02-2038-3690수신거부 Unsubscribe |
|
|
|
|
