지난 30여 년간 반도체 산업의 혁신은 언제나 데이터를 계산하는 프로세서(CPU·GPU)를 중심으로 설명돼 왔다. 반도체에 집적되는 트랜지스터 수가 약 2년마다 두 배로 증가한다는 무어의 법칙(Moore’s Law)은 하나의 칩에 더 많은 트랜지스터를 집적해 프로세서 성능을 지속적으로 높여온 반도체 산업의 상징이었다. 최근 AI 시대를 이끈 GPU 역시 대규모 행렬 연산과 같은 AI 계산을 빠르게 처리하도록 설계된 프로세서다. 그동안 반도체 산업은 “얼마나 빠르게 계산할 수 있는가”를 중심으로 발전해 왔다.

반면 계산에 필요한 데이터를 임시 저장하고 프로세서로 전달하는 역할을 맡은 메모리는 오랫동안 프로세서를 뒷받침하는 조연에 머물러 있었다. 프로세서가 필요한 데이터를 얼마나 빠르게 받아올 수 있는지보다 프로세서 자체의 연산 성능이 더 중요한 경쟁력으로 여겨졌기 때문이다.

하지만 AI 시대에는 상황이 달라졌다. 특히 2025년 이후 AI 산업의 중심이 모델을 학습시키는 단계(training)에서 실제 서비스를 제공하는 단계인 추론(inference)으로 이동하면서 반도체의 경쟁력도 새로운 기준으로 평가되기 시작했다. AI 서비스의 경쟁력은 단순히 모델의 성능이 아니라 같은 비용과 전력으로 얼마나 많은 토큰(Token)을 빠르게 처리할 수 있는지에 의해 결정되기 시작했다. 그러자 프로세서의 계산 능력만큼이나 메모리가 데이터를 얼마나 빠르게 공급할 수 있는지가 핵심 경쟁력으로 떠올랐다.

이처럼 AI가 같은 비용과 전력으로 얼마나 많은 토큰을 처리할 수 있는지를 따지는 ‘토큰 경제학(Token Economics)’ 시대가 열리면서 메모리는 더 이상 프로세서를 뒷받침하는 조연이 아니라 AI 반도체 경쟁력을 좌우하는 핵심 기술로 부상하고 있다.

추론은 왜 메모리 게임으로 변모하고 있는가

이 전환을 이해하려면 먼저 학습과 추론이 근본적으로 다른 작업이라는 점부터 짚어야 한다. 오랫동안 우리는 두 과정을 뭉뚱그려 ‘AI 연산’이라고 불러왔다. 그러나 하드웨어의 관점에서 이 둘은 정반대의 성격을 갖는다.

대형언어모델(LLM)의 추론은 크게 두 단계로 나뉜다. 먼저 입력 프롬프트 전체를 한꺼번에 소화하는 프리필(prefill)이 있고, 그다음 모델이 답변을 한 토큰씩 순차적으로 뱉어내는 디코드(decode)가 뒤따른다. 프리필은 수백억, 수천억 개의 신경망 파라미터를 동시에 참조하는 거대한 행렬 연산이다. GPU가 가장 잘하는 대규모 병렬 처리가 마음껏 발휘되는 영역이다. 반면 디코드는 성격이 완전히 다르다. 모델은 새로운 토큰을 생성할 때마다 이전 토큰의 키와 값이 저장된 KV 캐시(KV cache)를 반복해서 읽어야 한다. 연산량 자체는 프리필보다 적지만, 모델 가중치와 KV 캐시를 메모리에서 끊임없이 가져오는 과정 때문에 메모리 대역폭의 지배를 받는다.

일반 사용자가 생성형 AI를 쓸 때 첫 답변이 나오기까지 걸리는 시간은 프리필의 영향을 받는다. 이후 답변이 얼마나 부드럽게 이어지는지는 디코드가 결정한다. 즉 사용자가 체감하는 속도의 대부분은 디코드에서 나오고, 디코드의 성능은 메모리에서 나온다. 루프라인(roofline) 모델은 이 구조를 명확히 보여준다. 디코드 과정에서는 연산 장치가 계산을 끝내고도 다음 데이터가 도착하기를 기다리는 상황이 반복된다. 연산 능력이 남아도는 것이 아니라, 메모리 대역폭이 부족한 것이다. 튜링상 수상자 데이비드 패터슨(David A. Patterson) UC버클리 교수도 최근 LLM 추론의 진짜 병목이 연산이 아니라 메모리와 인터커넥트에 있다고 지적했다.

토큰 경제학의 핵심도 여기에 있다. 100만 개의 토큰을 얼마의 비용과 에너지로 얼마나 빠르게 처리할 수 있는지는 프로세서 성능만으로 설명되지 않는다. 메모리 대역폭과 용량, 데이터 이동 비용이 함께 계산되어야 한다. 대표적인 병목은 고대역폭 메모리(HBM)의 용량과 대역폭 한계다. 문맥이 길어지고 동시 사용자가 많아질수록 KV 캐시는 빠르게 커진다. GPU에 탑재된 HBM 용량을 넘어서는 순간 시스템은 일부 데이터를 시스템 메모리나 저장장치로 옮기거나, 압축하거나, 오래된 정보를 버려야 한다. 어느 방법을 선택하든 지연이 발생한다. 이 비선형성이 지금 추론 인프라의 진짜 과제다.

최근에는 HBM에 고대역폭 플래시를 결합해 메모리 용량을 확장하고 추론 처리량과 전력 효율을 함께 끌어올리려는 연구가 진행되고 있다. 메모리 용량의 한계를 완화했을 때 동시에 처리할 수 있는 요청 수가 크게 늘어난다는 실험 결과가 이어진다. 메모리 용량이 조금 늘었을 뿐인데 시스템 성능이 훨씬 큰 폭으로 뛰어오르는 것이다. 메모리 병목이 풀릴 때 나타나는 전형적인 비선형 도약이다. 추론의 시대에 메모리가 주인공이 되는 것은 단순한 수사가 아니라, 이 계산에서 나오는 결론이다.

메모리 계층 구조의 전면 재편

주인공이 바뀌면 무대 자체도 다시 설계된다. 과거의 메모리 계층은 단순한 피라미드였다. 프로세서 내부의 SRAM 기반 L1, L2 캐시가 꼭대기에 있고, GPU 패키지 안의 HBM, 시스템 DRAM, 대용량 저장장치 SSD로 이어지는 구조였다. 프로세서에서 멀어질수록 용량은 커지고 가격은 낮아지지만 접근 속도는 느려진다. 이 구조가 30년간 반도체 시스템 설계의 기본 문법이었다. 그런데 추론이라는 새로운 대형 워크로드가 이 피라미드에 새로운 층을 끼워 넣기 시작했다.

가장 극적인 사례는 대용량 온칩 SRAM을 활용한 추론 가속기의 등장이다. SRAM 자체는 오래된 기술이지만 원리상 DRAM보다 훨씬 빠르다. 다만 DRAM에 비해 집적도를 높이기 어렵고 비트당 제조 비용이 압도적으로 비싸, 대용량 탑재는 오랫동안 비현실적이라 여겨졌다. SRAM은 그래서 프로세서의 캐시라는 제한된 역할에 머물러 있었다.

그런데 최근 이 상식에 정면으로 도전한 아키텍처가 등장했다. 수백 MB 규모의 대용량 SRAM을 주요 데이터 저장 공간으로 삼고, 컴파일러가 데이터 이동과 연산 순서를 미리 계획하는 추론 전용 프로세서가 그것이다. 용량은 HBM에 비할 수 없이 작지만, 메모리 대역폭이 특히 중요한 디코드 단계에서는 이 ‘작지만 압도적으로 빠른 메모리’가 승부를 가른다. GPU가 프리필과 어텐션을 맡고 이 전용 가속기가 디코드의 상당 부분을 담당하는 분업 구조가 실제로 만들어지고 있다.

엔비디아가 2025년 12월 그록(Groq)과 추론 기술에 관한 비독점 라이선스 계약을 맺은 것도 이 흐름의 일환이다. 엔비디아는 이후 그록의 기술을 활용한 LPU와 랙 시스템을 공개하고, 이를 자사의 베라 루빈(Vera Rubin) 플랫폼과 결합했다. 성격이 다른 가속기를 조합해 워크로드를 나누는 하이브리드 구조가 GPU 진영 안에서도 표준이 되어가고 있는 것이다.

GPU의 HBM과 별도로 CPU 측에는 LPDDR5X 기반 SOCAMM 같은 대용량 저전력 메모리가 자리 잡는다. 엔비디아의 Vera CPU는 개별 CPU당 최대 1.5TB의 메모리를 지원하며, 256개 CPU로 구성된 랙 전체로는 최대 400TB에 이른다. 강화학습과 에이전트 워크로드에 필요한 대규모 작업 공간을 이 계층이 제공한다.

그리고 그 아래로 완전히 새로운 층이 삽입되고 있다. 플래시 메모리를 AI의 컨텍스트 저장소로 활용하는 움직임이다. 자주 쓰이는 최근 컨텍스트는 HBM에, 접근 빈도가 낮은 오래된 KV 캐시는 DRAM이나 낸드 플래시 기반 저장장치에 보관했다가 필요할 때만 꺼내 쓰는 ‘컨텍스트 메모리(context memory)’ 계층이다. 엔비디아의 ICMS(Inference Context Memory Storage)는 핫·콜드 분리를 통해 수십만 토큰 이상의 초장문 KV 캐시를 처리하는 방식을 제시한다.

이 수직 구조 재편을 한 문장으로 요약하면, ‘AI 전용 메모리의 시대’가 열렸다는 것이다. 오랫동안 하나의 표준 제품이 시장 전체를 관통하던 시절이 저물고 있다. 이제 메모리는 학습과 고성능 추론을 위한 HBM, 에이전트 AI와 강화학습을 뒷받침하는 저전력 대용량 메모리, 초저지연 디코드를 위한 온칩 SRAM, 그리고 장문 KV 캐시를 위한 플래시 기반 컨텍스트 메모리로 세분화되고 있다. 각 계층은 서로 다른 물성과 서로 다른 경제 논리를 갖는다.

메모리 계층이 분화된다고 해서 HBM의 중요성이나 절대 수요가 줄어드는 것은 아니다. HBM4는 입출력 통로가 이전 세대의 두 배인 2,048개로 늘었고, 단일 스택 대역폭도 최대 3.3TB/s 수준까지 올라왔다. AI 가속기 한 대에 탑재되는 HBM 용량과 데이터센터에 설치되는 가속기 수가 함께 늘어난다면 HBM 수요는 계속 확대될 것이다. 달라지는 것은 HBM의 필요성이 아니라, HBM만으로 AI 시스템의 모든 메모리 수요를 감당할 수 없게 되었다는 사실이다.

효율화가 수요를 죽인다는 착각: 제번스의 역설

메모리 시대를 둘러싼 가장 집요한 오해는 ‘효율화 공포’다. 새로운 메모리 압축이나 가속 알고리즘이 발표될 때마다 대형 메모리 제조사의 주가가 출렁였다. 이 공포의 논리는 단순하다. 데이터를 압축하면 메모리를 덜 쓸 것이고, 결국 수요가 줄어들지 않겠느냐는 것이다.

구글 리서치의 터보퀀트(TurboQuant)가 좋은 사례다. KV 캐시를 낮은 비트 수로 양자화해 메모리 사용량과 데이터 이동을 줄이는 기술이다. 구글은 일부 장문 문맥 실험에서 모델 성능을 유지하면서 KV 캐시 크기를 6분의 1 수준까지 줄였다고 밝혔다. 더 적은 메모리로 같은 성능을 낼 수 있으니 메모리 수요는 감소할 것이라는 예측이 자연스럽게 뒤따랐다.

그러나 효율 향상이 곧바로 수요 감소로 이어진다고 단정할 수는 없다. 19세기 경제학자 윌리엄 스탠리 제번스(William Stanley Jevons)가 석탄을 관찰하며 발견한 ‘제번스의 역설’을 되새겨볼 필요가 있다. 효율이 높아지면 자원의 단위 사용량은 줄어들지만, 새로운 수요가 폭발하며 전체 소비량은 오히려 늘어난다는 개념이다. AI 추론 시장에서도 정확히 같은 반동이 나타나고 있다.

KV 캐시 압축으로 토큰당 비용이 크게 낮아지면, 그전까지 경제성이 없던 수많은 서비스가 한꺼번에 활성화된다. 실시간 코딩 어시스턴트, 수백만 토큰의 초장문 컨텍스트를 상주시키는 개인화 에이전트, 수십 개의 에이전트가 서로 통신하며 협업하는 멀티 에이전트 시스템이 모두 여기에 해당한다. 절약된 메모리는 아껴지는 대신 더 많은 에이전트와 더 긴 문맥으로 즉시 채워진다. 토큰 한 개를 처리하는 데 필요한 메모리는 줄더라도, 전체 토큰 처리량과 동시 사용자 수가 더 빠르게 늘어나면 총 메모리 수요는 오히려 커진다.

이 대목에서 ‘메모리 시장 규모는 GPU 판매량에 비례한다’는 기존 공식은 더 이상 유효하지 않게 된다. 메모리 계층이 HBM, DRAM, SRAM, 낸드 플래시로 다층화되고 각 계층이 저마다의 수요 곡선을 우상향으로 그리기 시작하면서, 시장의 규모와 성격을 GPU 판매량 하나로 설명하기 어려워졌다. 효율화 기술은 메모리 수요를 죽이는 것이 아니라, 그 형태를 바꾸며 총량을 오히려 키우고 있다.

한국 메모리 업계의 진짜 과제

여기까지가 메모리 중심 AI 반도체 시대의 기회 서사라면, 이제 잠깐 환호에서 벗어나 냉정한 질문을 던질 차례다. 세계 메모리 시장의 정점에 선 한국은 이 전환기 슈퍼사이클 속에서 무엇을 준비해야 하는가. 결론부터 말하면, 지금 올리고 있는 사상 최대 실적은 축배인 동시에 경보음으로 읽어야 한다. 현재의 호황이 미래의 지위를 자동으로 보장하지는 않기 때문이다. 오히려 지금의 높은 수익을 다음 기술 전환에 재투자하지 못한다면, 가장 유리한 시기에 가장 유리한 자리를 놓칠 수 있다.

첫째, ‘용량 공급자’에서 ‘솔루션 설계자’로의 전환이 필요하다. 지금까지 한국 메모리 산업의 경쟁력은 소품종 대량 생산, 즉 표준화된 고품질 제품을 낮은 비용으로 대량 생산하는 능력에 있었다. 그러나 메모리 시장은 공급자 주도의 소품종 대량 생산에서 고객 주문에 맞춘 다품종 생산으로 구조가 바뀌고 있다. AI 메모리는 고객 시스템과 가속기 구조에 따라 요구 조건이 달라지기 때문이다. 용량과 속도만이 아니라 로직 다이, 패키징, 전력 관리, 인터페이스까지 함께 조정해야 한다.

HBM4부터는 입출력 통로가 2,048개로 늘어나고 베이스 다이와 패키지의 역할이 커지면서 고객 맞춤형 설계의 여지가 확대됐다. 이와 함께 고객사 가속기와 워크로드에 맞춰 베이스 다이의 인터페이스와 기능, 시스템 구조를 최적화하는 커스텀 HBM(cHBM)이 중요한 개발 방향으로 떠오르고 있다.

흥미롭게도 이 변화는 국내 두 메모리 기업에 서로 다른 전략을 요구한다. 메모리, 파운드리, 패키징을 모두 보유한 삼성전자 같은 종합 반도체 기업은 고객이 원하는 로직 다이와 메모리를 통합해 제공하는 턴키 역량을 강화할 수 있다. 반면 파운드리와 주요 고객사 동맹을 축으로 삼는 SK하이닉스는 생태계 경쟁력을 높이는 전략을 취할 수 있다. 어느 경로를 택하든 공통된 과제는 하나다. 단순 DRAM 셀 공급자의 자리에서 벗어나야 한다. AI 가속기 설계 단계부터 고객과 협력하고, 메모리 컨트롤러와 펌웨어, 패키징, 열 관리, 소프트웨어 최적화까지 이해해야 한다. 그렇지 않으면 한국 메모리 기업은 시스템의 핵심 설계자가 아니라 가격 협상에 취약한 부품 공급자로 남게 된다.

둘째, 새로운 메모리 계층에 필요한 제조 역량을 확보해야 한다. 이것이 가장 불편한 진실이다. SRAM 중심 추론 가속기는 DRAM 공정이 아니라 첨단 로직 반도체 공정에서 생산된다. SRAM 기반 추론 메모리 시장은 DRAM 양산 경쟁력만으로는 진입할 수 없는, 시스템 반도체 제조 역량의 영역이다.

반면 플래시 기반 컨텍스트 메모리 계층은 낸드 기술력과 시스템 레벨 설계 역량을 동시에 요구한다. 그동안 DRAM에 가려 상대적으로 저평가되던 낸드가 독립적인 성장 곡선을 그릴 여지가 여기서 열린다. 메모리 계층이 다변화될수록, 한국이 각 계층에 걸쳐 있는 서로 다른 제조 역량을 얼마나 넓게 확보하고 있는가가 시장 지배력의 지속을 판가름한다. 어제의 지배력이 내일의 지배력을 자동으로 보장하지 않는, 역량의 재정의가 요구되는 국면이다.

셋째, 중국의 추격을 과소평가하지 말아야 한다. 중국은 이미 범용 메모리에서 전 세계 시장에 가격 교란을 일으킬 수 있는 능력을 입증했다. 미국의 제재에도 불구하고 CXMT 같은 중국 DRAM 제조사는 2026년 말 HBM3 양산을 목표로 투자를 진행하며 독자적 밸류체인을 구축하고 있다. 현재 슈퍼사이클의 핵심인 범용 메모리에서 벌어들인 이익을 다음 계층의 기술 전환에 재투자하지 못하면, 초격차는 생각보다 빠르게 좁혀진다.

여기에 사이클의 성격 변화라는 과제가 겹친다. 과거 메모리 산업은 PC와 스마트폰 등 범용 제품의 수요·공급에 따라 비교적 비슷한 주기로 움직였다. 제품이 표준화돼 있었기 때문에 재고와 설비투자, 가격의 관계도 단순했다. 그러나 AI 메모리 시장에서는 HBM, 서버 DRAM, SOCAMM, 낸드 플래시가 서로 다른 고객과 제품 주기를 가지면서 복합 사이클 구조로 바뀌고 있다.

HBM은 적층 수가 늘어날수록 본딩과 열 관리, 테스트의 난도가 높아져 안정적 수율 확보가 어렵다. 한 세대의 공급과 고객 인증이 안정화될 무렵에는 이미 다음 세대의 개발과 투자가 병행되어야 한다. 경쟁사 진입으로 기존 제품 프리미엄이 낮아질 때쯤 더 높은 성능과 가격의 다음 세대가 등장하는 구조다. 메모리 산업 전체를 더 이상 하나의 사이클로 설명할 수 없다. 기업은 시장을 세그먼트별로 나눠 상관관계를 추적하고, 각각의 기회가 열리는 짧은 시기에 재투자 결정을 내려야 한다. 이런 판단 능력 자체가 새로운 경영 역량이 되고 있다.

이 세 과제를 관통하는 방향은 분명하다. 효율화 기술과 경쟁할 것이 아니라, 효율화 기술과 함께 발전하는 메모리를 만들어야 한다. 압축된 데이터를 초고속으로 쏟아붓는 대역폭 중심 메모리, 계층 간 데이터를 지능적으로 오케스트레이션하는 컨텍스트 메모리, 그리고 이 모두를 AI 시스템 아키텍처에 맞춰 통합 공급하는 ‘종합 메모리 솔루션 기업’으로 포지셔닝해야 한다. 메모리를 파는 회사가 아니라, 메모리 계층 전체를 설계하는 기업이 되어야 한다. 메모리 중심 AI 시대가 한국 반도체 산업에 던지는 요구다.

기억을 다루는 자가 지능의 시대를 연다

한 걸음 물러서면, 이 모든 기술 논쟁의 밑바닥에는 놀랍도록 단순한 질문이 놓여 있다. AI의 성능은 결국 무엇을 기억하고, 무엇을 버리며, 필요한 맥락을 얼마나 빠르게 불러올 수 있는가에 좌우된다. AI가 KV 캐시를 어떻게 압축하고 어떤 문맥을 핫 계층에 둘지 결정하는 과정은, 인간이 자신의 경험을 정리하고 되새기는 방식과 놀라울 만큼 닮아 있다.

우리는 오랫동안 “어떻게 더 빠르게 계산할 것인가”를 물었지, “무엇을 어떻게 기억할 것인가”를 묻지 않았다. 기술이 고도화될수록 질문은 오히려 더 근본적인 곳으로 돌아온다. 메모리는 더 이상 정해진 규격과 가격에 따라 공급되는 범용 부품이 아니다. AI 시대의 전략물자이며, 지능이 흐르는 혈관이자 토큰의 통로이고 저장고다. 그리고 한국은 지금 AI의 혈관을 구성하는 핵심 산업에서 막강한 영향력을 발휘할 수 있는 자리에 서 있다.

문제는 이 자리를 ‘더 많이 찍어내는 자’로 지킬 것인가, 아니면 ‘지능의 기억 구조를 설계하는 자’로 도약할 것인가에 있다. 전자는 결국 추격당하는 자리이고, 후자는 새로운 시장의 규칙을 만드는 자리다.

메모리 중심의 AI 반도체 시대는 이미 시작됐다.

권석준 교수는 성균관대학교 화학공학부 교수이자 공과대학 부학장이다. 서울대학교 화학생물공학부를 졸업하고 미국 매사추세츠공과대학교(MIT)에서 화학공학 박사학위를 받았다. 차세대 반도체 소재와 공정 기술을 연구하며, 반도체 산업과 글로벌 공급망 전략에 관한 글과 강연을 이어가고 있다. 저서로 《반도체 삼국지》와 《차이나 반도체 라이징》 등이 있다.