지난 30여 년간 반도체 산업의 혁신은 언제나 데이터를 계산하는 프로세서(CPU·GPU)를 중심으로 설명돼 왔다. 반도체에 집적되는 트랜지스터 수가 약 2년마다 두 배로 증가한다는 무어의 법칙(Moore’s Law)은 하나의 칩에 더 많은 트랜지스터를 집적해 프로세서 성능을 지속적으로 높여온 반도체 산업의 상징이었다. 최근 AI 시대를 이끈 GPU 역시 대규모 행렬 연산과 같은 AI 계산을 빠르게 처리하도록 설계된 프로세서다. 그동안 반도체 산업은 “얼마나 빠르게 계산할 수 있는가”를 중심으로 발전해 왔다.

반면 계산에 필요한 데이터를 임시 저장하고 프로세서로 전달하는 역할을 맡은 메모리는 오랫동안 프로세서를 뒷받침하는 조연에 머물러 있었다. 프로세서가 필요한 데이터를 얼마나 빠르게 받아올 수 있는지보다 프로세서 자체의 연산 성능이 더 중요한 경쟁력으로 여겨졌기 때문이다.

하지만 AI 시대에는 상황이 달라졌다. 특히 2025년 이후 AI 산업의 중심이 모델을 학습시키는 단계(training)에서 실제 서비스를 제공하는 단계인 추론(inference)으로 이동하면서 반도체의 경쟁력도 새로운 기준으로 평가되기 시작했다. AI 서비스의 경쟁력은 단순히 모델의 성능이 아니라 같은 비용과 전력으로 얼마나 많은 토큰(Token)을 빠르게 처리할 수 있는지에 의해 결정되기 시작했다. 그러자 프로세서의 계산 능력만큼이나 메모리가 데이터를 얼마나 빠르게 공급할 수 있는지가 핵심 경쟁력으로 떠올랐다.