KAIST, AI 가속기 960개를 하나처럼 연결…데이터센터 구조 바꾼다

KAIST가 CPU와 AI 가속기, 메모리를 데이터센터 전체에서 하나의 컴퓨팅 시스템처럼 연결하는 ‘단일 칩형 데이터센터’ 구조를 제시했다.

KAIST 전기및전자공학부 정명수 교수 연구진과 교원창업기업 파네시아, 메타 연구진은 CXL(Compute Express Link)을 기반으로 데이터센터의 서버·랙 경계를 낮추고, 장치 간 통신 지연의 편차를 줄이는 하드웨어 구조를 제안한 리뷰 논문을 국제학술지 ‘네이처 리뷰 일렉트리컬 엔지니어링’에 게재했다고 9일 밝혔다.

이번 연구의 핵심은 단순히 더 많은 가속기를 연결하는 데 있지 않다. 대규모 AI에서 가장 느린 장치 하나가 전체 연산을 기다리게 만드는 문제를 데이터센터 설계 단계에서 줄이겠다는 접근이다.

AI 데이터센터의 병목은 ‘칩의 속도’가 아니라 ‘칩 사이의 시간’이다

초거대 AI 모델을 학습하거나 추론하려면 하나의 GPU만으로는 부족하다. 수백~수천 개의 AI 가속기가 동시에 계산하고, 중간 결과를 서로 주고받아야 한다. 이때 중요한 것은 각 가속기의 연산 성능만이 아니다. 가속기들이 데이터를 주고받는 데 걸리는 시간이 얼마나 일정한지도 전체 성능을 좌우한다.

문제는 여러 장치를 네트워크로 묶는다고 해서 이들이 하나의 컴퓨터처럼 움직이지는 않는다는 데 있다. 대규모 AI 연산에서는 여러 가속기가 같은 단계에서 작업을 진행하다가 서로 중간 결과를 교환해야 한다. 이 과정에서 단 하나의 가속기라도 늦어지면 다른 장치들이 다음 단계로 넘어가지 못하고 기다려야 한다. 연구진은 실제 데이터센터에서 드물게 발생하는 최악의 지연시간이 평소보다 약 5배 길어질 수 있다고 설명한다. 장치가 많아질수록 이런 지연 편차가 전체 시스템의 성능에 미치는 영향도 커진다.

이를 이해하려면 ‘집합 통신(Collective Communication)’이라는 개념을 볼 필요가 있다. 이는 여러 가속기가 하나의 작업을 나눠 수행하면서 계산 결과를 서로 주고받는 통신 방식이다. 예를 들어 100개의 가속기가 동시에 계산하더라도 99개가 작업을 끝내고 1개가 늦으면 다음 단계는 100번째 장치를 기다려야 한다. 이때 문제가 되는 것이 ‘꼬리 지연시간(Tail Latency)’이다. 전체 통신 중 유독 오래 걸린 일부 구간의 지연시간을 뜻한다.

현재 업계는 이런 문제에 대응하기 위해 GPU와 가속기를 랙 단위로 촘촘하게 연결하는 방향으로 발전해왔다. 엔비디아의 NVLink와 AMD의 랙 스케일 시스템 등이 대표적이다. 하지만 랙과 랙 사이를 넘어가면 이더넷이나 인피니밴드 같은 네트워크가 다시 연결을 담당한다. 즉, 랙 안에서는 긴밀하게 움직이던 장치들이 데이터센터 전체에서는 상대적으로 느슨한 네트워크를 통해 연결되는 구조다.

정명수 교수 연구진과 파네시아·메타가 제안한 방식은 이 경계를 없애는 데 초점을 맞춘다. 핵심 기술은 CXL이다. CXL은 CPU, 메모리, AI 가속기 같은 서로 다른 장치를 하나의 시스템으로 연결하면서 메모리의 최신 상태를 공유할 수 있도록 하는 국제표준이다. 여러 장치가 동일한 데이터를 사용할 때 각각 다른 값을 갖지 않도록 관리하는 ‘캐시 일관성(Cache Coherence)’도 지원한다.

CXL 위에 ‘칩의 설계 원리’를 데이터센터로 옮겼다

CXL을 선택했다고 해서 데이터센터가 자동으로 하나의 거대한 칩처럼 동작하는 것은 아니다. CXL은 장치들을 연결하고 데이터를 공유하기 위한 기본적인 규칙을 정하지만, 데이터가 실제로 어떤 경로를 지나고 각 연결 지점에서 얼마나 빠르게 처리되는지는 구체적으로 규정하지 않는다. 시스템 규모가 커질수록 연결 경로와 처리 방식에 따라 지연시간이 달라질 수 있는 이유다.

연구진은 이 문제를 해결하기 위해 CXL 위에 세 가지 전용 하드웨어를 추가했다. 첫 번째는 여러 장치를 연결하는 고성능 패브릭 스위치다. 장치 사이의 경로를 줄이고 출발점과 관계없이 통신 경로의 길이가 비슷해지도록 설계한다. 두 번째는 링크 가속 유닛(LAU)이다. 장치 사이를 오갈 때 반복적으로 발생하는 처리를 하드웨어가 맡아 일정한 시간 안에 처리하도록 한다. 세 번째는 패브릭 컨트롤러로, 시스템 전체에서 요청을 처리하는 순서를 통일해 어느 장치를 거치더라도 비슷한 방식으로 통신하도록 만든다.

배치 방식도 일반적인 데이터센터와 다르다. 연구진은 반도체 칩 안에서 회로 블록을 반복적으로 배치하는 방식을 데이터센터에 적용했다. CPU·가속기·메모리·스위치를 종류별로 묶은 ‘트레이(Tray)’를 만들고, 여러 트레이를 ‘포드(Pod)’로 묶은 뒤 이를 다시 ‘패브릭(Fabric)’으로 연결한다. 각각의 계층을 규칙적으로 구성해 데이터센터 어디에서 통신하더라도 비슷한 경로와 처리 시간을 갖도록 하는 것이 목적이다.

이 구조가 의미하는 변화는 데이터센터의 기본 단위를 서버에서 데이터센터 전체로 확장하는 것이다. 기존 방식에서는 여러 서버가 네트워크를 통해 협업한다면, 연구진의 구조에서는 CPU와 가속기, 메모리를 자원별로 분리하면서도 필요할 때 하나의 시스템처럼 사용할 수 있다. 따라서 CPU 한 개가 직접 관리할 수 있는 가속기 수를 기존 2개에서 16개로 늘리고, 하나의 그룹으로 함께 동작하는 가속기를 최대 약 960개까지 확장할 수 있다는 것이 연구진의 계산이다.

데이터 접근 지연시간도 기존 마이크로초 수준에서 수백 나노초 수준으로 줄일 수 있다고 논문은 제시한다. 마이크로초는 100만분의 1초, 나노초는 10억분의 1초다. 단 한 번의 통신에서는 차이가 작아 보이지만, 수백~수천 개의 가속기가 반복적으로 데이터를 교환하는 AI 학습과 추론에서는 이런 지연이 계속 누적된다. 연구진은 비교 기준인 NVIDIA GB200 NVL72 구성과 비교해 데이터 접근 시간을 약 10분의 1 수준으로 줄일 수 있다고 제시했다.

이번 연구에서 또 하나 눈여겨볼 부분은 설계가 시뮬레이션이나 개념도에 머물지 않았다는 점이다. 파네시아는 고성능 CXL 패브릭 스위치와 패브릭 컨트롤러 등을 실제 실리콘 칩으로 구현했다. 스위치 칩의 외부 포트를 칩 둘레에 대칭적으로 배치해 연결되는 장치와 관계없이 전기적 신호가 이동하는 거리를 같게 만들고, 각 포트에 링크 가속 유닛과 패브릭 컨트롤러, 버퍼를 통합했다. 연구진이 제시한 ‘예측 가능한 통신’이라는 설계 원리를 실제 반도체로 구현해 검증했다는 의미다.

다만 이 구조가 당장 데이터센터 전체를 하나의 칩으로 바꿀 수 있다는 의미는 아니다. 가장 큰 물리적 제약은 전기 신호가 이동할 수 있는 거리다. 연구진에 따르면 최신 CXL 규격인 128 GT/s 환경에서 신호를 중간에 두 차례 증폭하더라도 안정적으로 전달할 수 있는 거리는 약 7m, 랙으로는 6~7개 정도다. 연구진은 이 한계를 넘기 위해 기존 설계는 유지하면서 데이터 전달 방식만 전기 신호에서 광신호로 바꾸는 ‘CXL-over-Optics’도 다음 단계로 제시했다.

이 때문에 이번 연구의 핵심은 ‘960개의 가속기를 연결했다’는 숫자 자체보다 다른 곳에 있다. AI 인프라의 경쟁 기준을 개별 GPU나 가속기의 성능에서 시스템 전체의 예측 가능성으로 옮기려는 것이다. 연구진의 구조가 실제 대규모 AI 데이터센터에서 검증된다면, AI 모델이 커질수록 더 많은 장치를 단순히 네트워크로 연결하는 대신 데이터센터 자체를 하나의 컴퓨팅 자원처럼 설계하는 방향이 가능해진다. 우선 적용 대상은 수백~수천 개의 가속기가 동시에 참여하는 초거대 AI 학습과 실시간 추론이며, 메모리 풀링이 필요한 데이터베이스, 대규모 그래프 연산, 고성능 컴퓨팅(HPC)에도 확장할 수 있다.