
[전문가 칼럼] 한국 기업 관점에서 본 ‘딥시크’ 해석서
딥시크(Deepseek)는 기술적인 진보의 산물이며, 이전의 AI 모델과는 차별화되는 부분을 갖고 있다. 기존 실리콘 밸리의 AI 연구자들은 더 많은 데이터, 더 큰 모델, 더 많은 GPU가 있어야 더 좋은 AI 모델을 만들 수 있다는 고정관념에 빠져 있었다. 반면 딥시크의 연구자들은 실리콘 밸리의 AI 연구자들이 지금까지 해온 것들을 다시 하나하나 확인하면서 다시 기술적으로 효율성을 높일 수 있는 방법을 찾았다.
특히 대형언어모델(LLM)의 기반 기술인 트랜스포머에 관한 연구에 집중했으며, 이를 개선하기 위해 노력했다. MLA(Multihead Latent Attention)를 이용해, 분할 계산 후 합산하는 방식인 기존의 멀티헤드 어텐션(Multihead Attention) 방식을 개선해 중요한 요소만 남겨두고 필요 없는 데이터의 크기를 줄임으로써 추론의 성능을 크게 개선했다. 또한 기존의 FP16(16비트 부동소수점) 대신 FP8(8비트 부동소수점)을 사용해 GPU의 메모리 사용을 줄이고 연산을 최적화했다.
딥시크의 이런 노력은 분명 데이터 요구량뿐 아니라 트랜스포머에서 사용되는 어텐션 벡터의 연산량 크기를 줄일 수 있다. 또한 이로 인해 AI 모델의 학습에 필요한 GPU와 메모리 사용량 역시 크게 줄일 수 있다.
더구나 엔비디아 GPU를 사용할 때 거의 필수적으로 사용하는 CUDA 라이브러리를 사용하지 않고 더 낮은 레벨인 PTX(Portable Thread Execution)라는 일종의 기계어(Assembler)를 사용한다. 이는 GPU와 메모리 사용을 직접 제어할 수 있기 때문에 자사의 모델을 GPU에 최적화할 수 있게 만들며, 결과적으로 GPU의 성능을 최대한으로 끌어올릴 수 있게 됐다.
여기에 MOE(Mixture of Experts), RLHF(Reinforcement Learning with Human Feed), Knowledge Distillation 같은 기존의 기술을 통합해 최적화했다. 특히, 추론 시 효율성과 실제 응답 품질을 유지하는 데 초점을 맞춰 통합함으로써, 대형 모델을 보다 작은 모델로 압축하더라도 성능 저하 없이 응답 속도를 개선할 수 있었다. 바로 이런 점들은 딥시크가 이전의 AI 모델과 차별화되는 부분들이다. 다음은 딥시크 R1과 R1 직전에 나온 V3의 기술적 요소와 기존 AI 모델과 차별화되는 부분을 정리한 것이다.

개발 비용을 진짜 10분의 1로 줄일 수 있나?
딥시크 측에서는 AI 모델의 훈련에 2,048개의 엔비디아 H800을 사용했고, 총 278만 8,000시간이 소요되었으며, 이를 H800을 시간당 2달러에 2개월 빌린 것으로 계산했을 때 560만 달러의 비용이 들었다고 발표했다.
이 발표가 바로 전 세계 모든 사람에게 충격을 안겨준 부분이다. 지금까지는 새로운 AI 모델 개발에 수억 달러가 필요하다고 믿고 있었는데, 560만 달러라는 상대적으로 저렴한 비용으로 수준급의 AI 모델을 만들었다는 것은 충격이 아닐 수 없다. 그렇다면 지금까지의 AI 개발에 왜 그렇게 큰 비용이 필요했는지에 대한 의문을 제기할 수밖에 없는 것이다.
그러나 딥시크가 발표한 내용은 단순히 GPU 사용 시간에 대한 이야기일 뿐 학습 데이터 확보나 정제 비용, RLHF 방식에 필요한 인건비, 모델 테스트 인력, 해서는 안 되는 답변이나 틀린 답변을 체크하는 레드티밍(Red Teaming)이라는 고급 인력의 인건비 등은 계산하지 않은 것이다.
딥시크는 2023년 5월 중국 항저우에서 중국의 유명 투자자이자 기업인인 량원펑(梁文锋)이 설립한 하이플라어(High-Flyer)라는 헤지펀드 퀀트회사의 자회사이다. 이 하이플라이어는 AI를 활용한 트레이딩을 성공적으로 운영하고 있다. AI를 활용한 트레이딩을 하려면 대량의 GPU가 필요하다. 따라서 하이플라어는 이미 많은 양의 GPU를 사용하고 있었을 것으로 추측된다.
또한 이번에 딥시크의 이전 버전 개발에 들어간 비용은 포함이 되지 않았다. 따라서 딥시크가 이번 버전을 GPU 2,048개만 운영해 개발했다고 하는 것은 그대로 믿는다 해도 ‘560만 달러’라는 비용으로 만들었다는 것은 액면 그대로 받아들이기 힘든 부분이 있다.
그러나, 논문의 내용으로 볼 때 지금까지 당연하다고 생각하고 넘겼던 부분을 정밀하게 분석해 최적화하고, 이를 종합한 것이어서 앞으로 LLM을 만드는 많은 기업과 사람들에게 큰 도움이 될 것으로 기대를 모으고 있다. 앞으로 전 세계의 많은 AI 연구자가 이번 딥시크 V3, R1 논문에서 이야기한 내용을 그대로 따라서 모델을 제작할 것으로 예상되며, 이 논문이 주장하는 내용이 진실인지 증명받게 될 것이다.
‘딥시크 사태’가 과연 ‘스푸트니크 모멘트’가 될 것인가?
이번 ‘딥시크 사태’는 AI 분야에서 우위를 차지하고 있던 미국의 자존심에 상처를 준 것은 분명하다. 1957년 소련의 스푸트니크 인공위성의 성공적인 발사는 냉전 이데올로기 상황에서 미국의 자존심을 크게 무너뜨렸고, 결과적으로 자극을 받은 미국은 천문학적인 투자를 통해 가장 먼저 인간을 달에 보낼 수 있었다.
현재 상태에서 보면 딥시크가 또 하나의 ‘스푸트니크 모멘트’가 되기는 어려워 보인다.
우선 딥시크가 논문으로 공개한 LLM 기술은 이미 미국에서 연구가 진행되고 있는 기술들이기에 충분히 수개월 내에 기존 제품에 적용할 수 있을 것으로 보이기 때문이다. 더구나 딥시크는 텍스트 기반 기술이기에 현재 오픈AI나 구글, 앤트로픽이 서비스하고 있는 기술 수준과는 아직 격차가 있다.
많은 자본과 비용을 투자해 최초로 개발하는 것과, 그 결과를 활용해 기존 제품을 개선하는 것은 근본적으로 다르다. 만약 미국의 주요 AI 기업들이 지금까지 개발한 것들을 공개하지 않았다면 딥시크를 비롯한 중국의 AI 기술이 현재 수준에 도달할 수 없었을 것이다.
중국에서는 딥시크와 같은 결과물은 미국의 무역 제재, 특히 GPU 수출 제한으로 인해 부족한 중국 내 GPU 공급을 타개하기 위한 방안을 모색한 결과라고 말한다. 즉 AI 모델의 학습과 추론을 개선해 비용을 대폭 절감하려고 노력한 결과인 것이다. 다시 말해 미국의 무역 제재가 가져온 뜻밖의 결과이다.
이를 두고 ‘딥시크 사태’라고 부르는 이유는 딥시크 개발 소식이 알려진 지난달 27일 엔비디아의 주가가 17%, 시가총액 5,888억 달러가 증발했기 때문이다. 그날 브로드컴도 17%, TSMC 13%의 주가 하락을 겪었다. 이는 딥시크가 상대적으로 낮은 비용으로 인해 지금까지 미국 위주의 AI 개발과 유지에 지나치게 과도한 비용을 지불한 것이 아닌가라는 의문을 제기하게 됐으며, 앞으로 AI 개발과 유지에 더 낮은 성능, 더 적은 비용이 필요할 것이라는 예측으로 인해 AI 반도체 주가에 영향을 미친 것이다.
‘딥시크 사태’는 트럼프 대통령이 야심 차게 추진하려고 했던 5,000억 달러 규모의 초대형 AI 인프라 구축 프로젝트인 ‘스타게이트 프로젝트(Stargate Project)’에 ‘과연 AI 개발에 그렇게 거대한 데이터센터가 필요한 것인가’라는 근본적인 의문을 던졌다. 트럼프는 딥시크를 언급하며 미국 AI 산업계 경종을 울렸다고 지적했다.
미국과 중국의 거대한 AI 전쟁이 이제 시작되었다
트럼프 대통령은 젠슨 황 엔비디아 CEO를 백악관으로 초청해 ‘딥시크 사태’에 대해 논의한 것으로 알려졌다. 아마도 엔비디아에게 중국을 위한 H800과 같은 로우엔드 제품 판매조차도 막는 것에 대해 논의했을 것으로 예상된다. 특히 싱가포르에서 엔비디아 제품의 매출이 2023년 이후 급격하게 증가해, 미국 매출의 절반이나 되고 있다는 점은 주목할 필요가 있다. 싱가포르가 자체적으로 이렇게 많은 양의 GPU를 소비하기는 어렵다. 당연하게도 싱가포르가 통해 중국으로 GPU가 흘러 들어가는 관문 역할을 하고 있다는 의심을 받고 있다.
앞으로는 엔비디아 제품뿐 아니라, 중국 기업의 미국내 AI를 비롯한 로봇, 자율주행, 우주 분야 투자, 사업 금지 조치 등도 충분히 가능성이 있다. 현재 미국 공화당을 중심으로 중국에 대한 다양한 제제를 위한 법안을 만들려는 움직임도 보이고 있다.
과연 한국에는 어떤 영향을 줄 것인가?
엔비디아와 하나로 묶여 있는 SK하이닉스의 주가도 딥시크 개발 소식이 전해지고 10% 정도 하락했다. 이처럼 딥시크는 한국의 반도체 산업에도 커다란 영향을 주고 있다. 이제 트럼프는 중국의 AI에 대해 철저한 보복을 준비하고 있을 것이다. 이때 우리는 ‘중국에 보복’하는 일에 한국이 꼭 필요하며, ‘중국의 대안’으로 한국이 될 수 있다는 메시지를 미국에 날려야 한다.
딥시크에 적용된 기술들은 국내 AI 업계에 경종을 울리고 있고 우리도 할 수 있다는 활기를 불어넣어 줄 것이다. 이런 기술을 우리의 AI 모델에 적용하는 것은 어려운 일이 아니기 때문이다. 다만 문제는 GPU이다. 한국에는 AI 연구자들이 활용할 수 있는 대량의 GPU가 부족하다. 최소 H100 1만 대는 필요할 것으로 보인다.
딥시크는 장기적으로 보면 AI 모델과 서비스를 더 적은 비용으로 만들고 운영할 수 있도록 돕기 때문에 AI 서비스 가격의 하락을 이루게 될 것이다. 따라서 더 많은 사용자가 유입되면서 AI 생태계 저변을 넓힐 수 있을 것으로 기대된다.
딥시크는 현재 3가지 모델이 공개돼 있다. 오픈AI의 GPT-4o 버전에 해당하는 딥시크 V3는 6,710억 개의 파라미터를 갖고 있으며, 다운로드하려면 400GB 이상이 필요하다. 즉 이를 서비스하려면 상당히 큰 서버와 GPU가 필요하다.
오픈AI의 o3 버전에 해당하는 추론 모델인 딥시크 R1은 다양한 크기로 구성된다. 파라미터의 크기에 따라 1.5b, 7b, 14b, 32b, 70b이며, 각각 15억 개, 70억 개, 140억 개 320억 개, 700억 개의 파라미터로 만들어졌다.
그리고 오픈AI의 달리(Dalle) 3에 해당하는 야누스 프로(Janus-Pro)는 10억 개, 70억 개의 파라미터 버전이 있다.
이 모델들은 모두 무료로 다운로드해 사용할 수 있다. 다만 딥시크로 인한 정보 유출에는 주의해야 한다. 딥시크는 공개된 모델을 모두 다운로드 받아서 사용할 수 있지만, 딥시크 V3는 크기로 인해 개인이 다운받아 사용하기 어렵다. 따라서 딥시크가 제공하는 무료 서비스를 이용하는 경우가 대부분이다. 이때 개인정보를 입력해야 하고, 개인이 입력하는 내용(prompt)과 파일, 그에 대한 답변은 모두 딥시크에 저장된다. 그리고 딥시크가 이를 자유롭 게 활용할 수 있도록 명시돼 있다.
미국에 있는 서버를 활용하는 오픈AI나 구글, 앤트로픽 등의 회사들도 개인정보와 프롬프트, 파일 등을 수집하고 하지만, 딥시크의 경우는 좀 더 조심할 필요가 있다. 사용자의 비밀번호, 쿠키, 지불 정보까지 수집한다고 약관에 명시돼 있기 때문이다. 따라서 기업에서 딥시크의 서비스를 사용하는 것은 조심할 필요가 있다.
우리는 여기서 무엇을 배워야 하나
한국 기업들은 딥시크 사태를 보면서 몇 가지 명심해야 할 부분이 있다.
우선 앞으로 딥시크와 같은 매우 뛰어난 LLM이 계속 나올 것이라는 점을 명심해야 한다. 따라서 우리는 새로운 AI 모델을 바로 활용할 수 있는 유연한 구조를 갖춰야 한다. 이를 위해서는 특정 LLM에 종속되는 방식으로 시스템을 만들거나 의사결정을 하면 안 된다.
또한 파인튜닝(fine tuning)을 통해 자체적인 LLM을 만드는 것 또한 바람직하지 않다. 이는 파인튜닝이 특정 파운데이션 모델(foundation model)을 기반으로 자제 보유한 데이터를 학습시키는 방식으로 이뤄져, 특정 파운데이션 모델에 종속될 수밖에 없는 상황이 벌어지기 때문이다.
SLLM(Small LLM) 또한 주의해야 한다. 이 또한 LLM을 특정 분야에 맞춰 파인튜닝한 것이기 때문에, 파운데이션 모델에 종속되기 때문이다.
오픈소스 측면에서 딥시크는 즉시 활용이 가능하다. 한국어 지원도 뛰어나 기업의 내부망에서도 쉽게 운용할 수 있으며, 새로운 모델이 등장할 때마다 즉각 다운로드해 사용할 수 있다.
지속적으로 빠르게 새로운 모델이 나오기 때문에 기업은 어느 특정 모델만 사용하는 구조를 채택하면 변화에 대응할 수 없다. 일반적으로 국내 기업이 LLM을 도입하는 과정을 살펴보면, 보안에 대한 우려 때문에 특정 기업에서 만든 인하우스 모델을 선택하는 경우가 대부분이다.
오픈AI나 구글, 앤트로픽 등의 주요 AI 모델이 아닌 국내에서 개발한 모델을 사용하는 것이다. 하지만 이런 방식은 특정 국내 기업에 종속되는 문제를 만든다. 하루가 다르게 새로운 AI 모델이 등장하고 있는 가운데, 국내 기업이 얼마나 자사의 모델을 지속적으로 빠르게 업그레이드해 줄 수 있는지는 명확하지 않다.
이런 제반 상황을 고려하면 과감하게 오픈소스 모델을 채택하되, 어느 특정 모델만 사용하는 것이 아니라 다양한 모델을 동시에 사용할 수 있는 환경을 조성해야 한다. 다시 말해 ‘모델 중립적인 LLM 아키텍처’를 구성해야 하는 것이다.

여기에는 랭체인(LangChain)과 같은 요소를 활용할 수도 있고 Open webui, Dify 등을 이용해 구현할 수도 있다. 기업 데이터는 안전하게 기업 내부의 벡터DB(vector DB)에 임베드돼 보관하며, 이때 오픈소스 무료 임베딩(embedding)을 사용할 수도 있다. 그리고 다양한 오픈소스 LLM을 다운로드받아 사용하면 된다.
물론 딥시크를 사용할 수도 있으며, 최근에 나온 성능 좋은 LLM을 얼마든지 활용할 수 있다. 물론 LLM 시스템이라고 정의된 부분을 이런 모델 중립적인 아키텍처로 만들면 된다. 랭체인이나 Dify 등으로 어렵지 않게 구현할 수 있다.
딥시크는 장기적인 AI 흐름 관점에서 볼 때, 수많은 이정표 중 중요한 하나가 될 수는 있지만, 2012년 AlexNet이나 2017년 트랜스포머와 같은 AI의 흐름 자체를 바꾸는 분기점의 역할은 하지 못할 것으로 보인다. 다만 우리에게 좋은 배움의 기회가 되었다는 점을 받아들여서 열심히 우리 것으로 만들면 된다. 그리고 기업은 언제나 새로운 모델을 안전하게 사용할 수 있는 ‘모델 중립적인 오픈소스 LLM 아키텍처’를 고려해 보는 것이 좋을 것이다.
이 글을 쓴 장동인 교수는 MIT 테크놀로지 리뷰 컬럼니스트로 서울대 원자핵공학과를 졸업하고 미국 서던캘리포니아 대학에서 컴퓨터공학 석사 학위를 받았다. 미국 비자카드, EDS 등에서 근무했으며, 한국오라클 컨설팅 본부이사, 시벨코리아 지사장, SAS코리아 부사장, 언스트앤영 컨설팅본부장, 한국테라데이타 부사장, 국방과학연구소 빅데이터 PM을 지냈다. 현재 KAIST AI대학원 책임교수와 AI, 빅데이터, 블록체인 분야 신기술을 개발하는 AIBB LAB 대표를 겸임하고 있다.
*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.