사람이 AI에 한마디를 건네면, 무대 뒤에서는 여러 AI가 회의를 시작한다. 한 AI가 계획을 짜고, 다른 AI가 정보를 찾고, 또 다른 AI가 결과를 확인한다. 틀렸다면 처음으로 돌아가 다시 묻고 답한다. 사용자가 보는 것은 마지막 답변 몇 줄이지만, 그 뒤에서는 그보다 훨씬 긴 ‘기계(AI)들의 대화’가 오간다.

여기서 중요한 것은 이 대화가 ‘유료’라는 것이다.

AI가 읽고 쓰는 말은 ‘토큰’이라는 단위로 계산되는데, 처리하는 토큰이 많아질수록 더 많은 연산을 수행한다. 더 많이 읽고 오래 생각할수록 서버를 더 오래 가동하고 전력도 더 많이 소비한다.

항공권 예약을 AI에게 맡겼다고 해보자. “다음 주 금요일 도쿄에 가는 가장 괜찮은 항공편을 예약해줘”는 한 문장이지만, 여기서 끝이 아니다. AI는 출발지를 확인하고, 항공편을 검색하고, 가격과 출발 시간을 비교한다. 수하물 조건도 살펴 마음에 드는 항공편을 골랐다면 예약 사이트로 넘어가 좌석이 남아 있는지 다시 확인해야 한다. 가격이 그사이 올랐다면 다른 항공편을 찾아야 한다. 결제 직전에는 처음 받은 조건과 맞는지도 다시 따져야 한다.

사람에게는 한 번의 부탁이지만 AI에게는 여러 번의 일이다.

이것이 에이전트 AI가 비싼 이유다. 문제는 일이 복잡해질수록 이 과정이 길어진다는 데 있다. 그래서 역설이 생긴다. 토큰은 싸지고 있는데, AI가 쓰는 토큰은 빠르게 늘어나 비용이 커지는 것이다. 

변화는 이미 사용량에서 나타나고 있다. 수백 개 AI 모델의 사용량이 모이는 글로벌 중개 플랫폼 오픈라우터(OpenRouter)에서는 지난 2월 6일 에이전트가 소비한 토큰이 처음으로 사람이 직접 사용한 토큰을 넘어섰다. 8월 10일 기준 에이전트의 주간 평균 소비량은 7조3,000억 개로 6개월 사이 14배로 늘었다. 같은 기간 사람의 소비량은 2.8배 증가하는 데 그쳤다.

쉽게 말해, AI가 만든 새로운 대형 고객은 인간이 아니라 AI 자신이다.

지난 8월 서울 코엑스에서 열린 ‘AI Summit 2026’에서 이동수 에이투시스(a2sys) 대표는 이 지점에 AI 인프라 경쟁의 다음 단계가 있다고 말했다. AI가 AI를 가장 많이 사용하는 시대, 비용은 어디에서 불어나고 있을까. 에이전트의 시행착오를 줄이기 위해 AI 시스템은 어떻게 달라져야 할까.

곱셈으로 불어나는 청구서

이동수 대표는 지금의 변화를 AI가 ‘토커(Talker)’에서 ‘두어(Doer)’로 넘어가는 과정으로 본다. 질문에 답하는 AI가 토커라면, 두어는 사람의 지시를 받아 계획을 세우고 도구를 사용해 문제를 처음부터 끝까지 해결하는 AI다. AI가 말하는 데서 직접 일하는 단계로 넘어간 것이다.

“챗봇이 수능 문제를 풀고 IQ 검사를 통과하는 건 과학적으로 굉장히 의미가 있습니다. 하지만 중요한 것은 어떻게 돈을 버느냐죠. 이제 직접 돈을 버는 AI의 시대가 온 겁니다.”

에이전트가 실제로 일을 하기 시작하면서 비용의 크기도 달라지고 있다. 하나의 작업을 끝내려면 계획을 세우고 실행한 뒤 결과를 검증해야 한다. 필요하면 외부 도구를 호출하고 다른 에이전트와 정보를 주고받는다. 챗봇에서는 한 번의 질문과 답변으로 끝났던 일이 여러 단계의 연산과 통신으로 이어지는 것이다.

실제 연구에서도 비용 차이는 뚜렷하다. 유민수 KAIST 전기및전자공학부 석좌교수 연구팀이 지난 2월 컴퓨터 구조 분야 국제학회 IEEE HPCA에서 발표한 연구에 따르면, 700억 개 매개변수를 사용하는 AI 에이전트는 질문 한 건을 처리하는 데 평균 348.41Wh의 전력을 소비했다. 

기존 생성형 AI의 단순 질의응답보다 136.5배 많았다. 응답 시간은 최대 153배 길어졌고, GPU는 외부 도구의 응답 등을 기다리느라 전체 실행 시간의 절반 이상을 대기 상태로 보냈다.

이 대표가 특히 주목하는 것은 비용을 키우는 요인이 하나가 아니라는 점이다. 에이전트를 사용하는 횟수가 늘고, 하나의 요청을 처리하는 데 필요한 토큰이 많아지며, 이를 감당할 컴퓨팅과 메모리도 더 필요하다. 각 요인이 10배씩 증가하면 전체 부담은 30배가 아니라 1000배까지 불어날 수 있다. 에이전트 시대의 청구서는 더하기가 아니라 곱하기로 커지는 셈이다.

이런 비용 증가에도 AI 업계가 에이전트에 막대한 투자를 이어가는 데는 계산이 있다. 골드만삭스는 소비자와 기업의 에이전트 도입이 늘면서 전 세계 토큰 소비량이 2026년에서 2030년 사이 24배 증가할 것으로 전망했다. 동시에 토큰당 추론 비용은 매년 60~70%씩 떨어질 것으로 내다봤다. 기업 입장에서는 에이전트가 사람의 업무를 대신해 더 큰 경제적 가치를 만들어낸다면 늘어난 연산 비용을 감수할 여지가 생긴다.

하지만 같은 일을 끝내는 데 필요 이상으로 많은 토큰과 시간을 쓴다면 얘기가 달라진다. 토큰 하나를 싸게 만드는 것과 하나의 일을 싸게 끝내는 것은 다른 문제다. 이 대표가 에이전트 시대의 비용을 토큰 단가가 아니라 작업 전체에 들어가는 비용으로 봐야 한다고 강조하는 이유다.

1톤 트럭의 함정

공항을 짓는 공사장에 1톤 트럭과 30톤 트럭이 있다고 해보자. 한 번 빌리는 가격만 보면 1톤 트럭이 훨씬 싸다. 하지만 산처럼 쌓인 흙을 옮길 때 작은 트럭이 수십 번 오가는 동안 30톤 트럭은 몇 번이면 일을 끝낸다. 차량 한 대의 가격이 아니라 공사를 끝내는 데 드는 시간과 비용을 따지면 결과가 뒤집힐 수 있다. 이 대표는 에이전트 모델의 비용을 비교하며 다음과 같이 말했다.

“에이전트 AI 시대에는 토큰 가격보다 일을 끝내기 위해 몇 번을 반복하느냐가 중요합니다.”

이 대표가 제시한 오픈소스 코딩 벤치마크 ‘벌컨벤치(VulcanBench)’에서도 이런 역전이 나타났다. 벌컨벤치는 AI 에이전트에게 실제 소프트웨어의 버그 수정이나 기능 개발을 맡긴 뒤 과제를 해결했는지뿐 아니라 사용한 토큰과 시간, 비용까지 함께 측정한다. 이 대표가 제시한 비교에서는 난도 높은 과제 10개 가운데 8개를 해결한 비슷한 조건에서도 모델에 따라 최종 비용과 소요 시간, 토큰 사용량이 크게 벌어졌다. 특히 토큰 가격이 상대적으로 낮은 모델이 과제를 끝내기까지 더 많은 토큰과 시간을 쓰면서 최종 비용은 오히려 높아지는 결과도 나타났다. 다만 이는 벌컨벤치 전체의 일반적인 결과가 아니라 이 대표가 발표에서 제시한 특정 실험 조건의 비교다.

그렇다고 모든 일을 가장 크고 비싼 모델에 맡기는 것이 답은 아니다. 문서 분류나 간단한 검색에는 작은 모델을 쓰고, 복잡한 추론이 필요한 순간에만 큰 모델을 투입하는 편이 효율적이다. 결국 중요한 것은 가장 싼 모델이나 가장 똑똑한 모델 하나를 고르는 것이 아니라, 일의 난도에 맞는 모델을 골라 전체 작업비를 낮추는 것이다.

모델을 잘 고르는 것만으로 비용 문제가 끝나는 것은 아니다. 같은 모델이라도 어떤 순서로 일을 시키고, 어떤 정보를 넘겨주며, 언제 도구를 사용하게 하느냐에 따라 작업에 필요한 토큰과 시간이 달라진다. 이처럼 모델이 문제를 풀어가는 과정을 설계하는 소프트웨어를 ‘하네스(harness)’라고 한다. 사람의 업무 매뉴얼처럼 AI가 무엇부터 시작하고 어떤 도구를 쓰며, 앞서 얻은 정보를 어떻게 활용하고 실패했을 때 어떻게 대응할지를 정한다.

실제로 이 대표가 제시한 실험에서는 같은 모델을 사용해도 하네스에 따라 토큰 사용량이 크게 달라졌다. 여러 업무를 처리하는 범용 하네스보다 코딩에 맞춰 불필요한 절차를 덜어낸 하네스가 더 적은 토큰으로 비슷한 수준의 결과를 냈다.

여기서 한발 더 나아가면 AI를 개선하는 방식도 달라질 수 있다. 지금까지는 성능을 높이기 위해 모델을 다시 학습하고 내부 매개변수를 바꾸는 데 집중했다. 하지만 에이전트가 이전 작업의 성공과 실패를 기억해 작업 순서와 장기 메모리를 고쳐나간다면, 모델을 다시 학습하지 않고도 다음에는 더 효율적으로 일할 수 있다.

“모델을 개선한다고 꼭 파라미터까지 바꿀 필요는 없습니다. 모델은 그대로 두고 AI에게 일을 시키는 방식(하네스)과 이전 경험을 기억하는 장기 메모리(퍼시스턴트 메모리)를 바꾸는 것만으로도 훨씬 큰 효과를 낼 수 있습니다.”

주인공이 된 메모리

AI가 앞에서 읽은 내용을 매번 처음부터 다시 읽고 계산한다면 어떻게 될까. 대화가 길어질수록 같은 내용을 처리하는 데 시간과 연산을 반복해서 써야 할 것이다. 여러 에이전트가 정보를 주고받으며 일하는 환경에서는 이 문제가 더 커진다. 그래서 에이전트 시대에는 ‘얼마나 빨리 계산하느냐’만큼 ‘이미 계산한 것을 얼마나 잘 기억하고 다시 쓰느냐’가 중요해지고 있다.

이런 ‘계산의 기억’을 가능하게 하는 것이 ‘KV 캐시(Key-Value cache)’다. KV 캐시는 AI가 앞선 내용을 처리하면서 만들어낸 중간 계산값을 메모리에 저장해뒀다가 필요할 때 다시 꺼내 쓰는 기술이다. 쉽게 말해, 한 번 해놓은 계산을 버리지 않고 다음 계산에 이어 쓰는 것이다.

이 대표는 이를 여러 사람이 주고받은 이메일에 비유했다. 스무 명이 회신을 이어간 긴 이메일에 마지막으로 김 대리가 들어왔다고 해보자. 김 대리가 앞선 대화를 처음부터 읽고 맥락을 파악해야 한다면 그만큼 시간이 걸린다. 반대로 앞선 내용을 이미 읽고 파악한 결과를 넘겨받을 수 있다면 바로 다음 일을 시작할 수 있다. AI도 비슷하다. 긴 대화를 이어갈 때마다 GPU가 앞의 내용을 처음부터 다시 계산하는 대신, 앞서 계산해둔 값을 KV 캐시에서 불러와 다음 계산에 활용한다.

“앞의 모든 메시지를 GPU가 다시 계산할 것이냐, 아니면 KV 캐시에서 읽어올 것이냐의 문제입니다. 속도와 비용을 보면 캐시에서 읽어오는 쪽이 압도적으로 유리합니다.”

여러 에이전트가 협업하면서 메모리가 맡는 역할도 커지고 있다. 검색 AI가 찾아낸 정보를 다른 AI가 넘겨받아 판단하고, 다음 AI가 그 결과를 사용하려면 앞 단계에서 만든 정보를 계속 저장하고 전달해야 한다. 연산을 맡은 GPU가 주인공이었다면, 뒤에서 데이터를 건네던 조연인 메모리가 이제 AI들의 협업을 이어주는 핵심 자원으로 올라선 것이다.

“에이전트끼리 통신한다는 것은 결국 메모리에서 읽고 쓰는 일입니다. D램이 협업을 조정하는 레이어가 되는 겁니다.”

이 대표는 이를 ‘AI의 아이폰 모먼트’라고 표현했다. 스마트폰 이전에는 MP3 플레이어와 게임기, 휴대전화가 각각 자기 메모리를 사용했지만, 아이폰은 여러 기능을 한 기기에 모으고 운영체제가 필요한 앱에 메모리를 나눠줬다. 여러 AI가 하나의 작업을 나눠 맡는 에이전트 환경에서도 마찬가지다. GPU마다 메모리를 고정해두기보다 필요한 에이전트에 필요한 만큼 배분하고, 앞선 AI가 만든 정보를 다른 AI가 다시 활용해야 한다. 이 대표가 CXL처럼 여러 장치가 메모리를 공유하도록 연결하는 기술에 주목하는 이유다.

그는 이런 구조가 한국 제조업에서도 효과를 낼 수 있다고 봤다. 반도체 공장에서는 수많은 장비가 밤새 온도와 압력, 작동 상태 같은 데이터를 쏟아낸다. 이상 징후가 나타나도 사람이 다음 날 출근해 데이터를 살펴본 뒤 어떤 장비에 문제가 있는지 찾아 정비 여부를 판단하는 경우가 많다. 여기에 에이전트를 투입하면 과정이 달라진다. 한 AI가 밤새 쌓이는 데이터에서 이상 신호를 찾아내면 다른 AI가 원인을 분석하고 필요한 조치를 판단해 정비 시스템에 전달할 수 있다. 여기에 로봇이나 장비를 실제로 움직이는 피지컬 AI까지 연결하면 ‘문제를 발견하는 AI’에서 ‘현장에서 조치하는 AI’까지 이어지는 구조가 만들어진다. 사람이 다음 날 데이터를 확인할 때까지 기다리지 않고 문제가 생긴 현장에서 대응할 수 있는 것이다.

“몸을 움직이는 피지컬 AI와 머리로 협업하는 에이전트 AI를 가장 잘 결합할 때 대한민국이 AI 3강으로 갈 수 있는 발전 궤도가 만들어질 수 있다고 생각합니다.”

이동수 대표가 보는 에이전트 시대의 인프라 경쟁은 AI가 가진 연산과 메모리를 얼마나 낭비 없이 쓰게 만드느냐에 달려 있다고 말한다. 

이동수 대표는 메모리 중심의 에이전트 AI 인프라에 주력하는 AI 컴퓨팅 스타트업 에이투시스(a2sys)의 공동창업자다. 창업 전에는 네이버클라우드 전무로 재직하며 AI 컴퓨팅 솔루션과 대규모 AI 모델 서빙 이니셔티브를 이끌었고, 그에 앞서 IBM T. J. 왓슨 연구소와 삼성리서치에서 컴퓨터 아키텍처, AI 시스템, 효율적 AI 추론을 연구했다. 현재 국가AI전략위원회 민간위원으로서 AI 인프라와 기술 혁신에 관한 국가 차원의 논의에도 참여하고 있다. 

박수연 수석기자 pksyn@technologyreview.kr