fbpx

AI의 최대 고객은 이제 AI다… ‘싼 토큰의 역설’

질문 하나에 전기 주전자 두 번 끓일 전력을 쓰고, 사람보다 훨씬 많은 토큰을 소비하는 AI 에이전트. 네이버클라우드 출신 이동수 에이투시스 대표는 AI 에이전트 시대에는 토큰이 싸질수록 비용이 줄어든다는 기존의 계산법이 더 이상 통하지 않을 수 있다고 말한다.

사람이 AI에 한마디를 건네면, 무대 뒤에서는 여러 AI가 회의를 시작한다. 한 AI가 계획을 짜고, 다른 AI가 정보를 찾고, 또 다른 AI가 결과를 확인한다. 틀렸다면 처음으로 돌아가 다시 묻고 답한다. 사용자가 보는 것은 마지막 답변 몇 줄이지만, 그 뒤에서는 그보다 훨씬 긴 ‘기계(AI)들의 대화’가 오간다.

여기서 중요한 것은 이 대화가 ‘유료’라는 것이다.

AI가 읽고 쓰는 말은 ‘토큰’이라는 단위로 계산되는데, 처리하는 토큰이 많아질수록 더 많은 연산을 수행한다. 더 많이 읽고 오래 생각할수록 서버를 더 오래 가동하고 전력도 더 많이 소비한다.

항공권 예약을 AI에게 맡겼다고 해보자. “다음 주 금요일 도쿄에 가는 가장 괜찮은 항공편을 예약해줘”는 한 문장이지만, 여기서 끝이 아니다. AI는 출발지를 확인하고, 항공편을 검색하고, 가격과 출발 시간을 비교한다. 수하물 조건도 살펴 마음에 드는 항공편을 골랐다면 예약 사이트로 넘어가 좌석이 남아 있는지 다시 확인해야 한다. 가격이 그사이 올랐다면 다른 항공편을 찾아야 한다. 결제 직전에는 처음 받은 조건과 맞는지도 다시 따져야 한다.

사람에게는 한 번의 부탁이지만 AI에게는 여러 번의 일이다.

이것이 에이전트 AI가 비싼 이유다. 문제는 일이 복잡해질수록 이 과정이 길어진다는 데 있다. 그래서 역설이 생긴다. 토큰은 싸지고 있는데, AI가 쓰는 토큰은 빠르게 늘어나 비용이 커지는 것이다. 

MIT 테크놀로지 리뷰와 함께, 미래를 앞서가세요 !!
한달에 커피 2잔값으로 즐기기
온라인 멤버
지면 매거진 멤버
(온라인+지면) 프리미엄 멤버

유료회원 플랜 보기 회원이면 로그인하기 회원가입

회원 가입 후 유료 구독 신청을 하세요 !!