인류는 노력이나 시간이 늘어나면 결과도 그만큼 늘어나는 ‘선형적(linear)’ 세상에 익숙해져 왔다. 한 시간을 걸으면 일정 거리를 이동하고, 두 시간을 걸으면 그 두 배를 이동한다는 식이다. 그러나 이러한 직관은 사바나에서 살아가던 과거에는 유효했지만, 인공지능(AI)처럼 시간이 갈수록 증가 속도가 빨라지는 ‘지수적(exponential)’ 기술을 이해하기에는 더 이상 충분하지 않다.

필자가 2010년 AI 연구를 시작했을 때와 비교하면 현재 최첨단 모델 학습에 투입되는 연산량은 무려 1조 배 증가했다. 초기 시스템이 약 10¹⁴플롭스(연산의 기본 단위인 부동소수점 연산) 수준이었다면 오늘날 가장 큰 모델은 10²⁶ 플롭스를 상회한다. 이는 그야말로 폭발적인 증가다. 오늘날 AI의 모든 변화는 모두 이 사실에서 비롯된다.

그럼에도 회의론은 여전하다. 반도체 성능이 주기적으로 두 배씩 증가한다는 무어의 법칙이 둔화되고 있고, 데이터는 부족하며, 에너지에도 한계가 있다는 지적이다.

그러나 여러 흐름을 함께 놓고 보면 상황은 전혀 다르게 보인다. 지수적 성장은 이미 분명한 방향성을 드러내고 있으며 그 흐름 역시 충분히 설명 가능하다. 이를 이해하려면 실제로 어떤 변화가 빠르게 진행되고 있는지 그 내부를 들여다볼 필요가 있다.

AI 학습을 계산기를 들고 일하는 사람들로 가득한 방에 비유해 보자. 과거에는 계산 능력을 높이기 위해 사람 수를 늘리는 방식이 일반적이었다. 그러나 이들 가운데 상당수는 다음 계산에 필요한 숫자를 기다리며 손을 놓고 있는 시간이 적지 않았다. 그만큼 성능은 낭비됐다.