
[OPINION] 속지 말자… AI 모델은 추론하지 않는다
2016년 3월 어느 날 오후 서울에서 필자는 개발에 참여했던 프로그램이 바둑판 다섯 번째 줄에 돌을 놓는 모습을 지켜봤다. 마치 상대인 인간에게 선물을 주는 것처럼 보였다. 5판으로 진행된 대결의 두 번째 판 37수째가 너무나 터무니없어 보여 일부 해설자들은 프로그래밍 오류라고 생각하기도 했다.
하지만 아니었다. 알파고는 이 판에서 승리했고, 결국 역대 최고의 프로 바둑 기사 중 한 명인 이세돌 9단을 4승 1패로 꺾었다.
이 9단은 경기 후 “알파고는 확률 계산에 기반한 그저 기계일 뿐이라고 생각했다. 하지만 이 수를 보고 생각이 바뀌었다. 알파고는 분명 창의적이다”라고 말했다.
1997년 IBM이 개발한 슈퍼컴퓨터 딥 블루(Deep Blue)가 당시 체스 세계 챔피언이었던 게리 카스파로프(Garry Kasparov)를 꺾었을 때 딥 블루는 인간이 미리 입력한 규칙을 사용해 플레이어당 6~8수 앞을 내다보고 초당 2억 개의 체스 포지션을 평가했다. 바둑은 훨씬 더 복잡한 게임이다. 한 돌의 가치는 수십 수에 걸쳐 돌무리와 영토가 어떻게 전개되느냐에 따라 결정된다. 가능한 결과의 극히 일부만 계산하는 데도 슈퍼컴퓨터로 수십억 년이 걸릴 것이다. 알파고는 승리하기 위해 한눈에 누가 앞서고 있는지 파악해야 했을 뿐만 아니라 그 누구도 생각해 보지 못한 수를 창안해 내야 했다.
이런 이유 때문에 알파고와 이 9단의 대국을 다룬 많은 언론은 37수를 순수한 기계적 직관의 발현으로 묘사한다. 하지만 이는 오해다. 실제로 이 창의적인 선택을 가능하게 한 것은 알파고의 추론 능력이었다. 그런데 오늘날의 AI에 결여돼 있는 것이 바로 이러한 능력이다. 미래의 AI 시스템이 과학이나 의학 등의 분야에서 신뢰할 수 있는 결과와 진정으로 참신한 통찰력을 도출해내기를 원한다면 AI 시스템은 이와 같은 진정한 추론 능력을 갖춰야 한다.
알파고는 두 가지 시스템으로 구성된다. 첫 번째는 정책 네트워크(policy network)로, 실력 있는 인간이 어떤 수를 둘지 예측하도록 훈련됐다. 이 ‘직관적’ 부분은 37수를 특별할 것 없는 수로 간주했지만 실제로 프로 기사가 이 수를 둘 확률은 대략 1만 분의 1에 불과했다. 알파고가 이 수를 선택하게 만든 것은 당장의 타당성을 넘어 제안된 수의 미래 결과를 따져보는 프로그램의 탐색 메커니즘이었다. 이 메커니즘은 수천 개의 가지로 이루어진 게임 트리(game tree)를 명시적으로 구축하고 탐색했으며, 각 가지는 서로 다른 가능한 미래를 나타냈다.
2002년 노벨 경제학상 수상자인 대니얼 카너먼(Daniel Kahneman) 프린스턴대학교 명예교수는 인간의 사고방식을 두 가지로 구분한다. 빠르고 직관적이며 노력이 거의 들지 않고 사고하는 시스템 1과 느리고 단계적이며 신중하게 사고하는 시스템 2다. 알파고는 이러한 구분을 기계적으로 놀랍도록 잘 구현한 사례였다. 알파고의 신경망은 ‘이 수가 유망하다’, ‘이 국면에서는 승산이 있다’와 같은 직감을 제공했고, 탐색 기능은 그 직감을 이후 이어질 수와 대응 수에 대입해 검증함으로써 신중한 판단을 담당했다. 인간의 인지 과정과 마찬가지로 이 두 가지 요소는 어느 한쪽만으로는 작동하지 않는다. 직감만으로는 37수를 선택하지 못했을 것이며, 무차별적인 탐색만으로는 수많은 가능한 수를 모두 검토하는 데 어려움을 겪었을 것이다.
이는 오늘날 AI 모델의 작동 방식과는 현저히 다르다. 대형언어모델(LLM)은 다음 토큰을 반복해서 선택한다. 이는 빠르고 연상적이며, 사람들이 글을 쓰는 거의 모든 주제에서 놀라울 정도로 뛰어난 패턴 완성 능력을 보여주는 시스템 1의 작동 방식과 같다.
챗GPT가 등장한 지 얼마 지나지 않아 이 분야에서는 유창한 언어 구사 능력만으로는 진정한 유용성을 확보하기에 부족하다는 사실을 깨달았다. 이에 대한 해결책으로 제시된 것은 모델이 숙고하며 추론하도록 만드는 것이었다. 이제 모델은 즉시 답변하기보다 문제를 세분화하고, 부분적인 결과를 이어가며, 이후의 추론에 영향을 미치는 중간 단계를 생성할 수 있게 됐다. 이를 ‘사고 사슬(chain of thought)’이라고 한다.
이러한 발전은 특히 수학과 코딩 분야에서 실질적인 성과를 냈다. 하지만 알파고의 탐색 방식과 달리 이것이 진정으로 별개의 추론 메커니즘을 도입한 것은 아니다. 중간 추론은 여전히 동일한 ‘다음 토큰 예측’ 과정을 통해 생성되며, 모델이 답을 확정하기 전까지 이 과정이 더 오랫동안 반복될 뿐이다.
챗봇이 하는 일을 과학자가 인정할 만한 의미에서 추론이라고 할 수 없는 이유는 세 가지 단점 때문이다. 첫째, 이러한 모델은 통상 명시적이고 지속적이며 검증 가능한 인식 상태를 유지하지 않는다. 모델이 고려 중인 가설, 다양한 설명에 대한 신뢰도, 평가 중인 증거, 그리고 미해결로 남겨둔 질문들, 즉 새로운 정보가 들어올 때마다 체계적으로 수정돼야 하는 모든 내용을 명시적으로 보여주는 공개 장부가 존재하지 않는다.
둘째, 시스템이 무엇을 알고 있는지와 그 지식을 어떻게 다루는지에 대한 명확한 구분이 부족하다. 지식과 추론은 신경망의 가중치 속에서 뗄 수 없이 얽혀 있으며, 독립적이고 명시적으로 표현된 신념 체계는 존재하지 않는다.
셋째, 챗봇이 만들어내는 사고 사슬이 숙고의 증거처럼 보이지만, 연구 결과 챗봇이 종종 이를 사후에 꾸며내는 것으로 나타났다. 즉, 실제로는 한 경로를 통해 답에 도달하고도 다른 경로를 통해 답을 도출한 것처럼 설명하는 경우가 많다는 것이다.
이는 심각한 문제다. 의학, 공학, 과학 연구와 같이 우리 모두가 중요하게 여기는 고위험 응용 분야에서는 시스템이 어떤 결론을 내리는지뿐만 아니라 그 결론에 어떻게 도달했는지도 중요하기 때문이다. 예를 들어 의료 진단이나 치료에서 실수가 발생했을 때 우리는 무엇이 잘못됐는지 정확히 파악할 수 있어야 한다. 시스템의 추론에 문제가 있었는지, 유효하지 않은 증거를 사용했는지, 아니면 잘못된 가정을 했는지 등을 알아야 한다.
필자가 최근 구글 딥마인드를 떠난 것도 이런 이유 때문이다. 필자는 기계 추론에 대해 알파고의 아키텍처를 바탕으로 한 새로운 접근 방식이 필요하다고 믿는다. 알파고는 주어진 국면에 대해 알고 있는 내용을 ‘게임 트리’라는 형태로 기록해 둔다. 이 데이터 구조에는 알파고가 고려한 모든 변형, 즉 가능한 미래가 포함돼 있으며, 각 수와 국면에는 신경망이 내린 판단이 주석으로 달려 있다. 추론이 진행됨에 따라 알파고는 게임 트리를 업데이트하고, 결국 그 안에 담긴 정보를 종합해 어떤 수를 둘지 결정한다.
마찬가지로, 일반적인 추론을 위해 시스템은 무엇을 확정된 사실로 받아들이는지, 무엇을 의심하는지, 무엇을 배제했는지, 어떤 질문이 여전히 미해결 상태인지 나타내는 인식 상태를 유지해야 한다. 그러면 추론은 인식 상태를 변화시켜 지식을 발전시키고 불확실성을 줄이는 일련의 수순으로 이해할 수 있다. 즉, 결과를 추론하고, 문제를 부분으로 나누며, 무엇보다도 다음에 어떤 질문을 할지, 어떤 계산을 수행할지, 혹은 어떤 실험을 진행할지 결정하는 과정이다.
물론, 복잡한 환경과 다양한 지식을 바탕으로 추론하는 개방형 세계 추론(open-world reasoning)은 바둑이나 체스와 같은 보드게임을 하는 것보다 어렵다. 현실 세계에서는 현재의 상황이 부분적으로만 알려져 있고, 가능한 행동의 집합은 방대하고 가변적이며, 행동의 결과는 확률적이거나 알려지지 않았기 때문이다.
하지만 최근 LLM 등 신경망 모델의 발전 덕분에 이제 우리는 이러한 일반적인 추론 문제에 도전할 수 있는 능력을 갖게 됐다. 예를 들어 LLM은 알려진 정보와 이용 가능한 자원을 바탕으로 문제를 해결할 방법을 제안할 수 있다. 또한 API나 코드를 통해 도구와 상호작용하며, 특정 주장이 이용 가능한 증거로 뒷받침되는지 평가하는 데 도움을 줄 수 있다.
무엇보다 시스템의 정직성을 유지하기 위해서는 시스템 내 독립적인 부분이 각 행동이 불확실성을 실제로 얼마나 해소하는지 평가하고, 그 변화가 증거로 뒷받침될 때만 신념을 업데이트해야 한다. 이러한 규칙이 적용되면 모델은 검증된 지식을 축적하고, 과거의 추론 경험으로부터 학습해 추론 정책을 개선할 수 있다. 이러한 시스템을 면밀한 검증을 견딜 수 있는 지식을 생산하는 것을 목적으로 하는 ‘강화된 과학적 방법’으로 생각할 수 있다.
필자는 시스템 1을 더 크게 만드는 것만으로는 신뢰할 수 있는 기계 지능에 도달할 수 없다고 생각한다. 규모는 직관을 날카롭게 만들지만, 직관을 더 신중하게 만들지는 않는다. 37수가 중요했던 이유는 기계가 하나의 국면을 유지하고, 가능한 미래를 저울질한 뒤, 인공적인 본능이라면 아마도 거부했을 법한 수를 선택했기 때문이다.
사회는 신약 개발, 소재, 기후, 진단 등 바둑판과는 전혀 닮지 않았고 누구도 규칙을 알려주지 않는 분야에서 이러한 창의적인 수를 필요로 한다. 우리는 추론하는 시스템, 즉 사후에 제시된 설득력 있는 이야기가 아니라 검증 가능한 증거, 추론, 신념 수정의 연속에서 결론이 도출되는 시스템으로부터만 그러한 통찰을 얻을 수 있을 것이다.
이 글을 쓴 토어 그라펠(Thore Graepel)은 런던 대학교의 기계학습 학과장이다. 딥마인드 알파고 팀의 핵심 멤버였으며, AI가 인류의 번영에 기여할 수 있도록 노력하고 있다.