AI에게 수학 문제를 풀라고 시켰는데, 어느 순간 문제를 푸는 법이 아니라 자기에게 가장 잘 맞는 공부법부터 스스로 만들기 시작했다면 어떨까. 지금 AI 연구에서 실제로 벌어지는 변화는 이와 비슷하다. 사람이 문제를 주고 답을 평가하는 단계를 넘어, AI가 무엇을 보고 배우고 어떤 방식으로 실력을 높일지까지 스스로 찾아내기 시작했다.

대표적인 사례가 구글 딥마인드의 디스코RL(DiscoRL)이다. 2025년 《네이처(Nature)》에 발표된 이 연구에서 연구진은 AI에게 특정 문제를 잘 풀라고 가르치는 대신, AI를 더 잘 가르치는 방법 자체를 찾아보게 했다. 그 결과 AI는 사람이 미리 수식으로 정해주지 않은 새로운 학습 규칙을 찾아냈고, 그 규칙으로 훈련한 에이전트는 아타리(Atari) 벤치마크에서 비교 대상이 된 기존 강화학습 알고리즘보다 높은 성능을 보였다.

한마디로 AI가 문제를 푸는 학생에서 공부법까지 스스로 만드는 단계로 올라선 셈이다.

AI의 역사를 보면 사람이 직접 설계하던 요소를 기계가 하나씩 학습으로 대체해 왔다. 과거에는 사람이 사진에서 어떤 특징을 봐야 하는지 정했지만, 신경망은 그 특징을 데이터에서 스스로 찾아내기 시작했다. 이제 자동화는 한 단계 더 깊숙이 들어가고 있다. 무엇을 배울지뿐 아니라 어떻게 배울지까지 AI가 찾기 시작한 것이다. ‘AI 빌드 AI(AI Build AI)’가 가리키는 변화도 여기에 있다.

오준혁 인에퍼블 인텔리전스(Ineffable Intelligence) 공동창업자는 이 흐름을 연구해 온 인물이다. 구글 딥마인드에서 8년 가까이 강화학습과 학습 알고리즘의 자동 발견을 연구했고, 디스코RL 논문의 공동 제1저자이자 교신저자로 참여했다. 2026년 4월 딥마인드를 떠난 그는 알파고(AlphaGo) 개발을 이끈 데이비드 실버(David Silver)와 함께 인에퍼블 인텔리전스를 공동 창업했다.

오 공동창업자가 특히 주목하는 것은 AI가 인간 연구자의 속도를 높이는 보조 도구에 머물지, 아니면 인간이 설명하기 어려운 새로운 학습 방식까지 스스로 발견할 수 있을지다. AI가 AI를 만드는 일은 지금 어디까지 왔을까. 사람이 설계해 온 학습 과정 가운데 어디까지 기계에 맡길 수 있고, 그때 인간 연구자의 역할은 어떻게 달라질까. 그에게 AI가 스스로 배우는 시대의 조건과 한계, 그리고 그 다음 단계에 대해 물었다.

인간의 영역을 넘어선 학습 알고리즘

Q. 지난 7년의 연구를 보면 사람이 정해 주던 학습 요소를 하나씩 AI가 스스로 찾도록 바꿔 왔습니다. 2018년에는 보상을, 2019년에는 에이전트가 무엇을 예측할지를, 2020년에는 학습 규칙 전체를 기계가 찾게 했습니다. 이 과정은 무엇을 의미합니까.

지난 수십 년 동안 AI 분야는 인간의 지식에 의존하던 영역이었습니다. AI가 데이터로부터 스스로 학습하게 될 때마다 거대한 패러다임 전환을 맞이해 왔고요. 알고리즘의 고도화도 영향을 미쳤지만 데이터와 컴퓨팅 자원이 기하급수적으로 성장한 영향이 더 컸다고 생각합니다.

강화학습의 대가이자 튜링상 수상자인 리처드 서튼(Richard Sutton)이 쓴 ‘쓰라린 교훈(The Bitter Lesson)’이 바로 이런 내용을 담고 있습니다. 컴퓨팅 자원은 계속 증가하기 때문에 인간의 지식을 최대한 개입시키지 않고 AI가 직접 학습해 나가는 방향으로 발전해야 한다는 것이죠. 저는 이 글의 영향을 받아 ‘강화학습 알고리즘 자체를 AI가 학습하는 연구’에 관심을 갖게 됐습니다.

제 연구는 이런 큰 그림 안에서 하나씩 가능성을 확인하며 확장돼 왔습니다. 보상을 먼저 다룬 것은 보상 함수가 에이전트의 행동을 결정하는 핵심 요소이면서도 상대적으로 정형화하기 쉬운 최소 단위였기 때문입니다. 보상이나 예측 같은 작은 구성 요소를 AI가 스스로 배울 수 있음을 확인하면서 학습 규칙 전체를 학습시키는 더 어려운 문제로 넘어갈 수 있었습니다.

Q. AI가 AI를 만드는 시도는 오래전부터 있었습니다. 과거에는 풀지 못했지만, 지금은 가능한 것은 무엇이 있습니까. AI가 연구와 개발의 주체로 들어오기 시작한 지금, 가장 주목하는 변화는 무엇입니까.

과거의 여러 자동화 시도가 기대만큼 성공하지 못한 데에는 다양한 요인이 복합적으로 작용했습니다. 필요한 연산량에 비해 컴퓨팅 자원이 턱없이 부족했고, 자동화에 사용되는 메타 알고리즘 자체도 비효율적이었습니다. 자동화의 범위가 너무 좁아 획기적인 성능 향상으로 이어지지 못한 경우도 있었습니다.

특히 2022년 이후 트랜스포머(Transformer) 기반 대형언어모델(LLM)이 주류로 자리 잡으면서 알고리즘 자체를 자동화하기보다 기존 체제 안에서 모델의 크기를 키우고 대규모 데이터를 학습시키는 데 연구 자원이 집중됐습니다.

최근 ‘AI가 AI를 설계한다’는 개념이 다시 주목받는 가장 큰 이유는 AI가 사용할 수 있는 도구의 차원이 달라졌기 때문입니다. 과거에는 수식이나 정해진 파라미터 공간 안에서 선택지를 탐색했다면 이제는 대형언어모델의 발전으로 인간의 언어와 코드 공간까지 탐색할 수 있게 됐습니다. AI가 코드를 작성하고 논문을 분석하며 가설을 검증하고 실험을 설계하는 등 연구의 여러 과정을 수행할 수 있게 된 것입니다.

개인적으로 가장 주목하는 것은 이 발전이 인간 연구자의 속도를 높이는 보조 도구에 머물 것인지, 아니면 인간의 언어로 설명하기 어려운 완전히 새로운 학습 패러다임을 AI가 자율적으로 발견하는 데까지 나아갈 것인지입니다.

AI 경쟁의 새로운 자원, 학습 경험

Q. AI가 더 똑똑해지는 데 데이터만큼 중요한 요소는 무엇입니까?

이 연구에서 얻은 중요한 교훈 가운데 하나는 메타 학습 알고리즘의 성능이 결국 학습 환경의 다양성과 복잡도에 의해 결정된다는 점입니다. 현재 빅테크 기업들이 대규모 자금을 들여 AI 학습 환경을 구축하려는 이유도 여기에 있다고 생각합니다.

최근까지 언어 모델의 발전은 인터넷 데이터나 코드처럼 인간이 이미 만들어 놓은 데이터를 학습하는 방식이 중심이었습니다. 앞으로는 AI가 다양한 환경과 직접 상호작용하면서 시행착오를 겪고, 그 경험을 통해 스스로 학습하는 방향이 중요해질 것입니다.

이를 위해서는 결과의 상한선이 정해져 있지 않은 ‘열린 환경(Open-ended Environment)’이 필요합니다. 정답과 평가 기준이 미리 정해진 환경에서만 학습하면 결국 주어진 문제를 잘 푸는 수준을 넘어서기 어렵기 때문입니다.

또 AI가 어떤 시도를 했을 때 그 결과가 좋은지 나쁜지를 인간의 개입 없이 물리적·논리적으로 바로 검증할 수 있는 인프라가 필요합니다. 그래야 많은 시행착오를 빠르게 경험할 수 있습니다. 

Q. AI가 찾아낸 학습 규칙 가운데는 사람이 하나의 수식으로 설명하기 어려운 것도 있습니다. 사람이 그 원리를 완전히 이해하지 못하더라도 잘 작동한다면, 이것도 새로운 지식이라고 볼 수 있습니까.

전통적인 강화학습 연구와 달리 AI는 훨씬 고차원적인 공간에서 인간의 수학적 언어나 코드로 표현하기 어려운 학습 규칙과 알고리즘을 탐색할 수 있습니다.

이런 특징 때문에 AI가 인간이 이해할 수 있는 영역을 뛰어넘는 새로운 알고리즘과 지식을 학습할 가능성이 있다고 생각합니다. 실제 연구에서도 AI가 스스로 발견한 학습 규칙이 하나로 고정돼 있는 것이 아니라 학습 환경에 따라 적응하고 변화하는 모습을 확인했습니다.

신경망의 가중치 형태로 존재하는 이런 지식은 ‘설명할 수는 없지만 잘 작동하는 지식’으로 볼 수 있습니다. 이런 형태의 지식이 보편화된다면 지식을 전수하는 방식도 근본적으로 달라질 수 있습니다. 앞으로 연구자들은 수식을 읽고 이해하는 것뿐 아니라 AI가 만들어낸 가중치를 자신의 문제에 적용해 경험적으로 이해하거나, 그 가중치를 다시 학습시켜 발전시키는 방식으로 연구할 수도 있다고 생각합니다.

Q. 반면 실제 산업에서는 구글 딥마인드의 알파이볼브처럼 기존 코드와 지식을 활용해 더 나은 알고리즘을 찾아내는 AI가 먼저 성과를 내고 있습니다. 알파이볼브가 발견한 데이터센터 작업 배분 알고리즘은 실제 구글 시스템에도 적용됐습니다. 인간의 지식에서 출발하는 방식과 경험을 중심으로 스스로 배우는 방식은 앞으로 어떻게 달라질까요.

인간의 지식에 기반한 방식은 빠른 초기 성능을 보장하지만 인간의 기존 지식에서 크게 벗어나지 못한다는 한계가 있습니다. 예를 들어 알파고가 인간의 기보를 배웠다면 알파제로(AlphaZero)는 인간의 데이터를 완전히 배제함으로써 오히려 인간을 압도하는 수준에 도달했습니다. 이것이 앞서 말한 ‘쓰라린 교훈’의 핵심입니다. 장기적으로는 인간의 지식을 최대한 배제하고 학습할 때 더 비약적인 발전이 있을 것입니다.

그런데 AI를 실제 제품이나 서비스에 적용하려면 안전성 검증이라는 문제가 남습니다. 해석하기 어려운 블랙박스 형태의 학습 알고리즘을 자율주행, 로봇, 의료, 금융처럼 치명적인 오류가 허용되지 않는 분야에 곧바로 적용하는 것은 위험합니다. 오류를 원천적으로 차단하거나 시스템의 안전성을 검증할 수 있는 체계가 필요합니다.

다만 수학 이론 증명이나 코딩처럼 결과를 비교적 명확하게 평가할 수 있는 영역에서는 이미 변화가 시작됐습니다. 일반 소비자가 체감할 수 있는 서비스도 응용 분야에 따라 향후 2~10년 안에 순차적으로 등장할 것으로 예상합니다.

초지능 시대 인간 연구자의 새로운 역할

Q. 공동창업자님께서는 딥마인드에서 대규모 데이터로 학습하는 제미나이(Gemini) 개발에 참여하는 한편, AI가 스스로 학습 규칙을 찾는 연구도 이끌었습니다. 이후 데이비드 실버와 인에퍼블 인텔리전스를 창업해 인간이 만든 데이터가 아니라 경험으로 배우는 AI를 개발하고 있습니다. 딥마인드를 떠나 이 방향을 선택한 이유는 무엇입니까.

딥마인드에서의 경험은 매우 소중했지만 기업의 특성상 인간의 지식에 기반해 발전한 언어 모델 방식이 좋은 성과를 내고 있기 때문에 대부분의 자원이 거대 언어 모델에 집중될 수밖에 없는 구조적 한계가 있습니다.

저와 데이비드는 인간의 데이터와 지식을 기반으로 하는 방식보다 AI가 스스로 경험으로부터 학습하는 방식을 추구하고자 인에퍼블 인텔리전스를 창업했어요.

기존 연구는 에이전트가 스스로 알고리즘을 학습할 수 있다는 가능성을 보여준 초기 사례라고 할 수 있죠. 저희는 이를 넘어 더욱 범용적인 에이전트를 개발하고자 합니다. 알파고에서 알파제로로 넘어갔던 것처럼 인간 데이터를 배제하고 오로지 에이전트 자신의 경험으로부터 학습하는 방향을 추구하고 있습니다.

Q. 창업한 회사는 ‘초지능과의 첫 접촉’을 궁극적인 목표로 삼고 있습니다. 게임과 달리 과학이나 현실 세계에는 정답이 명확하지 않은 경우도 많습니다. 이런 상황에서 AI는 무엇을 기준으로 스스로 배울 수 있습니까.

강화학습으로 초지능을 구현하려면 정교하고 복잡한 환경 설정과 함께 에이전트의 학습 방향을 결정할 보상 함수 설계가 선행돼야 합니다.

수학이나 과학처럼 문제 정의가 명확하고 정량적인 평가가 가능한 분야에서는 환경과 보상 함수를 충분히 설계할 수 있다고 보고요. 그러나 인에퍼블 인텔리전스가 추구하는 방향처럼 인간의 데이터와 지식을 배제하고 AI가 순수하게 자신의 경험을 통해 학습하도록 하려면 막대한 컴퓨팅 자원이 필요합니다. 이것이 가장 큰 과제입니다.

초지능에 도달할 구체적인 시점을 예단하기는 어렵습니다. 컴퓨팅 파워가 빠르게 발전하고 있다는 점을 고려하면 초지능의 달성이 멀지 않았다고 생각합니다.

Q. 학습 규칙과 데이터 선택, 실험 과정까지 AI가 맡게 된다면 인간 연구자의 역할도 달라질 수밖에 없습니다. 앞으로 연구자에게 가장 중요해질 능력은 무엇이라고 보십니까.

미래의 연구자에게는 문제를 직접 푸는 것보다 AI가 해결해야 할 과제를 설계하는 역량이 중요해질 겁니다. 이는 해당 분야에 대한 깊은 전문 지식과 통찰력을 바탕으로만 가능할 거고요.

가령 이상 기후나 팬데믹처럼 과학, 정치, 경제적 요소가 복잡하게 얽혀 있는 난제를 해결할 때 AI에게 단순히 ‘문제를 해결하라’고 지시할 수는 없습니다. 문제를 측정 가능하고 명확한 세부 과제들로 나누고, 무엇을 해결해야 하는지 정의해 주는 설계자의 역할이 중요해질 겁니다. 이 과정에서는 각 분야의 전문가들이 오랜 기간 축적해 온 경험과 판단력이 오히려 더욱 중요해질 거라고 생각합니다.

Q. 이런 AI를 개발하려면 막대한 컴퓨팅 자원뿐 아니라 AI가 반복적으로 경험하고 결과를 검증할 수 있는 환경도 필요합니다. 이 경쟁에서 한국의 강점은 무엇입니까.

대한민국은 반도체, 제조업, 바이오, 게임, 엔터테인먼트 등 세계적인 수준의 산업 인프라와 양질의 데이터, 뛰어난 전문 인력을 확보하고 있죠.

이러한 자산을 활용해 산업별 AI 학습 환경을 구축하고, 자율적으로 진화하는 AI 에이전트를 육성한다면 산업 경쟁력을 갖출 수 있을 거라고 생각합니다.

오준혁 공동창업자는 구글 딥마인드에서 8년 가까이 강화학습과 학습 알고리즘의 자동 발견을 연구했다. 제미나이 개발에 참여했다. 2026년 4월 딥마인드를 떠나 알파고 개발을 이끈 데이비드 실버와 함께 인에퍼블 인텔리전스를 공동 창업했다. 이 회사는 인간이 만든 데이터에 의존하기보다 AI가 자신의 경험을 통해 학습하는 범용 에이전트 개발을 목표로 하고 있다.



박수연 수석기자 pksyn@technologyreview.kr