AI가 넘어야 할 다음 벽은 ‘더 잘 읽는 것’이 아니라 ‘보고 판단하는 것’이다. 인터넷의 텍스트를 읽으며 성장한 AI는 수학 올림피아드 문제를 풀고 사람보다 빠르게 코드를 쓰는 수준에 이르렀다. 그러나 사진에서 물체의 개수와 위치, 거리, 앞뒤 관계를 파악하는 능력은 그 수준에 한참 못 미친다. 올해 국제 머신러닝 학회 ICLR에서 노스웨스턴대와 스탠퍼드대, 워싱턴대, 코넬대 공동 연구팀이 발표한 ‘시어리 오브 스페이스(Theory of Space)’ 실험은 주어진 이미지를 해석할 때 뛰어났던 주요 AI 모델들이 가상 공간을 능동적으로 탐색할 때 성능이 떨어지는 모습을 여과 없이 보여줬다. 환경이 바뀐 뒤에도 모델들은 앞서 내린 판단을 바로잡지 못했다.

원인은 모델이 추론하는 방식에 있었다. 앤드루 다이 CEO는 오늘날 AI가 이미지를 입력받더라도, 답을 찾아가는 명시적 추론은 여전히 텍스트와 코드로만 하기 때문이라고 판단했다. 도면의 치수나 부품이 맞물리는 구조처럼 말로 다 표현되지 않는 정보는 이 과정에서 사라진다. 설계와 제조, 로봇 산업에 AI가 아직 깊이 들어가지 못한 이유다.

앤드루 다이 CEO는 지난해 말 구글 딥마인드를 떠나 애플 출신 멀티모달 연구자 인페이 양(Yinfei Yang), 하버드대 교수 출신 세스 닐(Seth Neel)과 함께 엘로리안(Elorian)을 세웠다. 그는 2015년 구글 브레인의 쿽 레(Quoc Le)와 함께 오늘날 대형언어모델에 널리 쓰이는 사전학습 접근의 효과를 입증한 바 있다. 약 14년간 구글에 재직하며 AI 모델 제미나이(Gemini) 개발에 참여했고, 제미나이의 데이터 리드를 맡았다. 텍스트로 AI를 키운 그에게 AI의 시각적 추론이 어디까지 왔고 무엇이 달라지고 있는지 물었다.

텍스트 사전학습의 개척자가 시각을 선택한 이유

Q. 2015년 쿽 레와 함께 발표한 논문은 사전학습이 후속 과제의 성능을 끌어올린다는 사실을 보여줬습니다. 당시 딥러닝의 중심은 이미지 인식이었는데요. 그 결과를 처음 확인했을 때 팀 분위기는 어땠습니까.

고무적이었습니다. 정확히 말하면 그 논문은 텍스트와 이미지를 각각 따로 사전학습시키면 이후 텍스트 과제와 이미지 과제의 성능이 모두 높아진다는 점을 보였습니다. 당시 최고 성능(SOTA)을 새로 쓴 결과였기 때문에 팀은 매우 들떠 있었고요. 구글의 AI 연구조직 구글 브레인(Google Brain)에 있던 딥러닝 선구자 제프리 힌턴(Geoffrey Hinton)은 학습 설정값(하이퍼파라미터)을 별로 손보지 않았는데도 이 방식이 작동하는 것을 보고 “좋은 아이디어는 스스로 작동하고 싶어 한다”고 말했습니다. 다만 그때는 누구도 이 아이디어가 오늘날과 같은 규모의 사전학습으로 이어지리라고는 생각하지 못했습니다.

그 무렵 구글 브레인 안에 헬스 팀이 생겼고, 저는 그곳에서 환자의 진료 기록을 디지털로 관리하는 전자건강기록(EHR)에 언어모델 사전학습을 적용하는 팀을 꾸렸습니다. 지금 KAIST에 있는 최윤재 교수도 당시 팀원이었습니다. 이후 오픈AI의 언어모델 GPT-3가 나오면서 사전학습이 본격적으로 확산되는 것을 보고, 구글 브레인으로 돌아와 다시 언어모델 연구에 집중했습니다.

Q. 이후 사전학습은 대형언어모델의 핵심 학습 방식으로 자리 잡았고, 구글에서 제미나이 개발에도 영향을 미쳤습니다. 당신도 그 개발을 주도하셨죠. 그런데 왜 텍스트가 아닌 시각으로 선회하셨습니까.

10년 넘게 텍스트 모델을 연구하면서 깨달은 것이 있습니다. 코딩과 수학을 포함한 언어 능력은 순조롭게 확장되는 반면 시각 능력은 한참 뒤처져 있다는 사실이었죠. 이를 결정적으로 깨달은 것은 지난해 친구들과 보드게임을 하던 날이었습니다. 저는 보드게임을 꽤 많이 수집하는 편입니다. 그날 판을 사진으로 찍어 각 플레이어가 판 위에 몇 개를 차지하고 있는지 AI에 물어봤습니다. 게임에 참여한 플레이어면 누구나 눈으로 셀 수 있는 수준인데, AI는 제대로 세지 못했습니다. AI 추론 능력 평가 ARC-AGI⁰에서 90%를 받는 최고 수준의 모델, 소위 프런티어 모델이었는데도요.

만약 시각적 추론을 성인 수준으로 끌어올리면 시각 정보에 의존하는 수많은 산업에 AI를 적용할 수 있게 됩니다. 컴퓨터 설계(CAD)와 그래픽 디자인, 건축 같은 설계 분야부터 로보틱스와 영상 이해까지 상당히 넓은 범위의 산업이 포함될 것입니다.

텍스트 대신 이미지로 추론하는 ‘시각적 사고의 사슬’

Q. 지표는 다른 이야기를 합니다. 프런티어 모델들은 시각 추론 평가에서 최고 성적을 계속 경신하고 있고, 각 회사는 그 점수를 근거로 시각 능력의 진전을 홍보합니다. 지금의 평가 방식이 현실에 필요한 능력을 반영하지 못하는 건가요.

그렇습니다. ARC-AGI의 최신 버전인 ARC-AGI-3처럼 널리 쓰이는 벤치마크는 실제 활용 사례와 거리가 멉니다. 그 평가는 모든 화면이 가로세로 64픽셀의 격자로 구성되는데, 현실의 시각적·물리적 문제 가운데 그 크기에 담을 수 있는 것은 거의 없어요. 평가 데이터가 지나치게 깨끗하다는 점도 문제입니다. 유아 수준의 시각 과제로 모델을 시험하는 베이비 비전(BabyVision) 같은 평가는 현실에서 찾아보기 어려운 정제된 이미지로 구성돼 있어, 이미지를 볼 줄 몰라도 간단한 프로그램만으로 상당수 과제를 풀 수 있을 정도입니다. 반면 같은 방식으로 실제 사무용 빌딩 사진에서 창문 개수를 세어보면 훨씬 어렵다는 것을 알게 되죠.

시각적 추론을 제대로 평가하려면 사진 속 물체의 이름을 맞히거나 영역을 구분하는 수준이 아니라, 성인이 이미지를 몇 초간 들여다봐야 풀 수 있을 만큼 복잡한 과제여야 합니다. 동시에 현실에서 수집한 데이터여야 하고, 현장의 노이즈와 실제 활용 사례를 담고 있어야 하고요.

Q. 엘로리안은 학습과 아키텍처의 모든 결정을 시각적 추론에 맞추고 있습니다. 시각을 중심에 두고 설계한다는 것이 실제로 어떤 차이를 만듭니까.

지금의 AI와 저희 모델은 ‘생각하는 공간’이 다릅니다. 지금의 프런티어 모델은 생각의 사슬(Chain of Thought)⁰에서 텍스트와 코드만 사용합니다. 말로만 생각하는 셈이죠. 반면 저희 모델은 추론하는 도중에 직접 이미지를 그리고 고쳐가며 생각합니다. 사람이 어려운 문제를 풀 때 머릿속에 그림을 그려보거나 종이에 도형을 끄적이는 것과 같습니다. 저희는 이를 시각적 생각의 사슬(Visual Chain of Thought)이라고 부릅니다. 말로 하는 추론과 그림으로 하는 사고의 결합이 인간 추론의 본질이라고 믿기 때문입니다. 이걸 실현하려면 모델의 층 하나하나를 다시 설계해야 합니다. 이미지를 처리하는 비전 인코더부터 트랜스포머 내부 구조까지, 어떤 데이터가 시각적 추론 능력을 높이는지, 어떤 구조가 시각 처리에 맞는지를 처음부터 다시 묻는 작업입니다. 점진적 개선은 논문을 쓰는 데는 좋지만, 프런티어 모델을 만드는 데는 충분하지 않으니까요.

Q. 데이터 문제를 묻고 싶습니다. 2015년에는 학습시킬 텍스트가 인터넷에 넘쳐났습니다. 건축 도면이나 위성사진, 작물 진단 같은 영역에는 그런 자료가 없고, 회사는 필요한 데이터를 직접 만들어 쓴다고 밝혔습니다. 만들어낸 데이터의 한계는 무엇입니까.

직접 만들어낸 학습 데이터, 즉 합성 데이터에는 늘 위험이 따릅니다. 현실 데이터와 너무 달라서 모델이 실제 환경에 적응하지 못할 수 있고, 현실 데이터만큼 다양한 경우를 담아내지 못할 수도 있습니다. 그래서 저희는 합성 데이터의 품질과 다양성을 면밀히 검토하고 개선할 방법을 계속 찾고 있어요.

합성 데이터는 현실에서 그 데이터가 만들어지는 과정을 그대로 재현할 수 있을 때 강력하거든요. 반면 현대 미술처럼 고도의 다양성이 필요한 영역에서는 실제 작품만큼 다양한 데이터를 만들어내기가 매우 어렵습니다.

설계에서 로봇까지, 3차원 공간 이해가 여는 산업

Q. AI의 성능이 급성장하던 시기를 구글 안에서 지켜보셨고, 이제는 밖에서 그 흐름을 보고 있습니다. 지금 AI는 어디까지 와 있고, 범용 인공지능(AGI)은 언제, 어떤 모습으로 온다고 보십니까.

AI는 요약과 이메일 작성, 수학, 코딩 같은 텍스트 영역에서 많은 것을 이뤘습니다. 그러나 AI의 발전은 처음부터 어떤 일은 인간을 넘어서면서 다른 일은 유아 수준에 머무는, 영역마다 능력이 다른 ‘울퉁불퉁한 경계선(jagged frontier)’의 모습이었죠. 체스와 바둑에서는 오래전에 인간을 넘어섰고, 지금은 코딩과 수학의 차례입니다. 과거 인간만 할 수 있던 많은 일을 해내지만, 제프 딘(Jeff Dean) 구글 수석과학자 같은 사람을 대체하지 못한다는 것도 분명합니다. 그리고 이 경계선의 가장 깊은 골짜기에 시각적 추론이 있습니다. AGI와는 아주 멀리 떨어져 있는 영역이에요.

이 흐름은 계속될 겁니다. 텍스트 기반 추론처럼 AI가 잘하는 영역은 계속 좋아지겠지만, 코딩 에이전트가 제프 딘 수준에 이를 가능성은 낮다고 보고요. 법률 서면 작성이나 시각적 추론, CAD 도면 이해처럼 AI가 아직 약한 영역이 AGI 수준에 이르려면 더 오래 걸릴 것입니다. 엘로리안은 그 시기를 앞당기는 데 모든 역량을 쏟고 있습니다.

Q. 시각 추론은 모델이 깊이와 공간 구조, 상대 위치를 여러 장면에 걸쳐 이해한다고 했는데요. 3차원 공간을 다루는 시각 모델이 로보틱스로 이어지는 흐름도 비슷한 방식입니까.

맞습니다. 로봇이야말로 시각으로 사고하는 AI가 가장 자연스럽게 이어지는 영역입니다. 로봇은 눈앞의 물리 세계를 깊이 이해해야 움직일 수 있으니까요. 사람이 물건을 집을 때 그것이 얼마나 멀리 있는지, 어떤 모양인지, 주변에 무엇이 있는지를 눈으로 파악하듯, 로봇에게도 3차원 공간의 이해가 성능을 좌우합니다. 기존 로봇은 이를 위해 레이저로 거리를 재는 라이다(LiDAR) 같은 별도 센서에 의존하는 경우가 많았는데, 시각 추론 모델은 카메라로 본 장면 자체에서 공간을 이해하는 접근입니다.

3차원을 이해하면 설계 분야로도 넓어집니다. CAD로 그린 설계가 실제로 어떻게 제조되고 작동할지 AI가 이해하면 설계자의 시간을 크게 줄일 수 있는데, 지금의 설계 작업은 대부분 AI가 적용되지 않은 기존 CAD 소프트웨어로 일일이 손수 이뤄지고 있거든요. 다만 로보틱스는 보는 것에서 끝나지 않고 하드웨어를 제어해 올바른 행동을 골라야 하는 문제가 더해지기 때문에, 난도는 한 단계 높아집니다.

Q. 올해 4분기에 외부 개발자가 쓸 수 있는 공개 API를 열 계획이라고 밝히셨습니다. 가까운 목표와 장기 목표는 무엇이고, 시각적 추론이 지금의 코딩 수준에 이르면 어느 산업이 가장 먼저 달라집니까. 한국의 기업과 연구자와도 협업 의사가 있습니까.

지금은 데이터를 함께 만들고 모델을 먼저 써볼 초기 협력사, 이른바 설계 파트너를 모으는 단계입니다. 단기 목표는 시각적 추론 프런티어 모델을 완성해 고객에게 전달하고 피드백을 듣는 것이고요. 그래야 다양한 활용 사례에 쓸모 있는 모델로 개선할 수 있을 테니까요. 장기 목표는 어떤 기업이든 시각적 추론 과제가 생기면 가장 먼저 찾는, 텍스트와 이미지를 함께 다루는 세계 최고의 멀티모달 파운데이션 모델을 만드는 것입니다.

사무직 업무의 상당 부분은 실은 도면을 확인하거나 작물 상태를 살피는 시각 작업입니다. 시각적 추론이 코딩 수준에 이르면 그중에서도 CAD와 설계 분야가 가장 큰 영향을 받을 것입니다. 새 기계 장치를 설계하는 데 몇 달이 아니라 며칠이 걸리게 되는 거죠. 영상 산업도 달라질 것입니다. 사람이 영상의 세부 내용을 몇 시간씩 들여다볼 필요가 없어집니다. 이런 변화가 앞으로 몇 년 안에 일어날 것으로 봅니다. 한국의 뛰어난 기업, 연구자들과 협력할 방법을 언제나 찾고 있습니다.

1. 1. ARC-AGI: 처음 보는 유형의 퍼즐을 몇 개의 예시만 보고 풀 수 있는지 재는 AI 추론 능력 평가. 사람에게는 쉽지만 AI에게는 어려운 문제들로 구성돼, 암기가 아닌 추론 능력을 가늠하는 기준으로 쓰인다.
      ↩︎

1. 1. 생각의 사슬(Chain of Thought)·시각적 생각의 사슬(Visual Chain of Thought): 생각의 사슬은 AI가 답을 내놓기 전 중간 추론 과정을 단계별로 밟아가는 방식으로, 지금의 모델들은 이 과정을 텍스트와 코드로만 수행한다. 시각적 생각의 사슬은 엘로리안이 제안한 방식으로, 추론 도중 이미지를 직접 만들고 고쳐가며 그림으로도 사고한다. ↩︎

앤드루 다이 CEO는 구글 브레인 초기 멤버로 약 14년간 구글과 구글 딥마인드에 재직했다. 2015년 쿽 레와 함께 발표한 연구는 오늘날 대규모 언어모델에 널리 쓰이는 사전학습-미세조정 접근의 초기 연구 중 하나로 꼽힌다. 이후 파운데이션 모델의 기반이 된 전문가 혼합(MoE) 연구를 이끌며 수십억 명이 쓰는 서비스 개발에 참여했고, 제미나이 개발에는 파운딩 멤버이자 데이터 리드로, PaLM 2 개발에는 사전학습 공동 리드로 참여했다. 2025년 말 딥마인드를 떠나 애플 출신 멀티모달 연구자 인페이 양, 하버드대 교수 출신 세스 닐과 팔로알토에 엘로리안을 공동 창업했다. 엘로리안은 2026년 4월 벤처캐피털 스트라이커 벤처스(Striker Ventures), 멘로 벤처스(Menlo Ventures), 알티미터 캐피털(Altimeter Capital) 주도로 5,500만 달러 시드 투자를 유치했다.