코로나19가 한창이던 시기, 폐 엑스레이 사진 한 장만으로 감염 여부를 판별하는 AI 모델들이 잇따라 등장했다. 일부 모델은 높은 정확도를 기록하며 큰 주목을 받았다. 그러나 이수인 미국 워싱턴대 석좌교수 연구팀이 AI의 판단 과정을 분석한 결과는 예상과 매우 달랐다. AI는 폐 병변보다 사진 가장자리의 표식이나 병원마다 다른 촬영 장비의 특성, 영상 화질처럼 ‘어느 병원에서 촬영됐는지’를 짐작할 수 있는 단서들을 학습했고, 실제 판단에서도 이러한 정보를 중요한 근거로 활용하고 있었다. AI는 감염 여부를 맞게 판별했지만, 의학적으로 의미 있는 폐 병변의 특징이 아닌 촬영 환경에 포함된 비의료적 단서를 바탕으로 판단한 것이다.

이 사례는 AI의 정확도가 높다고 해도 그 판단을 그대로 신뢰할 수는 없다는 점을 보여준다. 촬영 환경 같은 부수적 단서에 기댄 판단은 장비와 환경이 다른 병원에서는 그대로 통하지 않기 때문이다.

이수인 교수는 이러한 문제의식에서 출발해 AI가 어떤 근거로 결론을 내렸는지 설명하는 ‘설명가능 AI(XAI)’ 분야를 대표하는 연구자로 자리 잡았다. 또 이 교수는 여러 입력 정보 가운데 어떤 요소가 AI의 판단에 얼마나 영향을 미쳤는지를 수치로 보여주는 ‘SHAP’ 기법을 개발했다. 이 기법은 의료와 금융을 비롯한 다양한 분야에서 대표적인 AI 설명 기법으로 활용되고 있다.

판단의 근거를 알 수 없다는 문제는 AI가 단순한 분석 도구를 넘어 스스로 판단하고 행동하는 에이전트로 진화하면서 더욱 중요해지고 있다. 기술이 발전할수록 인간이 AI의 작동 원리와 판단 과정을 완전히 이해하기 어려운 영역도 커지고 있다. AI는 산업과 학문 전반에서 질문에 답하는 도구에 머물지 않고, 데이터를 분석하고 의사결정을 내리며 실제 업무를 수행하는 ‘에이전트’로 이동하고 있다. 이제 중요한 질문은 AI를 사용할 것인가가 아니라, AI에게 어떤 판단을 맡길 수 있으며 그 결과를 어떻게 검증할 것인가로 바뀌고 있다.

‘AI 에이전트, 그 다음(After the Agent)’ 시대의 핵심 과제는 AI의 자율성을 얼마나 높일 것인가가 아니다. AI가 내린 판단의 근거를 인간이 이해하고 검증할 수 있도록 만드는 것, 그리고 AI의 판단을 신뢰할 수 있는 기준과 절차를 마련하는 것이 더 중요한 과제로 떠오르고 있다. 설명가능 AI 연구를 선도해 온 이수인 워싱턴대 석좌교수에게 AI 판단을 신뢰하기 위한 조건과 에이전트 시대 이후 인간이 맡게 될 역할에 대해 물었다.

AI 가능성에서 엿본 미래

Q. ‘딥러닝’이라는 말도 없던 2000년에 신경망으로 손글씨 숫자를 알아맞혀 논문상을 받으셨다고 들었습니다.

제가 학부생이던 2000년 무렵에는 인공지능이 지금처럼 사회 전반의 화두가 아니었습니다. 신경망 연구는 매우 제한된 계산 자원과 데이터 속에서 이뤄졌고, 그것이 실제로 큰 영향을 미칠지 확신하는 사람도 많지 않았습니다. 하지만 저는 그때도 기계가 데이터로부터 스스로 규칙을 학습한다는 아이디어에 강하게 끌렸습니다. 손글씨 숫자를 인식하는 연구를 하면서, 사람이 일일이 규칙을 정해 주지 않아도 컴퓨터가 경험을 통해 패턴을 배운다는 사실이 무척 인상적이었거든요. 딥러닝 혁명이 오기 한참 전에 인공지능의 가능성을 처음 엿본 경험이었습니다. 어린 시절 아버지와 수학 문제를 풀며 자연의 원리를 이해하는 즐거움을 배운 영향도 컸습니다. 그래서 저에게 인공지능은 똑똑한 기계를 만드는 기술이라기보다, 복잡한 세상을 이해하기 위한 새로운 도구처럼 다가왔습니다. 그 생각은 지금도 크게 달라지지 않았습니다.

Q. 박사 과정에서는 기계를 ‘보게’ 만드는 연구를 접고 계산생물학으로 옮기셨죠.

박사 과정에 진학하면서 ‘이 기술을 어디에 쓰고 싶은가’를 스스로에게 물었습니다. 인공지능이나 뇌과학 연구 자체도 흥미로웠지만, 인간의 건강과 질병처럼 더 근본적인 문제를 풀고 싶다는 마음이 점점 커졌습니다. 특히 알츠하이머병은 수많은 유전자와 분자, 환경 요인이 복잡하게 얽혀 있어 인간의 직관만으로는 이해하기 어려운 부분이 많습니다. 저는 오히려 인공지능이 가장 큰 가치를 발휘하는 곳이 바로 이런 복잡한 생명 현상이라고 봤습니다. 그래서 기계가 이미지를 인식하게 만드는 연구에서 한 걸음 더 나아가, 생명체가 어떻게 작동하고 왜 병이 생기는지를 데이터로 이해하는 문제에 뛰어들었죠. 주제가 바뀐 것처럼 보이지만 저에게는 같은 질문의 연속이었습니다. 학부 때는 데이터에서 패턴을 발견하는 방법을 연구했고, 이후에는 그 방법으로 인간의 건강과 질병을 이해하려 한 것이니까요.

AI가 똑똑해질수록, ‘왜’가 더 중요해진다

Q. 코로나 진단 AI는 정확도는 높았지만 근거는 엉터리였죠. ‘정확도’가 신뢰의 근거가 될 수 없다면 무엇을 봐야 할까요?

오랫동안 인공지능 분야에서는 정확도가 가장 중요한 평가 기준이었습니다. 하지만 의료 현장에서 연구하며 저는 정확도만으로는 충분하지 않다는 걸 여러 번 목격했습니다. 코로나 진단 AI가 그 단적인 예죠. 시험 문제의 답은 맞혔지만, 풀이 과정은 틀렸던 셈입니다. 이 경험을 통해 저는 신뢰란 ‘얼마나 자주 맞히는가’가 아니라 ‘왜 그렇게 판단했는가’의 문제라고 생각하게 됐습니다. 그래서 앞으로는 AI가 어떤 정보를 활용했는지, 새로운 환경에서도 같은 방식으로 작동하는지, 언제 틀릴 수 있는지, 그 과정을 독립적으로 검증할 수 있는지를 함께 평가해야 합니다. 제가 ‘AI 감사(AI auditing)’가 필요하다고 말하는 이유입니다. 결국 신뢰는 성능이 아니라 투명성과 검증 가능성에서 나옵니다.

Q. 교수님은 늘 ‘맞다’보다 ‘왜 맞는가’가 중요하다고 하셨습니다. AI가 인간이 이해할 수 없는 방식으로 정답을 찾을 때도 그런가요?

AI가 인간의 이해를 넘어서는 것처럼 보일수록, 우리는 ‘왜’를 더 중요하게 물어야 합니다. 과학의 역사를 보면 인간은 늘 자신보다 복잡한 현상을 마주해 왔어요. 유전자 네트워크도, 뇌의 작동 원리도, 기후 시스템도 직관만으로 완전히 이해할 수 있는 대상은 아니었지만, 그렇다고 이해를 포기하지는 않았습니다. 새로운 이론과 도구를 만들어 이해의 범위를 넓혀 왔죠. AI도 마찬가지입니다. 때로는 AI가 인간 연구자가 미처 생각하지 못한 가설이나 패턴을 발견할 수 있습니다. 그러나 과학은 단순히 정답을 얻는 과정이 아니라, 왜 그것이 정답인지 설명하고 검증하는 과정입니다. 설명할 수 없는 답만 쌓인다면 우리는 지식을 쌓는 게 아니라 예측 기계를 쓰는 데 그칠 수도 있습니다. 그럴수록 AI와 인간 사이에 새로운 설명 체계가 필요합니다. 설명가능한 AI와 AI 감사 연구가 궁극적으로 추구하는 목표도 거기에 있습니다. 인간의 이해를 포기하는 것이 아니라, 인간의 이해를 확장하는 것입니다.

Q. AI는 이제 사람 눈에 안 보이던 패턴을 찾고 가설까지 세웁니다. 과학자들에게는 위협일까요?

생명과학에서는 연구자가 직접 발견하기 어려운 유전자 네트워크나 질병의 분자적 경로를 AI가 찾아내고, 최근에는 새로운 가설을 제안하는 단계로까지 나아가고 있습니다. 하지만 저는 이것이 과학자를 대체하는 과정이라고 보지 않습니다. 오히려 과학자의 역할은 더 중요해질 수 있. AI는 상관관계와 가능성을 제시할 수 있지만, 어떤 질문이 의미 있는지 판단하고 그것이 생물학적으로 무엇을 뜻하는지 이해하며, 궁극적으로 새로운 지식을 만들어 내는 것은 여전히 인간의 몫이기 때문입니다. 그래서 앞으로의 과학은 인간의 시대도 AI의 시대도 아니라, 인간과 AI가 함께 발견하는 시대가 될 가능성이 높습니다. 저는 AI를 과학자를 대체하는 존재가 아니라, 인간의 지적 범위를 넓히는 새로운 과학적 기구(scientific instrument)로 봅니다.

에이전트의 다음은 ‘행동’이 아닌 ‘발견’

Q. 지금까지 AI는 인간에게 ‘확인하는’ 도구였습니다. 그러나 이제는 일을 ‘맡기는’ 상대로 전환되고 있습니다.

지금까지 대부분의 AI는 인간이 질문을 던지고 결과를 검토하는 구조였습니다. 설령 AI가 틀려도 마지막 판단은 사람이 했기 때문에, 인간이 자연스럽게 안전장치 역할을 할 수 있었죠. 하지만 AI 에이전트는 본질적으로 다릅니다. 이제 AI는 답을 제시하는 데 그치지 않고 정보를 찾고, 계획을 세우고, 여러 단계를 거쳐 행동까지 수행합니다. 자동차에 비유하면, 지금까지의 AI는 길을 추천하되 운전은 사람이 하는 내비게이션에 가까웠습니다. 반면 AI 에이전트는 시스템이 실제로 행동을 수행하는 자율주행차에 더 가깝습니다. 가장 큰 변화는 인간이 더 이상 모든 판단을 직접 검증할 수 없다는 점입니다. 작업이 복잡해질수록 ‘사람이 마지막에 확인하면 된다’는 기존의 신뢰 모델이 작동하기 어려워집니다. 그래서 앞으로는 AI가 무엇을 했는지 사후에 추적할 수 있어야 하고, 어떤 근거로 결정했는지 설명할 수 있어야 하며, 독립적인 감사가 가능해야 합니다. 금융기관이 거래 기록을 남기고 항공기가 비행 기록 장치를 갖추는 것과 같은 원리죠. 결국 에이전트 시대의 핵심 과제는 더 똑똑한 AI를 만드는 것이 아니라, 인간이 모든 과정을 일일이 확인하지 않아도 믿을 수 있는 사회적·기술적 장치를 만드는 것입니다.

Q. AI 에이전트의 ‘다음’은 무엇입니까. 그리고 그 단계에서 가장 중요해지는 건 무엇입니까.

많은 사람이 AI 에이전트의 다음 단계를  더 높은 성능이나 더 큰 자율성에서 찾습니다. 물론 AI는 더 많은 작업을 하고 더 복잡한 의사결정을 스스로 내리는 방향으로 발전할 것입니다. 그러나 진짜 변화는 ‘더 많은 일을 하는 AI’가 아니라, AI가 인간의 문제 해결 방식 자체를 바꾸는 데 있다고 생각합니다. 지금까지의 AI가 주로 생산성을 높이는 도구였다면, 앞으로의 에이전트는 과학적 발견과 문제 해결의 동반자로 확장될 가능성이 큽니다. 질문에 답하거나 작업을 자동화하는 수준을 넘어, 새로운 가설을 제안하고 실험 공간을 탐색하며 인간이 미처 보지 못한 구조와 패턴을 찾아내는 역할을 하게 될 것입니다.
그런 의미에서 AI 에이전트의 다음은 행동(Action)의 고도화가 아니라 발견(Discovery)의 시대로 넘어가는 전환입니다. 중요한 것은 AI가 얼마나 많은 일을 대신하느냐가 아니라, 인간이 더 본질적인 질문을 던지고 새로운 지식을 만들 수 있도록 얼마나 잘 확장해 주느냐입니다. 그러기 위해 에이전트는 단순한 실행자가 아니라 자신의 추론 과정과 한계를 함께 드러내는 방향으로 발전해야 합니다. 신뢰를 위한 감사 가능성(auditability)이 핵심 설계 원칙이 되어야 하고, 그 위에서만 AI는 인간의 지적 능력을 확장하는 진정한 동반자가 될 수 있습니다.

Q. 에이전트가 스스로 일하게 되면서 발생하는 문제에 대한 우려도 커지고 있습니다.

AI 에이전트가 확산될수록 기술적 문제만큼 사회적 문제가 중요해진다고 봅니다. 첫째는 책임입니다. 에이전트가 아무리 자율적으로 행동해도 책임 자체를 AI에게 넘길 수는 없습니다. 의료나 금융, 과학 연구처럼 중요한 영역에서는 결국 어떤 사람이, 어떤 조직이, 어떤 절차로 그 시스템을 운영했는지 추적할 수 있어야 합니다. AI 시스템에도 감사 가능성과 책임 추적성이 필수인 이유입니다. 둘째는 학습입니다. 에이전트가 너무 많은 판단을 대신하면 사람들은 결과만 소비하고 사고 과정은 경험하지 못할 위험이 있습니다. 특히 교육과 연구에서는 답에 도달하는 과정에서 배우는 것이 많기 때문에, 인간의 성장 기회를 지키는 설계가 중요해집니다. 셋째는 불평등입니다. 강력한 AI 에이전트는 생산성을 크게 높이지만, 그 접근성이 일부 국가와 기업, 기관에 집중되면 기존의 격차가 더 벌어질 수 있습니다. 기술적 격차가 곧 과학적·경제적 격차로 이어지는 것이죠. 우리가 지금 만들어야 할 것은 더 강한 AI가 아니라, 책임과 신뢰, 기회의 공정성을 함께 담는 사회적 제도와 기술적 기반입니다.

AI가 커질수록, 인간의 자리는 ‘의미’ 있다 

Q. AI가 점점 더 많은 일을 대신하는 시대에, 끝내 사람의 몫으로 남는 건 무엇일까요.

AI가 더 많은 일을 수행하더라도 인간의 역할이 사라진다고 보지는 않습니다. 오히려 더 근본적인 방향으로 옮겨갈 것입니다. AI는 점점 더 많은 답을 만들어낼 수 있지만, 어떤 질문이 중요한지 정하고 그 결과가 어떤 의미인지 해석하며 사회가 그것을 어떻게 받아들일지 판단하는 일은 여전히 인간의 몫입니다. 저는 인간의 가장 중요한 역할이 의사결정을 수행하는 존재가 아니라, 세상을 이해하려는 존재로 남는 것이라고 생각합니다. 그래서 앞으로도 AI를 더 강력하게 만드는 연구와 함께 AI가 만들어낸 결과를 인간이 이해하고 검증할 수 있게 하는 연구를 계속하고 싶습니다. 어쩌면 AI 시대의 가장 중요한 질문은 ‘기계가 무엇을 할 수 있는가’가 아니라 ‘인간은 무엇을 이해해야 하는가’일지도 모릅니다.

Q. 거대 모델 경쟁은 오픈AI·구글·앤트로픽이 이미 멀찍이 앞서 있습니다. 한국은 어떤 분야에서 승부해야 할까요?

많은 사람이 AI 경쟁을 누가 더 큰 모델을 만드느냐의 문제로 봅니다. 하지만 앞으로의 경쟁이 반드시 그렇게 흘러가지는 않을 겁니다. 기초 모델 자체에서는 글로벌 빅테크가 상당한 우위를 유지하겠지만, 실제 가치는 그 모델을 어떤 문제에 연결하느냐에서 만들어집니다. 의료, 바이오, 제조, 반도체, 과학 연구 같은 분야에서는 도메인 전문성과 현장 데이터, 문제에 대한 깊은 이해가 매우 중요합니다. 저는 한국이 범용 AI 경쟁을 그대로 따라가기보다는 세계적으로 강점을 가진 산업과 과학에 AI를 깊이 통합하는 전략이 필요하다고 봅니다. 특히 바이오와 의료는 인간의 삶에 직접 영향을 미치면서도 매우 복잡한 지식이 요구되는 영역이기 때문에 AI가 가장 큰 가치를 만들어낼 분야 중 하나입니다. 동시에 우리는 AI를 사용하는 데 그치지 않고 신뢰와 검증, 인간 중심 설계에 관한 글로벌 기준을 만들어가야 합니다. 앞으로의 AI 경쟁은 단순한 성능 경쟁이 아니라, 사회가 실제로 신뢰할 수 있는 시스템을 누가 구축하느냐의 경쟁이 될 가능성이 크기 때문입니다. 결국 한국이 기여할 수 있는 가장 중요한 영역은 AI를 더 크게 만드는 것이 아니라, AI를 더 의미 있게 활용하는 방법을 보여주는 것이라고 생각합니다.

이수인 교수는 KAIST 학부를 거쳐 스탠퍼드대에서 머신러닝의 대가 대프니 콜러 교수의 지도로 박사 학위를 받았다. 현재 워싱턴대 폴 G. 앨런 컴퓨터과학·공학부 교수로 AI for bioMedical Sciences Lab을 이끌며 생명과학과 정밀의료에 머신러닝을 적용하는 연구를 개척해오고 있다. 2024년 삼성호암상 공학상과 ISCB 혁신가상을 수상했다.