코로나19가 한창이던 시기, 폐 엑스레이 사진 한 장만으로 감염 여부를 판별하는 AI 모델들이 잇따라 등장했다. 일부 모델은 높은 정확도를 기록하며 큰 주목을 받았다. 그러나 이수인 미국 워싱턴대 석좌교수 연구팀이 AI의 판단 과정을 분석한 결과는 예상과 매우 달랐다. AI는 폐 병변보다 사진 가장자리의 표식이나 병원마다 다른 촬영 장비의 특성, 영상 화질처럼 ‘어느 병원에서 촬영됐는지’를 짐작할 수 있는 단서들을 학습했고, 실제 판단에서도 이러한 정보를 중요한 근거로 활용하고 있었다. AI는 감염 여부를 맞게 판별했지만, 의학적으로 의미 있는 폐 병변의 특징이 아닌 촬영 환경에 포함된 비의료적 단서를 바탕으로 판단한 것이다.

이 사례는 AI의 정확도가 높다고 해도 그 판단을 그대로 신뢰할 수는 없다는 점을 보여준다. 촬영 환경 같은 부수적 단서에 기댄 판단은 장비와 환경이 다른 병원에서는 그대로 통하지 않기 때문이다.

이수인 교수는 이러한 문제의식에서 출발해 AI가 어떤 근거로 결론을 내렸는지 설명하는 ‘설명가능 AI(XAI)’ 분야를 대표하는 연구자로 자리 잡았다. 이 교수는 여러 입력 정보 가운데 어떤 요소가 AI의 판단에 얼마나 영향을 미쳤는지를 수치로 보여주는 ‘SHAP’ 기법을 개발했다. 이 기법은 의료와 금융을 비롯한 다양한 분야에서 대표적인 AI 설명 기법으로 활용되고 있다.