연구실에서 거의 완벽한 성능을 내는 인공지능(AI) 모델들이 실제 환경에서는 종종 실패한다는 것은 공공연한 비밀이다. 이는 보통 인공지능을 학습시키고 검증한 데이터와 실제 세계 데이터 사이의 불일치, 즉 ‘데이터 시프트’(Data Shift)라고 알려진 문제 때문이다. 예를 들어, 고화질 의료 이미지에서 질병의 징후를 발견하도록 훈련된 인공지능은 일선 병원에서 값싼 카메라로 캡처한 흐릿하거나 잘린 이미지들을 처리하는데 어려움을 겪을 수 있다.

최근 구글의 7개 팀에 속한 40명의 연구원 그룹은 머신러닝 모델의 실패를 일으키는 또 다른 주요 원인을 찾아냈다. ‘저사양(underspecification)’이라고 불리는 이 문제는 데이터 시프트보다 더 큰 문제가 될 수 있다. 연구를 주도한 알렉스 다모어(Alex D’Amour)는 “현재 접근 방식들 이상의 것들을 머신러닝 모델에서 찾고 있다”라고 말했다.

저사양은 관찰된 결과들의 원인을 서로 다른 여러가지로 돌릴 수 있는 상황을 말한다. 통계학에서 잘 알려진 문제이다. 인과 추론(casual reasoning)을 연구한 바 있는 다모어는 자신의 머신러닝 모델이 실패하는 이유가 저사양 문제 때문인지 궁금해졌다. 다모어는 머신러닝 분야의 동료 연구자들도 같은 문제를 의심하고 있다는 것을 알게 되었다. 그는 “이 것은 인공지능 연구 현장 곳곳에서 일어나는 현상이다”라고 말했다.