지금쯤이면 지난달 발생한 중대한 AI 보안 사고에 대해 들어봤을 것이다. 오픈AI의 에이전트들이 샌드박스에서 탈출해 시험에서 부정행위를 시도하던 중 AI 플랫폼인 허깅 페이스(Hugging Face)를 해킹한 사건 말이다. 정말 믿기 힘든 사건이었다. 오픈AI는 곧바로 이 사건에 대한 사후 분석 기술 보고서를 발표했으며, 이에 대해서는 기사로 다룬 바 있다.

오픈AI가 해당 보고서를 발표하기 하루 전 필자는 몬트리올대학교에서 휴직하고 ‘에비터블(Evitable)’이라는 AI 안전 비영리 단체를 설립해 이끌고 있는 컴퓨터과학 교수이자 저명한 AI 정렬 전문가인 데이비드 크루거(David Krueger)와 이야기를 나눴다. 그는 이 보고서에서 정말로 보고 싶었던 것은 사건 배후의 인적 요인에 대한 분석이었다고 말했다.

그는 “사고나 사건을 살펴볼 때 사람들은 종종 기술적인 실패 원인을 찾으려 하지만, 그렇게 하면 실패가 발생한 이유에 대해 매우 부정확하고 오해를 불러일으킬 수 있는 인상을 줄 수 있다”며 “사람들이 항상 절차를 생략하고, 안전을 최우선으로 여기며 적절한 인센티브와 구조를 갖춘 문화에 속해 있지 않다면, [사고는] 일어날 수밖에 없다”고 강조했다.