필자는 최근 오픈AI가 공개한 자사 모델의 ‘허깅페이스(Hugging Face) 해킹 사건’에 관한 글을 읽었다. 오픈AI의 일부 모델이 격리된 시험 환경을 벗어나 다른 AI 기업 허깅페이스의 컴퓨터 시스템에 침입한 과정을 정리한 글이었다. 대형언어모델(LLM)이 어떤 일까지 해낼 수 있는지에 관한 글을 보며 실제로 등골이 서늘해진 것은 이번이 처음이었다. 그러나 이 사건은 AI가 스스로 반란을 일으킨 사례라기보다는 인간의 오만이 낳은 결과였다.

필자는 AI의 위험을 과장하는 사람이 아니다. 오히려 지난 몇 년 동안 ‘AI 공포론’을 반박해왔다. 그럼에도 이번 사건은 이전과 달랐다. 이번 사건은 AI를 개발하고 시험하는 사람들이 그 기술을 충분히 이해하지 못하고 있음을 가장 분명하게 보여준 사례라고 생각한다. 오픈AI는 이런 일이 벌어질 수 있음을 예상할 수 있었고, 예상했어야 했다.

이번 일과 관련된 두 기업의 설명을 종합하면 사건의 전말은 다음과 같다. 우선 오픈AI는 몇 주 전 신형 모델들의 해킹 능력을 시험하기 시작했다. 시험 대상에는 GPT-5.6 솔(Sol)과 오픈AI가 이보다 성능이 뛰어나다고 밝힌 출시 전 모델이 포함됐다.

오픈AI는 지난 5월 공개된 ‘익스플로잇짐(ExploitGym)’이라는 벤치마크에 모델들을 투입했다. 벤치마크는 AI의 성능을 측정하는 평가 시험으로, 익스플로잇짐은 LLM이 실제 소프트웨어의 취약점을 악용할 방법을 찾아낼 수 있는지를 평가한다.