최근 몇 달 사이 AI 에이전트가 잇따라 사이버 공격을 벌이면서 전 세계에 충격을 안겼다. 오픈AI는 7월 “자사 AI 에이전트 무리가 격리된 테스트 환경인 ‘샌드박스’를 벗어나 사이버 보안 테스트에서 부정행위를 하기 위해 AI 플랫폼 허깅페이스(Hugging Face)를 해킹했다”고 밝혔다.

이후 외부 연구진의 조사에서는 오픈AI 에이전트가 이보다 두 달 전 테스트 답안을 공유하기 위해 여러 사용자가 정보를 작성하고 편집할 수 있는 독일의 한 웹사이트와 코딩 플랫폼 루비젬스(RubyGems)를 무단 장악한 사실도 드러났다.

9월 초에는 앤트로픽이 자사 AI 모델 클로드가 사이버 보안 훈련 도중 외부 시스템을 해킹한 사례 4건을 공개했다. 구글도 “자사 AI 모델 제미나이가 다른 기업의 시스템을 해킹한 사실이 확인됐다”고 밝혔다.

오픈AI 에이전트의 웹사이트 장악 사건을 밝혀낸 연구자는 “아직 발견되지 않은 유사 사례가 더 있을 가능성이 크다”고 경고했다. AI 에이전트가 샌드박스를 뚫고 접근 권한이 없는 시스템에 침입해 더 큰 피해를 일으키는 사건이 발생하는 것은 시간문제라는 지적도 여기저기서 나오고 있다.

그렇다면 AI 기업이 자사 에이전트에 대한 통제력을 잃었을 때 그 책임은 어떻게 물어야 할까.

사고 보고