올여름, 수백 개의 오픈AI 에이전트가 사이버 보안 테스트에서 부정행위를 시도했다. 이들은 테스트 환경을 벗어나 자신들이 어떤 기준으로 평가받는지를 알려줄 단서가 있을 것으로 보고 AI 플랫폼 허깅페이스(Hugging Face)를 해킹하는 데 성공했다. 비슷한 시기에 또 다른 오픈AI 에이전트는 호주 정부 웹사이트에 저장된 비공개 파일에 접근했다. 이런 문제는 오픈AI에만 국한되지 않는다. 그 후 몇 달 사이 앤트로픽, 구글, 메타도 자사 에이전트가 통제에서 벗어난 사례를 공개했다. 더욱 우려스러운 점은 에이전트가 이들을 감시해야 할 연구진과 안전팀의 눈을 피해 행동한 경우가 많았다는 것이다.

AI 에이전트의 이런 행동은 모두 허가받지 않고 한 행동이다. 그런데도 에이전트를 개발하고 운영하는 기업들은 이로 인해 발생할 수 있는 유해한 영향을 막는 일을 대부분 운에 맡기고 있다. 문제가 발생한 뒤에야 대응에 나서는 경우도 많다.

기업은 안전을 확보하기 위해 더 많이 노력해야 한다. 따라서 유럽연합(EU) 규제 당국과 미국 정부 기관이 에이전트 개발자와 운영자에게 실시간 모니터링을 요구하는 것은 타당하다. 하지만 이러한 요구에는 기업이 에이전트가 무슨 행동을 하고 있으며 왜 그런 행동을 하는지 파악할 수 있다는 전제가 깔려있다. 실제로는 이를 파악하는 데 필요한 정보가 충분히 확보되지 않은 상태인데도 말이다.