2022년 말 챗GPT가 대중에 공개되면서 사람들은 단순한 프롬프트만으로 생성형 AI가 인간처럼 보이는 방대한 양의 텍스트를 얼마나 쉽게 만들어낼 수 있는지 깨닫게 됐다. 이는 곧 범죄자들의 관심을 끌었고, 이들은 대형언어모델(LLM)을 활용해 악성 이메일을 생성하기 시작했다. 결과적으로 무차별적인 스팸 메일뿐 아니라 금전이나 민감한 정보를 탈취하기 위한 정교한 표적 공격도 빠르게 확산됐다.

이후 사이버 범죄자들은 AI 도구를 활용해 범죄 활동을 한층 고도화해 왔다. 피싱 이메일 작성은 물론, 초현실적이고 설득력 있는 딥페이크 영상 제작, 탐지를 회피하기 위한 악성 소프트웨어(멀웨어) 변형까지 AI가 폭넓게 활용되고 있다. 또한 네트워크와 시스템의 취약점을 자동으로 탐색하고, 몸값 요구서를 신속히 생성하며, 탈취한 방대한 데이터에서 가치 있는 정보를 선별하는 데에도 AI가 사용되고 있다.

해킹 자체에 미치는 AI의 영향은 아직 명확히 규정하기 어렵다. 다만 한 가지는 분명하다. AI는 공격자의 진입 장벽을 낮추고, 끊임없이 진화하는 새로운 도구를 제공하며, 공격 시도를 더 빠르고 저렴하며 손쉽게 만들고 있다는 점이다.

예를 들어 인터폴은 동남아시아 전역의 사기 조직들이 저렴한 AI 도구를 활용해 더 많은 잠재적 피해자를 빠르게 겨냥하고, 필요에 따라 활동 거점을 신속히 이동하고 있다고 경고했다. 또한 아랍에미리트는 최근 자국 핵심 인프라를 겨냥한 AI 기반 공격을 차단했다고 밝히기도 했다.