수년간 전문가들은 딥페이크, 즉 현실에서 하지 않은 행동이나 발언을 한 것처럼 보이게 만드는 AI 생성 영상·이미지·음성이 악의적으로 활용될 수 있다고 경고해 왔다.

이제 이러한 위험은 현실이 됐다. 딥페이크 기술의 발전과 사용이 쉽고 저렴한(혹은 무료) 생성형 모델의 확산으로 누구나 이전보다 훨씬 더 손쉽게 현실을 조작할 수 있게 됐으며 이를 식별하기는 점점 더 어려워지고 있다.

문제는 단순히 인터넷을 뒤덮은 비교적 쉽게 가짜임을 알아볼 수 있는 ‘AI 슬롭(AI slop)’이 아니다. 성적으로 노골적인 이미지부터 사기 게시물, 정치 선전에 이르기까지 ‘무기화된 딥페이크(weaponized deepfake)’는 놀라울 만큼 실제처럼 보일 수 있다. 이미 전 세계에서 이러한 딥페이크가 폭력을 부추기고, 여론을 바꾸려 하며(심지어 투표 결과에까지 영향을 미치려 하며), 전반적인 불신을 확산시키는 사례가 나타나고 있다.

이 때문에 전문가들은 무기화된 딥페이크가 비판적 사고 능력뿐 아니라 제도와 타인에 대한 신뢰까지 심각하게 훼손할 수 있다고 우려한다. 이는 사회 전반과 거버넌스에 중대한 영향을 미치는 건 물론이고 직접적인 피해 대상에게도 치명적 결과를 초래할 수 있다. 다른 기술 피해 사례들과 마찬가지로 이러한 영향은 여성과 소외된 집단에 더욱 크게 작용할 가능성이 높다. 실제로 2023년 연구에 따르면 딥페이크의 98%가 음란물 성격을 띠고 있었으며, 그중 99%는 여성을 대상으로 한 것으로 나타났다.