5월 말, 미국 국방부 청사 펜타곤(Pentagon)에 폭발이 일어난 것처럼 보이는 사진이 인터넷에 확산됐다.
펜타곤에서 몇 킬로미터 떨어진 곳에서 백악관 보좌관과 기자들은 사진에 담긴 내용이 사실인지 확인하기 위해 분주하게 움직였다.
사진은 거짓으로 드러났다. 해당 사진은 AI로 생성한 사진이었다. 그러나 정부 관계자, 언론인, 기술 기업들은 가짜 사진이 사회에 실질적인 영향을 미칠 때까지 아무런 조치도 취하지 못했다. 그 사진은 단순히 혼란만을 초래한 것이 아니라 금융 시장 폭락으로까지 이어졌다.
진실을 호도하는 콘텐츠 조작은 새롭게 등장한 현상이 아니다. 그러나 AI를 사용하면 정교하고 초현실적인 콘텐츠를 더 쉽게 제작할 수 있다. 이는 예술적 표현이나 접근성 개선 등 좋은 목적으로 사용될 수도 있지만, 정치 사건을 의심하게 하거나 명예훼손, 괴롭힘, 착취 등 나쁜 목적으로 악용될 수도 있다.
선거의 무결성을 높이고, 증거를 보호하며, 잘못된 정보를 줄이고, 역사적 기록을 보존하고 싶다면 콘텐츠가 조작되거나 AI로 생성됐다고 표시하는 것이 도움이 될 수 있다. 앞에서 언급한 펜타곤 사진에 AI 생성 이미지라는 표시가 되어 있었다면 기술 플랫폼들이 더 신속하게 조처할 수 있었을지도 모른다. 예를 들어, 이러한 이미지가 인터넷에 배포되는 것을 막거나, 콘텐츠에 라벨을 붙여서 그것이 가짜 사진이라는 것을 더 쉽게 식별할 수 있도록 도움을 줄 수 있었을 것이다. 그러면 혼란이나, 더 나아가 그로 인한 시장의 움직임을 피할 수 있었을지도 모른다.
무엇이 진실이고 무엇이 거짓인지 구별하려면 우리에게 더 큰 투명성이 필요할 것이다. 지난 7월, 백악관은 이러한 투명성 보장을 위해서 가장 유명한 AI 기업 7곳이 “워터마크(watermark) 삽입 등 사용자가 AI 생성 콘텐츠를 식별할 수 있도록 도와주는 강력한 기술적 조치를 마련하기로 했다”고 발표했다.
‘워터마크 삽입’ 같은 정보공개 방법은 좋은 시작점이 될 수 있다. 그러나 실제로 적용하기에는 복잡한 방법이라 빠른 해결책이 되기는 어렵다. 트위터 사용자들이 가짜 펜타곤 사진을 알아보는 데 워터마크가 도움이 되었을지, 아니면 더 최근 광고에 사용된 도널드 트럼프(Donald Trump) 목소리가 가짜라는 것을 식별하는 데 도움이 되었을지는 명확하지 않다. 따라서 여기서 다음과 같은 의문이 생길 수 있다. 출처 공개나 메타데이터(metadata) 등 다른 방법이 더 효과적이지는 않을까? 그리고 무엇보다도, 어떤 콘텐츠가 AI 생성 콘텐츠라는 점을 공개하는 것만으로 사람들이 사실과 거짓을 구분하고, 그런 콘텐츠로 인한 실질적인 피해를 완화하는 데 도움이 될까?
이러한 질문에 답하기 위해서는 우선 워터마크 삽입을 포함해서 콘텐츠에 AI 생성 콘텐츠임을 표시할 수 있는 다양한 방법이 무엇을 의미하는지 명확하게 할 필요가 있다. 어떤 방법을 활용할 수 있는지, 그런 방법을 통해 우리가 합리적으로 기대할 수 있는 바가 무엇인지, 그런 방법을 도입해도 해결되지 않는 문제가 무엇인지 확실히 알아야 한다. 어떤 개념의 정의에 대해 논하는 것이 다소 현학적으로 보일 수도 있지만, 현재 ‘워터마크’라는 용어가 광범위하게 사용되면서 AI 분야 전반에 걸쳐 혼란과 조율 부족이 심화되고 있다. 따라서 워터마크를 포함한 다양한 공개 방법의 의미를 정의하는 것은 AI 분야의 협력과 공개 표준 합의에 필수적인 전제 조건이다. 명확한 정의를 내리지 않으면 논의의 방향이 어긋날 수 있다.
필자는 비영리 단체인 AI 파트너십(Partnership on AI, PAI)에서 오픈AI(OpenAI), 어도비(Adobe), 위트니스(Witness), 마이크로소프트, BBC 등 다양한 조직과 함께 책임감 있는 합성 미디어에 대한 지침을 개발하기 위한 작업을 이끌면서 이러한 문제를 직접 목격해 왔다.
콘텐츠에 삽입된 ‘워터마크’는 최종 사용자가 볼 수 있는 신호(예: 이미지 공급업체 게티 이미지의 이미지에 삽입된 ‘Getty Images’라는 텍스트)를 의미할 수도 있지만, 육안이나 귀로는 감지할 수 없는 기술적 신호를 의미하기도 한다. 투명성 보장을 위해서는 ‘직접’ 공개와 ‘간접’ 공개라는 두 가지 유형의 워터마크에 대해 제대로 이해해야 한다. 워터마크 삽입과 관련한 문제와 기회를 논할 때도 이러한 두 유형 중 어떤 워터마크에 대해 평가하고 있는지 명확히 해야 한다.
상황을 더 복잡하게 만드는 것은 AI 생성 콘텐츠를 표시하는 다양한 방법이 있는데도 ‘워터마크’라는 용어가 AI 생성 콘텐츠의 공개 방식을 포괄하는 두루뭉술한 표현으로 사용되는 경우가 많다는 사실이다. 앞서 언급한 백악관의 발표 내용을 자세히 읽어보면 비가시적 신호가 아니라 ‘출처 공개’라는 또 다른 방법도 설명되어 있다. 이는 암호화 서명(cryptographic signature)을 활용하는 방식이지만 대중 매체에서는 이것도 워터마크라고 표현하는 경우가 많다. 명확한 정의는 중요하다. 다양한 기술을 어떻게 지칭하는지에 대한 합의조차 제대로 이루어지지 않는다면, AI 분야에서 일관적이고 강력한 투명성을 구현하기는 불가능할 것이다.
필자는 워터마크 등 AI 생성 콘텐츠 공개 방법의 유용성을 평가하는 데 도움이 될 수 있는 질문들을 생각해 냈다. 다음 여섯 개 질문은 다양한 당사자들이 서로 같은 내용을 논의하고 있는지 확인하고, 각각의 방법을 철저하고 일관된 방식으로 평가할 수 있도록 도와줄 것이다.
1. 워터마크 자체가 변조될 수 있는가?
아이러니하게도 콘텐츠의 출처와 조작 방법을 파악하는 데 도움이 된다고 여겨지는 기술적 신호 자체가 때로는 조작될 수도 있다. 물론 조작이 쉽지는 않지만, 가시적 워터마크나 비가시적 워터마크 모두 제거되거나 변경될 수 있기 때문에 AI 합성 이미지를 식별하는 장치로는 유용하지 않을 수 있다. 특히 콘텐츠 유형에 따라서 워터마크 조작의 용이성도 달라질 수 있다.
2. 콘텐츠 유형과 상관없이 워터마크의 지속성은 동일한가?
비가시적 워터마크는 생성형 AI(generative AI)에 대한 광범위한 해결책처럼 홍보된다. 그러나 이러한 내장형 워터마크는 시청각 콘텐츠보다 텍스트 콘텐츠에서 훨씬 더 쉽게 조작될 수 있다. 위에서 언급한 백악관의 요약 문서에서는 모든 유형의 AI에 워터마크를 적용할 것이라고 했지만, 전문을 살펴보면 기업들이 시청각 콘텐츠에 대한 정보공개 표시만 약속한 것으로 명시되어 있다. 이는 아마도 콘텐츠 유형에 따른 이러한 워터마크 조작의 용이성 차이 때문일 것이다. 따라서 AI 정책 수립을 위해서는 비가시적 워터마크 삽입 같은 공개 기술의 지속성과 강인성이 콘텐츠 유형에 따라 어떻게 달라지는지 구체적으로 파악해야 한다. 예를 들어 이미지에는 유용하지만, 텍스트에는 쓸모없는 공개 방식이 있을 수도 있다.
3. 이러한 비가시적 신호는 누가 감지할 수 있을까?
비가시적 워터마크 삽입에 동의한다면, AI 분야에서 이러한 워터마크를 감지하고 이를 기반으로 권위 있는 주장을 할 수 있는 주체가 누가 되어야 하는지에 결정해야 한다. 콘텐츠가 AI로 생성되었는지, 더 나아가서 콘텐츠에 오해의 소지가 있지 않은지는 누가 결정할 수 있을까? 모든 사람이 워터마크를 감지할 수 있다면, 악의적인 사용자가 워터마크를 오용하는 일이 늘어날 수 있다. 그렇다고 비가시적 워터마크 감지를 제한한다면, 특히 거대 AI 기업들이 이를 주도한다면, 개방성이 저하될 뿐만 아니라 기술에 대한 통제도 심화될 수 있다. 관리 방법에 대한 고민 없이 이러한 공개 방식을 사용하게 되면 비효율적이고 신뢰할 수 없는 방식으로 변질될 수 있다. 게다가 해당 기술이 널리 채택되지 않으면 악의적인 행위자들이 비가시적 워터마크가 없는 오픈소스 기술을 사용해서 유해하고 오해의 소지가 있는 콘텐츠를 만들 수도 있다.
4. 워터마크는 개인정보를 보호하는가?
인권 및 기술 단체인 위트니스의 주요 연구 결과를 보면, 오랜 시간에 걸쳐 콘텐츠와 함께 이동하는 추적 시스템은 콘텐츠 제작자의 개인정보 보호 문제를 초래할 수 있다. AI 분야에서는 워터마크 등 공개 기술이 콘텐츠 제작자의 식별 정보(identifying information)를 포함하지 않도록 설계해야 한다. 이러한 정보가 콘텐츠 제작자를 위험에 빠뜨릴 수도 있기 때문이다. 예를 들어 인권 활동가가 인권 침해 사례를 찍은 사진에 워터마크 형태의 식별 정보가 삽입되었다면, 이 활동가는 권위주의 정부의 쉬운 표적이 될 수 있을 것이다. 또한 워터마크가 활동가의 신원을 드러낼 수 있다는 사실만으로도 사람들의 표현과 발언의 자유가 위축될 수 있다. 따라서 정책입안자들은 콘텐츠 제작자의 개인정보를 보호하는 동시에, 명확한 지침을 제공해 유용하고 실용적인 세부 정보를 포함하는 정보공개 방식을 설계할 수 있도록 해야 한다.
5. 가시적 공개 방식이 생성형 AI의 역할을 이해하는 데 도움을 주는가?
비가시적 워터마크는 기술적으로 지속성이 강하고 개인정보를 보호할 수 있지만, 이용자가 콘텐츠를 이해하는 데에는 도움이 되지 않을 수 있다. 가시적 워터마크 같은 직접적인 정보공개 방식은 더 강한 투명성을 제공한다는 직관적인 장점이 있지만 반드시 의도한 효과를 내는 것은 아니며, 콘텐츠의 진실성에 대해 아무것도 보여주지 않을 때도 편향적이고 징벌적인 것으로 인식될 수 있다. 또한 사용자가 직접적으로 공개된 정보를 잘못 해석할 가능성도 있다. 필자가 2021년에 진행한 연구에서 한 참여자는 트위터의 ‘조작된 미디어(manipulated media)’라는 라벨을 보고 특정 동영상의 내용이 오해를 불러일으키도록 편집됐다는 의미가 아니라, ‘미디어(media)’라는 기관이 자신을 조종(manipulating)하고 있다는 의미로 잘못 해석하기도 했다. 다양한 사용자 경험 설계가 콘텐츠 정보공개에 대한 사용자의 해석에 어떤 영향을 미치는지에 대한 연구가 진행되고 있지만, 그러한 연구의 대부분은 빅테크 기업에서 진행되고 있으며 선거와 같은 특정 상황에 초점이 맞춰져 있다. 투명성 개선을 위한 효과적인 정책을 수립하려면 AI 생성 콘텐츠에 라벨을 붙이는 행위에만 집중하는 것이 아니라, 직접적인 정보공개와 사용자 경험의 효과성을 반드시 연구해야 한다.
6. AI 생성 콘텐츠에 워터마크를 삽입하는 것으로 ‘진짜’ 콘텐츠에 대한 신뢰가 떨어질 수 있을까?
아마 사회적으로 가장 평가하기 어려운 질문은 직접적인 정보공개가 정보에 대한 태도에 어떤 영향을 미칠지, 그리고 잠재적으로 ‘진짜’ 콘텐츠에 대한 신뢰를 떨어뜨릴지 여부일 것이다. AI 관련 조직과 소셜미디어 플랫폼들이 (오해의 소지가 있는 주장이나 유해한 내용에 대한 판단을 피하기 위한 제한적이지만 이해하기 쉬운 방법으로) 콘텐츠가 AI로 생성됐거나 수정됐다는 사실을 표시하기만 한다면, 이러한 조치는 우리의 온라인 콘텐츠 인식 방식에 어떤 영향을 줄까?
정보공개를 통해 미디어 리터러시(media literacy, 또는 ‘미디어 문해력’)를 함양하려는 시도에는 의미가 있다. 그러나 기술 기업 안팎의 정책팀에서 일하는 사람들은 모든 AI 생성 콘텐츠에 라벨을 붙이려는 성급한 행위가 ‘거짓말쟁이의 배당금(liar’s dividend)*’ 현상으로 이어질 수도 있다고 우려하고 있다. [*편집자 주: 자기에게 불리한 내용은 모두 ‘가짜 뉴스’라고 우기는 것]. 즉 ‘잠재적으로 모든 콘텐츠를 AI 생성 콘텐츠로 간주하면서, AI로 생성하지 않은 ‘진짜’ 콘텐츠에 대한 신뢰까지 약화되는 현상’이 발생할 수 있다는 것이다. 이러한 우려로 인해 위험성이 낮아 보이는 상황에서도 AI 활용 여부를 공개해야 하는지에 대한 논란이 있다(예: AI 기술을 사용하는 아이폰의 인물 사진 모드 또는 백악관 문서에 언급된 음성 비서(voice assistant) 등). 이 문제를 해결하려면 시간이 지남에 따라 사회가 정보에 대해 어떤 태도를 보이는지 측정하고 AI 개입 여부를 언제 공개하는 것이 합당한지 결정하기 위해 이 분야의 모두가 함께 노력해야 할 것이다. 무엇보다도, 우리가 진정으로 중요하게 생각하는 것, 즉 콘텐츠의 주장이 진실인지 거짓인지 대변하는 방법으로 콘텐츠 제작 방법을 단순히 설명하는 가시적 정보공개 방식(예: 콘텐츠가 AI로 생성 또는 편집됐다고 표시)이 가져올 수 있는 영향에 대해 평가해야 한다.
워터마크나 기타 공개 기술이 제기하는 문제에 무대책으로 일관하거나, 이를 투명성을 제한하는 것이라는 핑계로 삼아서는 안 된다. 오히려 그러한 문제들을 바탕으로 기업, 정책 입안자, 기타 관련자들이 함께 정의를 내리고 다양한 정보공개 방식에 수반되는 장단점을 어떻게 평가할지 결정해야 한다. 그래야만 생성형 AI 정책이 콘텐츠의 조작 여부와 사실을 구분하는 데 적절한 도움을 줄 수 있을 것이다.
클레어 레이보위츠(Claire Leibowicz)는 AI 파트너십(Partnership on AI)의 AI 및 미디어 무결성 프로그램 책임자이며, 옥스퍼드 대학교(University of Oxford)에서 AI 거버넌스와 합성 미디어를 연구하는 박사 과정 연구원이다.
