How AI-generated text is poisoning the internet

AI가 쓴 글이 인터넷을 오염시키고 있다

AI 언어 모델들은 인터넷에 있는 글들을 수집하고 추출하여 문장을 만들어내지만, 이 과정에서 유해하고 악의적이거나 거짓된 정보들이 걸러지지 않은 채 그대로 포함되고 또 다른 문장을 만드는 데 재활용되면서 잘못되거나 질이 낮은 정보들이 끊임없이 확산된다.

2022년은 AI에게 다사다난한 해였다. 인터넷을 자주 사용하는 사람이라면 아마도 DALL-E 2나 스테이블 디퓨전(Stable Diffusion)과 같은 AI 시스템이 생성한 이미지나 오픈AI(OpenAI)의 대형 언어 모델 GPT-3의 최신 버전으로 여겨지는 챗GPT(ChatGPT)가 작성한 농담, 에세이 등의 글들을 마주친 경험이 있을 것이다.

어떤 경우에는 AI에 의해 생성된 그림이나 문장들을 분명히 알아볼 수 있다. 그러나 이러한 AI 모델들이 만들어내는 결과물이 인간이 만든 창작물로 오인되는 경우가 점차 늘어나고 있다. 특히 대형 언어 모델들은 확신에 찬 헛소리를 생산하는 기계들이다. 대형 언어 모델들은 사실처럼 보이지만 실제로는 거짓이 가득한 글들을 생성할 수 있다.

그저 사소한 장난에 불과하다면 별문제가 되지 않겠지만, AI 모델을 사용하여 검증되지 않은 건강 관련 조언을 제공하거나 다른 형태의 중요 정보를 제공한다면 심각한 피해가 발생할 수 있다. AI 시스템들을 이용하면 각종 잘못된 정보, 욕설 및 스팸을 만들어내는 일이 터무니없을 정도로 쉬워져 우리가 사용하는 정보와 현실감까지 왜곡할 수 있다. 대표적으로, 선거와 관련된 악의적인 사용이 크게 우려된다.

이렇게 쉽게 이용 가능한 대형 언어 모델들의 증가는 중요한 질문을 제기한다. 우리가 온라인에서 읽는 글을 사람이 작성했는지, 아니면 기계가 작성했는지 어떻게 구분할 수 있을까? 나는 최근 AI가 생성한 글들을 감지하기 위해 현재 사용할 수 있는 수단들에 대해 논의한 기사를 기고했다. 결론부터 말하면, 오늘날의 감지 수단들은 안타까울 정도로 챗GPT에 부적합하다.

하지만 AI 언어 모델들은 장기적으로 더욱 심각한 문제점을 낳을 수 있다. 우리는 실시간으로 헛소리들이 불어나는 상황을 목격하게 될지 모른다.

대형 언어 모델들은 사람들이 온라인에서 올려놓은 모든 유해하고, 어리석고, 악의적이고, 거짓된 글들을 포함하여, 인터넷에서 추출한 문장들로 만든 데이터 세트를 기반으로 훈련 받는다. 완성된 AI 모델들은 이러한 거짓 문장들을 사실처럼 다시 활용하고, 이 모델들이 만든 결과물들은 다시 온라인 구석구석까지 퍼져나간다. AI 모델을 만드는 기술 업체들은 다시 인터넷을 뒤져서 문장들을 추출해 낸다. 이 과정에서 더 신뢰도 높은 대형 모델들을 학습시키기 위해 AI가 생성한 문장들을 잔뜩 퍼 담게 된다. 인간은 이렇게 제작된 대형 모델들을 이용하여 훨씬 더 터무니없는 글들을 자동적으로 만들어 내고, 이 문장들이 또다시 학습을 위해서 수집되는 등 끝없는 악순환이 반복된다.

AI가 자신이 만든 결과물을 재활용하고 그 결과 더욱 오염된 결과물을 산출하는 문제는 이미지로도 확장된다. 킹스칼리지 런던(King’s College London)의 연구원 마이크 쿡(Mike Cook)은 필자의 동료 윌 더글러스 헤븐(Will Douglas Heaven)이 작성한 생성AI 모델(generative AI model)의 미래에 관한 최신 기사에서 “현재 인터넷은 AI가 만든 이미지들로 끊임없이 오염되고 있다”라고 말했다. 

“2022년에 우리가 만든 이미지들은 앞으로 만들어질 모델의 일부를 구성할 것이다.”

구글(Google)의 딥러닝 연구 부서 구글 브레인(Google Brain)의 선임 연구원 다프네 이폴리토(Daphne Ippolito)는 “미래에는 AI의 개입이 전혀 없는 양질의 학습 데이터를 찾기가 점점 더 어려워질 것”이라고 말한다. 미래의 AI 모델들에 편향과 거짓이 가득하지 않도록 하려면 인터넷에서 맹목적으로 문장들을 흡수하는 방법이 아닌 다른 대안을 찾아야 한다.

이폴리토는 “인터넷 전체에서 확보한 자료로 훈련해야 하는지, 아니면 우리가 원하는 언어 모델을 만들어낼 수 있는 양질의 데이터만 걸러낼 방법이 있는지를 고려해야 한다”라고 말한다.

우리의 우려처럼 사람들이 AI가 작성한 과학 논문이나 학술 기사를 제출하려고 하거나 AI를 사용하여 거짓 뉴스나 허위 정보를 만들어낸다면, AI가 생성한 글들을 감지할 수 있는 도구들을 만드는 작업이 꼭 필요하게 된다.

기술 도구들은 도움이 될 수 있지만, 인간도 더욱 분별력을 키워야 한다.

이폴리토는 AI가 생성한 문장에는 몇 가지 확실한 단서가 있다고 이야기한다. 인간은 완벽한 작가가 아니다. 우리가 쓴 문장에는 오타와 비속어가 자주 등장하며, 이러한 유형의 실수와 미묘한 뉘앙스를 찾아보면 인간이 작성한 글들을 쉽게 구분해 낼 수 있다. 이에 반해, 대형 언어 모델들은 문장에서 다음에 오게 될 단어를 예측하여 작동하며, 명확하지 않고 잘 사용되지 않는 단어들 대신 ‘the’, ‘it’, ‘is’처럼 일반적인 단어를 사용할 가능성이 높다. 또한 이 AI 모델들은 단어의 철자를 거의 틀리지 않는 대신, 잘못된 내용을 말하는 경우가 분명히 존재한다. 이폴리토는 사람들이 사실로 알려진 글 중에서 미묘하게 일관적이지 않은 부분이나 허위 정보를 찾아내야 한다고 주장한다.

좋은 소식: 이폴리토의 연구에 따르면 인간은 AI가 생성한 글들을 더 정확히 찾아내도록 스스로 훈련할 수 있다. 아직 우리 모두에게 희망의 불씨가 남아있을지 모른다.


관련 기사

AI가 만든 문장을 어떻게 알아차릴 수 있을까

인터넷에 AI 소프트웨어로 작성한 문장들이 넘쳐나고 있다. 이를 실제 사람이 쓴 문장과 구별할 수 있는 새로운 검출 수단이 필요하다.

기사 보기 →


룸바를 더 깊이 알아보자

로봇 청소기 룸바가 여성의 신체를 촬영했다

이 기사를 읽고 소름이 끼쳤다. 작년 초 필자의 동료 아일린 구오(Eileen Guo)는 제한된 소셜 미디어 그룹들에 게시된 로봇 청소기로 촬영한 사적인 사진의 스크린샷 15장을 입수했다. 이 중에는 누군가 화장실에 앉아 있는 이미지들도 포함되어 있었다.

  • 촬영 주체: 룸바(Roomba) 로봇 청소기의 개발업체인 아이로봇(iRobot)은 해당 이미지들이 고객들의 가정들에서 유출되지 않았으며, 계약에 따라 AI 훈련을 위해 동영상 등의 데이터 스트림을 아이로봇으로 다시 전송하는 “유급 수집가들과 직원들”에 의해 공개되었다고 말한다. 그러나 이 고객들이 특히 AI를 훈련하기 위해 이러한 이미지들을 확인하는 주체가 사람들이라는 사실을 알고 있었는지는 분명하지 않다.
  • 중요한 이유: 이 기사는 학습 알고리즘을 위해 민감한 데이터를 공유하는 관행이 늘고 있다는 점과 한 장의 이미지가 얼마나 멀리까지 확산될 수 있는지(이 경우에는 북미, 유럽 및 아시아의 가정들에서 촬영된 이미지들이 아이로봇이 위치한 매사추세츠의 서버를 거쳐 샌프란시스코에 있는 스케일 AI(Scale AI)로 이동했고, 최종적으로 스케일 AI와 계약을 체결한 전 세계 데이터 작업자들에게 전달됐다.)를 보여준다. 또한 문제의 이미지들은 데이터 공급망 전체와 대부분의 소비자가 전혀 인식하지도 못하는 새로운 개인정보 유출 가능 지점들을 드러낸다. 해당 기사는 여기에서 확인할 수 있다.

AI 관련한 단신 뉴스

샘 알트먼 인터뷰: 내가 DALL-E 2에서 배운 것

오픈 AI(OpenAI)의 창립자 샘 알트먼(Sam Altman)이 윌 더글러스 헤븐과의 인터뷰에서 DALLE-2가 큰 성공을 거둘 수 있었던 비결, 이러한 성공을 통해 알트먼이 얻은 교훈, 그리고 DALLE-2와 같은 모델들이 사회에 시사하는 점에 관해 이야기한다. (본지 기사) 

최신 버전 스테이블 디퓨전에서는 아티스트가 적용 제외 신청 가능

이 결정은 글-이미지 변환(text-to-image) AI 모델을 학습시키는 방법에 대해 아티스트들과 기술 기업들 간에 공개적으로 열띤 논쟁이 펼쳐진 데 이어 나온 결정이다. 예술가들은 스테이블 디퓨전(Stable Diffusion)이 출시된 이후 이 모델이 대가 지급이나 소유권 표기 없이 수많은 저작물을 포함하여 자신들의 이익을 갈취하고 있다고 주장하며 격렬히 반대해 왔다. (본지 기사

중국, 다양한 유형의 딥페이크에 대해 금지 조치

중국의 국가인터넷 정보 판공실(Chinese Cyberspace Administration)이 이미지에 포함된 사람의 허가 없이 생성되고 사회주의 가치에 반하거나 “불법 및 유해 정보”를 퍼뜨리는 딥페이크를 금지했다. (더레지스터(The Register)) 

인간의 챗봇 보완 작업은 어떻게 이루어질까?

더 가디언에 글을 기고하는 로라 프레스턴(Laura Preston)은 학창 시절 브렌다(Brenda)라는 부동산 AI 챗봇이 대본에서 벗어난 대화를 할 때 대화에 개입하는 특이한 작업에 참여했다. 그녀는 이 작업을 통해 고객이 챗봇의 오류를 눈치채지 못하도록 해야 했다. 이 기사는 오늘날 AI가 실제 상황에서 얼마나 큰 실수를 할 수 있는지, 그리고 지능적인 기계에 대한 환상을 유지하기 위해 얼마나 많은 인적 작업을 투입해야 하는지를 보여준다. (더가디언(The Guardian))

미리보기 2회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.