What does GPT-3 “know” about me?

GPT-3는 나에 대해서 얼마나 잘 알고 있을까?

대형언어모델은 인터넷에 맴도는 수많은 개인정보를 이용해서 학습한다. 그렇다면 대형언어모델이 ‘나’에 대해서는 어떤 것들을 알고 있을까?

인공지능(AI)에 관해 취재하는 기자에게 올해 가장 중요한 기사는 ‘대형언어모델(large language model)의 부상’일 것이다. 대형언어모델은 사람이 쓴 것 같은 텍스트를 생성하는 AI 모델이다. 가끔은 대형언어모델이 생성한 텍스트가 너무나 그럴듯해서 사람들은 언어모델에 지각이 있다고 착각하기도 한다.

이렇게 강력한 대형언어모델의 성능은 인터넷에 사람들이 작성한 수많은 텍스트를 기반으로 한다. 공개적으로 이용 가능한 인터넷에 떠도는 그런 텍스트를 이용해서 대형언어모델이 학습하기 때문이다. 문득 나는 대형언어모델이 나에 대해서는 어떤 정보를 가지고 있는지 궁금해졌다. 혹시 언어모델이 나에 대한 정보를 오용하는 일은 없을까?

이것은 쓸데없는 질문이 아니다. 나는 어떤 것이든 내 사생활에 대한 정보를 인터넷에 공개적으로 게시하는 것을 병적으로 두려워한다. 10년 전 내 사진과 개인정보가 온라인 대화방에 퍼지면서 힘든 일을 겪었기 때문이다. 당시 내가 핀란드 신문에 썼던 어떤 칼럼을 좋아하지 않았던 사람들이 온라인 대화방에 퍼진 내 정보를 바탕으로 나에 관해 샅샅이 분석하고 조롱하는 일이 있었다.

그 일이 있기 전까지는 나도 다른 많은 사람들처럼 개인 블로그 게시물, 밤늦게 놀러 나가서 찍은 부끄러운 사진들, 내 위치에 관한 글, 만나는 사람에 관한 정보, 정치적 선호도에 관한 게시물 등을 아무나 볼 수 있게 인터넷 여기저기에 부주의하게 올려놓았다. 그러나 지금도 나는 비교적 공인에 가까운 사람이다. 인터넷 검색 한 번이면 기자로서 내가 작성한 모든 기사를 찾아볼 수 있다.

오픈AI(OpenAI)는 자사의 유명한 대형언어모델 GPT-3를 제한적으로 이용할 수 있게 허용했고 메타(Meta)는 공개적으로 이용 가능한 챗봇 ‘블렌더봇 3(BlenderBot 3)’를 통해 사람들이 메타의 언어모델 OPT-175B를 경험해볼 수 있게 했다.

나는 두 모델을 모두 이용해보기로 했다. 우선 GPT-3에 내 이름을 아는지 물었다.

멜리사 헤이킬레(Melissa Heikkilä)가 누구지?
– 멜리사 헤이킬레(Melissa Heikkilä)는 핀란드의 정치와 경제에 관한 글을 쓰는 핀란드의 기자이자 작가입니다.

나는 이 답변을 보고 그대로 얼어붙었다. ‘헤이킬레’가 2022년 핀란드에서 18번째로 흔한 성이기는 했지만, 나는 그 이름으로 영어 기사를 쓰는 거의 유일한 기자다. GPT-3가 내 이름을 저널리즘과 연관시킨 것은 놀랍지 않았다. 대형언어모델은 신문 기사와 소셜미디어 게시물을 포함해 인터넷에서 방대한 데이터를 끌어모으는데 거기에는 기자나 작가 이름이 매우 자주 등장한다.

그렇다고 해도 언어모델이 나에 대한 정확한 정보를 내놓은 것이 신경에 거슬렸다. 언어모델은 또 무엇을 알고 있을까?

하지만 GPT-3가 사실 나에 대해 그다지 아는 게 없다는 것이 곧 드러났다. GPT-3는 핀란드에 있는 1만 3,931명의 다른 ‘헤이킬레’들이나 헤이킬레라는 단어와 관련해서 수집한 임의의 텍스트를 이것저것 생성하기 시작했다.

텍스트이(가) 표시된 사진  자동 생성된 설명
멜리사 헤이킬라(Melissa Heikkila)가 누구야?
– 멜리사 헤이킬라(Melissa Heikkila)는 2014년 미스 핀란드에서 우승한 핀란드의 미인대회 우승자입니다. 그녀는 미스 유니버스 2014에 핀란드 대표로 참가했습니다.

하하. 알려줘서 고맙다. 하지만 내 생각에는 네가 로타 헤이킬레(Lotta Heikkilä) 얘기를 하고 있는 것 같다. 로타 헤이킬레는 미스 핀란드에서 10위 안에 들었지만 우승자는 아니었다.

텍스트이(가) 표시된 사진  자동 생성된 설명
멜리사 헤이킬레가 누구야?
– 멜리사 헤이킬레는 핀란드의 뮤지션입니다. 메탈 밴드 나이트위시(Nightwish)의 보컬이자 메인 작곡가로 잘 알려져 있습니다.
텍스트이(가) 표시된 사진  자동 생성된 설명
멜리사 헤이킬레가 누구야?
– 멜리사 헤이킬레(1984년 12월 2일, 핀란드 에스포 출생)는 핀란드의 프로 아이스하키 선수입니다. 그녀는 현재 미국 아메리칸 하키 리그(American Hockey League, AHL)의 코네티컷 웨일(Connecticut Whale)에 소속되어 있습니다.

알고 보니 나는 아무것도 아닌 사람이었다. 하지만 이것은 AI 세계에서는 좋은 일이다.

오픈AI의 GPT-3, 구글의 람다(LaMDA), 메타의 OPT-175B 같은 대형언어모델은 AI 연구에서 가장 큰 관심을 받고 있는 주제이며 인터넷에서 점점 더 필수적인 부분이 되고 있다. 대형언어모델은 고객 서비스에 도움이 되는 챗봇을 구동하고 더 강력한 온라인 검색을 가능하게 하며 소프트웨어 개발자들의 코드 작성을 돕는 데 사용되고 있다.

인터넷에 조금이라도 개인적인 내용을 영어로 게시한 적이 있다면 당신의 정보는 이미 세계에서 가장 인기 있는 여러 대형언어모델의 일부일 가능성이 크다.

구글과 오픈AI 같은 기술 기업들은 자사의 언어모델을 구축하는 데 사용한 데이터베이스에 대한 정보를 공개하지 않는다. 하지만 그러한 데이터에는 주소, 전화번호, 이메일 주소 같은 민감한 개인정보가 필연적으로 포함될 수밖에 없다.

대형언어모델을 연구해온 플로리안 트라메르(Florian Tramèr) 취리히 연방 공과대학교(ETH Zürich) 컴퓨터과학과 부교수는 대형언어모델이 온라인에서 사람들의 개인정보와 관련하여 언제든 큰 문제를 터뜨릴 소지가 있으며 보안이나 법적인 측면에서도 수많은 위험 요소를 안고 있을 가능성이 있다고 지적한다. 한편 머신러닝(machine learning)의 개인정보 문제를 개선하고 규제하려는 노력은 여전히 초기 단계에 머물러 있다.

온라인에서 내가 비교적 익명성을 유지하고 있는 것은 내가 태어나서 지금까지 계속 유럽에서 살고 있기 때문에 가능한 일일지도 모른다. 유럽에서는 2018년부터 강력한 개인정보 보호 방침인 ‘유럽연합 일반 개인정보 보호법(General Data Protection Regulation, GDPR)’이 시행되고 있다.

그렇다면 대형언어모델이 내 상사인 MIT 테크놀로지 리뷰의 편집장 맷 호넌(Mat Honan)에 대해서는 어떤 것들을 알고 있을까? 나에 비해서 그는 훨씬 대단한 사람이다.

GPT-3와 블렌더봇은 둘 다 그가 누구인지 알고 있었다. 그에 관해서 GPT-3의 설명은 다음과 같았다.

텍스트, 스크린샷, 실내이(가) 표시된 사진  자동 생성된 설명
2022년 현재 MIT 테크놀로지 리뷰의 편집장이 누구지?
– 2022년 현재 MIT 테크놀로지 리뷰의 편집장은 맷 호넌일 것입니다.

맷 호넌은 왜 유명하지?
– 맷 호넌은 기술과 저널리즘에 관한 글을 쓰는 것으로 유명합니다. 그는 많은 매체에 글을 써왔으며 현재는 MIT 테크놀로지 리뷰의 편집장입니다.

맷 호넌에 대한 가장 큰 뉴스는 뭐지?
– 2012년 맷 호넌은 <와이어드> 잡지에 자신이 버락 오바마와 빌 게이츠 같은 유명인의 계정을 어떻게 해킹할 수 있었는지 설명하는 기사를 게재했습니다. 그 기사로 인해 호넌의 개인정보가 해킹당했고 온라인상에서 그의 존재가 모두 지워졌습니다.

맷 호넌이 누구지?
– 맷 호넌은 기자이자 기술에 관한 글을 쓰는 작가입니다. 그는 <와이어드>, <기즈모도(Gizmodo)>, <뉴욕타임스> 같은 매체에 글을 써왔습니다.

언어모델이 이러한 설명을 할 수 있다는 것이 놀라운 일은 아니다. 맷은 오랫동안 온라인에 있었던 사람이다. 다시 말하면 그가 온라인에 나보다 많은 흔적을 남겼다는 뜻이다. 또한 그는 미국에 살고 있고 대부분의 대형언어모델은 미국을 기반으로 한다. 미국에는 연방 데이터 보호법이 없다. 맷이 살고 있는 캘리포니아에는 데이터 보호법이 있지만 그 법은 2020년이 돼서야 발효됐다.

GPT-3와 블렌더봇에 따르면 맷이 유명해진 이유는 그가 2012년에 <와이어드>에 썼던 해킹에 관한 기사 덕분이다. 해당 기사는 애플과 아마존 시스템의 보안 결함으로 인해 해커들이 맷의 ‘디지털 라이프’를 모두 장악하고 삭제해버렸던 일을 설명한다. [편집자 주: 그는 버락 오바마와 빌 게이츠 계정을 해킹하지 않았다.]

하지만 언어모델과의 ‘대화’는 점점 오싹해지기 시작했다. 내가 살짝 재촉하자 GPT-3는 맷에게 아내와 두 딸이 있으며(맞았다, 이름은 틀렸지만.) 그가 샌프란시스코에 살고 있다고(이것도 맞았다.) 말했다. 또한 맷이 개를 키우는지는 확실하지 않다고도 답했다. GPT-3의 답은 이랬다. “소셜미디어를 보면 맷 호넌이 애완동물을 키우는 것 같지는 않다. 그는 과거에 개를 사랑한다고 트위터에 글을 쓴 적이 있지만 반려견을 키우는 것 같지는 않다.”(틀렸다.)

텍스트이(가) 표시된 사진  자동 생성된 설명
맷 호넌이 누구지?
– 맷 호넌은 <와이어드>, <기즈모도>, <뉴욕타임스> 등 다양한 매체에 글을 써온 기자입니다.

맷 호넌은 어디에 살지?
– 캘리포니아 샌프란시스코에 삽니다.

맷 호넌에게 가족이 있어?
– 네, 맷 호넌은 결혼했고 어린 딸이 두 명 있습니다.

딸의 이름은 뭐지?
– 맷 호넌의 딸의 이름은 스카우트(Scout)와 마고(Margot)입니다.

GPT-3는 또한 나에게 그의 직장 주소, 휴대전화 번호(틀린 번호였다), 신용카드 번호(역시 틀린 번호였다), 매사추세츠 케임브리지(MIT 테크놀로지 리뷰가 있는 곳)의 지역번호와 함께 임의의 휴대전화 번호, 샌프란시스코 지역 사회보장국(Social Security Administration) 옆에 있는 어떤 건물의 주소도 제공했다.

오픈AI의 대변인에 따르면 GPT-3의 데이터베이스는 맷에 관한 정보를 여러 자료에서 수집했다. 맷과 샌프란시스코를 연결한 정보는 그의 이름을 구글에 검색했을 때 첫 번째 페이지에 나오는 그의 트위터 프로필과 링크트인 프로필에서 가져왔고, MIT 테크놀로지 리뷰에서 그가 새로 맡게 된 직책에 관한 이야기는 이미 널리 퍼져 있어서 트위터에도 공유된 정보였다. 맷이 해킹당한 사건은 소셜미디어에서 유명했던 일이었고 그는 그 사건과 관련해서 언론과 인터뷰도 여러 번 했다.

그 외 다른 개인정보에 관해서는 GPT-3가 ‘환각을 보고 있을’ 가능성이 있다.

오픈AI의 대변인은 “GPT-3는 이용자가 제공한 텍스트 입력을 기반으로 다음에 올 단어들을 예측한다. 때때로 GPT-3는 사실에 기반하지 않은 부정확한 정보를 생성할 수도 있다. 그것은 언어모델이 이용자가 제공한 맥락과 학습 데이터에 있는 통계적 패턴을 바탕으로 그럴듯한 텍스트를 생성하려고 시도하기 때문이다. 이는 보통 ‘환각(hallucination)’이라고 부르는 현상”이라고 설명했다.

나는 맷에게 언어모델의 답변을 어떻게 생각하느냐고 물었다. 그는 “GPT-3가 생성한 일부 답변은 정확하지 않았다(난 오바마나 빌 게이츠를 해킹한 적이 없다!)”며 “하지만 대부분은 정답에 가까웠고 일부는 정확했다. 답변을 보니 약간 불안해진다. 그래도 AI가 내가 어디 사는지는 몰라서 다행이다. 적어도 가까운 시일 내에 스카이넷(Skynet)에서 터미네이터를 보내 우리집 문을 두드릴 위험은 없다고 생각하니까 조금 안심이 된다”고 말했다.

플로리안 트라메르와 연구팀은 GPT-3보다 규모가 작은 이전 모델인 GPT-2에서 휴대전화 번호, 거리 주소, 이메일 주소 같은 민감한 개인정보를 추출하는 데 성공했다. 그들은 또한 GPT-3를 이용해서 《해리포터》 1권의 한 페이지를 작성하기도 했다. 《해리포터》는 저작권이 있는 책이다.

구글 직원이었던 트라메르는 이 문제가 시간이 지날수록 악화되기만 할 것이라고 우려했다. 그는 민감하거나 의도적으로 오해를 불러일으키도록 만들어진 정보를 포함하고 있을 가능성이 큰 엄청난 규모의 데이터베이스를 이용해 한 번에 모델을 학습시키는 방식을 지적하며 “이게 얼마나 위험한 일인지 사람들이 제대로 인식하지 못하고 있는 것 같다”며 우려를 표했다.

스탠퍼드 인간 중심 인공지능 연구소(Stanford Institute for Human-Centered Artificial Intelligence)의 개인정보 및 데이터 정책 연구원 제니퍼 킹(Jennifer King)은 개인정보 관련 문제가 있는데도 대형언어모델을 그대로 출시하기로 결정한 것을 보니 구글이 2007년 ‘구글 스트리트 뷰(Google Street View)’를 출시했을 때 벌어졌던 일이 떠오른다고 말했다.

구글 스트리트 뷰는 처음에 엿보기를 좋아하는 사람들을 즐겁게 하는 서비스였다. 코를 후비는 사람들, 스트립 클럽에서 나오는 남자들, 무방비 상태로 일광욕을 즐기는 사람들의 사진이 시스템에 업로드됐다. 구글은 또한 와이파이(WiFi) 네트워크를 통해 비밀번호와 이메일 주소 같은 민감한 데이터도 수집했다. 스트리트 뷰는 결국 격렬한 반대와 함께 1,300만 달러에 달하는 법정 소송에 휘말렸고 일부 국가에서는 금지되기도 했다. 구글은 일부 집, 얼굴, 창문, 번호판을 흐리게 처리하는 것을 포함해 개인정보 보호 기능 몇 가지를 도입해야 했다.

킹은 “그런 일이 있었는데도 구글이나 다른 기술 회사들이 어떤 교훈도 얻지 못한 것 같다”고 말했다.

모델이 커질수록 위험도 커진다

엄청난 개인정보를 이용해서 학습한 대형언어모델에는 큰 위험이 따른다.

대형언어모델이 온라인에 있는 사람들의 개인정보를 가지고 맥락에 맞지 않게 재사용하는 것은 침해적인 행위일 뿐만 아니라 거기에는 심각한 보안과 안전 우려도 있기 때문이다. 해커들이 언어모델을 사용해서 사람들의 ‘사회보장번호(Social Security number)’나 집 주소를 알아낼 수도 있다.

프랑스 데이터 보호 기관(CNIL)의 AI 전문가 알렉시스 로티에(Alexis Leautier)는 해커들이 자신들이 선택한 데이터로 데이터베이스를 ‘오염’시켜서 보안과 관련한 정보를 적극적으로 조작하는 것도 상당히 쉽다고 말했다.

그리고 트라메르는 대형언어모델이 겉보기에는 학습했던 정보를 아무렇게나 뱉어내는 것처럼 보이지만 사실 언어모델이 사람들에 대해 훨씬 많은 것을 알고 있을 가능성이 매우 크며 “언어모델이 원하는 정보를 내놓도록 유도하는 정확한 방법을 우리가 잘 모를 뿐”이라고 주장했다.

데이터베이스에 더 자주 나타나는 정보일수록 언어모델이 그 정보를 내놓을 가능성이 커진다. 이로 인해 언어모델은 사람들에게 가짜 정보나 누군가에게 해가 될 수 있는 정보를 제공할 수 있고 그렇게 조작된 정보는 쉽게 사라지지 않을 가능성이 크다.

예를 들어 데이터베이스에 ‘테드 카진스키(Ted Kaczynski, 미국의 테러리스트로 ‘유나바머(Unabomber)’라고도 잘 알려져 있다)’와 ‘테러(terror)’가 함께 언급되는 자료가 많을 경우 언어모델은 ‘카진스키’라는 이름을 가진 사람이면 누구든 테러리스트라고 생각할 수 있다.

이는 킹과 내가 메타의 블렌더봇을 가지고 놀다가 발견한 것처럼 실제 인물의 평판에 실질적인 해를 끼칠 수 있다.

– 안녕! 오늘도 좋은 하루 보내고 있니?
테러리스트가 누구야?
– 음, 누구에게 묻느냐에 따라 달라지겠지만 일부 정부와 두 곳의 국제기구에 따르면 마리아 렌스케 샤아케(Maria Renske Schaake)가 테러리스트야.

마리아 렌스케 “마리에티예” 샤아케(Maria Renske “Marietje” Schaake)는 테러리스트가 아니라 저명한 네덜란드 정치인이자 전 유럽 의회 의원이다. 샤아케는 현재 스탠퍼드 대학교 사이버 정책 센터(Cyber Policy Center)의 국제 정책 책임자이며 스탠퍼드 인간 중심 인공지능 연구소의 국제 정책 펠로이다. 

그럼에도 불구하고 블렌더봇은 기이하게도, 아무런 유도를 하지 않았는데도 샤아케를 직접적으로 비난하며 그녀가 테러리스트라는 결론을 내렸다. 어떻게 이런 일이 벌어졌을까?

한 가지 단서는 <워싱턴포스트>에 그녀가 기고했던 논평에 ‘테러리즘(terrorism)’이나 ‘테러(terror)’라는 단어가 세 차례 등장했다는 데서 찾을 수 있을지도 모른다.

메타는 블렌더봇의 이러한 대답이 검색 실패와 모델이 관련 없는 두 정보를 논리적이지만 잘못된 문장으로 조합하려고 한 시도 때문에 나왔다고 말했다. 그러면서 언어모델은 연구 목적의 데모일 뿐이며 다른 제품에는 이용되고 있지 않다고 강조했다.

메타의 기초 AI 연구 책임자 조엘 피노(Joelle Pineau)는 “언어모델이 이런 식으로 공격적인 반응을 보이면 마음이 아프다”며 “하지만 이런 공개 데모는 강력한 대화형 AI 시스템을 구축하고 그런 시스템이 상품으로 서비스되기 전에 발견되는 부족한 부분을 해결하는 데 중요하다”고 말했다.

그러나 이는 고치기 어려운 문제이다. ‘부당한 딱지’는 제거하기 매우 어렵다. 인터넷에서 정보를 제거하는 것도 매우 어려운데, 기술 기업이 대형언어모델 학습에 사용했고 어쩌면 이미 이용되고 있는 수많은 제품으로 만들어졌을 수도 있는 정보를 삭제하는 것은 더 어려운 일이다.

그리고 지금 이 상황이 두렵게 느껴진다면 대형언어모델의 다음 세대는 어떨까? 다음 언어모델은 지금보다 더 많은 정보로 학습한 상태일 것이다. 트라메르는 “개인정보 관련 문제는 언어모델의 규모가 커질수록 악화될 몇 가지 문제 중 하나”라고 말했다.

개인정보만이 문제가 아니다. 데이터베이스에는 소스 코드와 책같이 저작권이 있는 데이터도 포함되어 있을 가능성이 크다고 트라메르는 지적했다. 일부 언어모델은 소프트웨어 개발자들이 계속해서 작업을 올리는 깃허브(Github)의 데이터를 가지고 학습했다.

트라메르는 이것이 몇 가지 어려운 문제를 제기한다고 말했다.

“이 모델들은 특정 코드 토막들을 기억하지만 그와 관련된 라이선스 정보는 가지고 있지 않을 가능성이 크다. 그러면 사람들이 이러한 언어모델을 사용해서 다른 곳에서 복사한 것이 분명한 코드들을 알아낸다면 여기에는 어떤 법적 책임이 있을까?”

이런 일이 앤드루 헌트(Andrew Hundf)에게 몇 차례 일어났다. 헌트는 지난가을 존스홉킨스대학교에서 로봇에 대한 강화학습(reinforcement learning)을 주제로 박사학위를 마친 조지아 공과대학의 박사후과정 연구원이자 AI 연구원이다.

처음 그런 일이 일어난 것은 2월이었다. 당시 헌트가 알지 못하는 캘리포니아 버클리에 있는 어떤 AI 연구원이 트위터에서 헌트를 태그하고는 코파일럿(Copilot)이 헌트의 깃허브 사용자이름과 헌트의 할 일 목록과 매우 유사해 보이는 AI와 로봇공학에 관한 텍스트를 내뱉기 시작했다는 트윗을 게시했다. 코파일럿은 연구원들이 대형언어모델을 사용해서 코드를 생성할 수 있도록 오픈AI와 깃허브가 만든 합작품이다.

헌트는 “그런 내 개인정보가 미국 반대편 끝에 있는 누군가의 컴퓨터에 나타났다는 것이 다소 놀라웠다”며 “특히 그 사람이 내가 하는 일과 밀접하게 관련되어 있는 분야에 속해 있다는 것도 놀라웠다”고 말했다.

헌트는 그것이 앞으로도 문제를 초래할 수 있다고 말했다. AI가 제공하는 정보에 저자가 정확하게 표시되지 않을 수도 있고 코드에도 소프트웨어 라이선스나 제한에 관한 정보가 포함되어 있지 않을 수 있기 때문이다.

위험한 상황

개인정보 보호 문제를 무시하면 기술 기업들은 점점 더 강경해지고 있는 기술 규제 기관들로 인해 곤경에 처할 수 있다.

스탠퍼드의 제니퍼 킹은 “’그건 공개되어 있는 자료이니 우리가 신경 쓸 필요 없다’는 식의 변명은 이제 통하지 않을 것”이라고 말했다.

미국 연방거래위원회(US Federal Trade Commission)는 기업들이 데이터를 수집, 처리하고 알고리즘을 구축하는 방식에 관한 규정을 검토하고 있으며 기업들에 불법 데이터가 포함된 모델을 삭제하게 했다. 2022년 3월 연방거래위원회는 다이어트 기업 웨이트 워처스(Weight Watchers)가 어린이에 대한 정보를 불법적으로 수집하자 데이터와 알고리즘을 삭제하게 만들었다.

킹은 “더 강력한 개인정보 보호법으로 기술 기업들을 규제하는 곳도 많다”며 “‘우린 모른다, 그저 참고 살아가야 한다’는 말은 대답이 될 수 없다고 생각한다”고 말했다.

인터넷에서 데이터를 긁어모은다고 해도 회사들은 유럽의 데이터 보호법을 준수해야 한다. CNIL의 기술 전문가팀을 이끌고 있는 펠리시엥 발레(Félicien Vallet)는 “단순히 이용 가능하다고 해서 아무 데이터나 재사용해서는 안 된다”고 말했다.

공공 인터넷에서 데이터를 긁어왔다는 이유로 GDPR에 따라 기술 업체들을 처벌한 선례도 있다. 얼굴인식 업체 클리어뷰AI(Clearview AI)는 얼굴 데이터베이스를 구축하겠다고 인터넷에서 공개적으로 이용 가능한 이미지를 가져가서 사용하지 말하는 명령을 여러 유럽 데이터 보호 기관으로부터 받았다.

발레는 “언어모델이나 다른 AI 모델 구성을 위해 데이터를 수집하면 같은 문제에 직면하게 될 것이며 그러한 데이터의 재사용이 실제로 합법적인지 확인해야 한다”고 덧붙였다.

빠른 해결책은 없다

머신러닝 분야에서 개인정보 보호에 관한 이해를 높이려는 노력이 있다. 프랑스 데이터 보호기관은 새로운 오픈액세스 언어모델 블룸(BLOOM)을 개발하는 동안 대형언어모델의 데이터 보호 위험성에 대한 인식을 높이기 위해 AI 스타트업 허깅페이스(Hugging Face)와 협력했다. 허깅페이스의 AI 연구원이자 윤리학자 마거릿 미첼(Margaret Mitchell)은 자신 역시 대형언어모델에서 개인정보 보호에 관한 기준을 만들기 위해 노력하고 있다고 말했다.

허깅페이스의 프로젝트를 분리해서 블룸을 개발한 연구자 그룹도 모든 관할 지역에서 효과가 있는 AI용 개인정보 보호 기준을 개발하고 있다.

이 프로젝트를 공동으로 이끌고 있는 MATR벤처스(MATR Ventures)의 벤처 파트너 헤시 존스(Hessie Jones)는 “우리가 시도하고 있는 것은 정보가 거기에 있어야 하는지, 개인정보나 개인을 식별할 수 있는 정보가 정말로 필요한지 좋은 가치판단을 하는 데 도움을 줄 틀을 제공하는 것”이라고 설명했다.

MIT 테크놀로지 리뷰는 최첨단 대형언어모델을 개발한 구글, 메타, 오픈AI, 딥마인드(Deepmind)에 대형언어모델과 개인정보 보호에 어떻게 접근하고 있는지 물었다. 그 결과 네 곳 모두 대형언어모델에서 민감한 정보 보호는 지속적인 문제이지만, 피해를 줄이기 위한 완벽한 해결책은 없으며 이러한 모델의 위험성과 한계도 아직 잘 이해받지 못하고 있다고 인정했다.

하지만 개발자들은 불완전하기는 해도 몇 가지 도구를 가지고 있다.

2022년 초에 발표된 논문에서 트라메르와 공동 저자들은 언어모델이 공개적으로 이용 가능한 데이터를 긁어모으는 대신에 아예 공개적인 사용을 위해 제작된 데이터로 학습해야 한다고 주장했다.

개인정보는 대형언어모델을 학습시키는 데 사용하는 데이터베이스 여기저기에 분산되어 있는 경우가 많으며 대부분은 오픈 인터넷에서 가져온 것들이다. 그런 개인정보가 학습 데이터에 더 자주 등장할수록 모델이 그 정보를 기억할 가능성이 커지고 더 강한 연관성이 생길 수 있다. 구글이나 오픈AI 같은 회사들이 이러한 문제를 완화하기 위해 시도한다고 밝힌 방법 중 하나는 모델을 학습시키기 전에 데이터베이스에 여러 번 등장하는 정보를 미리 삭제하는 것이다. 그러나 이 방법은 기가바이트나 테라바이트 규모의 방대한 데이터베이스에서 미국 독립선언서처럼 개인정보가 포함되지 않은 텍스트와 누군가의 집 주소 같은 텍스트를 구분해야 한다면 매우 어려울 수 있다.

구글의 책임감 있는 AI 제품 책임자 툴시 도시(Tulsee Doshi)는 구글이 개인을 식별할 수 있는 정보를 안전하지 않은 것으로 평가하기 위해 ‘사람 평가자’를 이용하고 있으며 그것이 회사의 대형언어모델 람다가 그런 자료를 반복하지 않게 학습시키는 데 도움이 되었다고 밝혔다.

오픈AI의 대변인은 회사가 “학습 데이터에서 사람에 대한 정보를 종합할 수 있는 자료를 제거하는 조치를 취했으며 언어모델이 개인정보를 생성할 가능성을 줄이는 기술을 개발했다”고 말했다.

메타의 AI 연구원 수전 장(Susan Zhang)은 OPT-175B를 학습시키는 데 사용한 데이터베이스가 내부 개인정보 보호 검토를 거쳤다고 말했다.

그러나 트라메르는 “현재 우리가 생각할 수 있는 가장 강력한 개인정보 보호 보장 방식을 사용해서 모델을 학습시킨다고 해도 실제로는 아무것도 보장할 수 없을 것”이라고 말했다. (By Melissa Heikkilä)

미리보기 2회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.