메타(Meta)의 인공지능(AI) 연구소가 오픈AI(OpenAI)의 대형언어모델 GPT-3와 동등한 수준의 놀라운 성능과 결점을 모두 갖고 있는 새로운 대형언어모델을 제작했다. 메타는 기술 대기업으로서는 전례 없는 행보로서 이 언어모델을 제작하고 학습시킨 과정에 관한 자세한 자료와 함께 이번 언어모델을 연구자들에게 무료로 공개하기로 했다.

메타 AI의 책임자이자 오랫동안 기술 개발과 관련한 투명성을 옹호해온 조엘 피노(Joelle Pineau)는 “우리는 타인의 연구를 자세히 검토하는 것 역시 연구에서 중요한 부분이라고 생각한다. 우리는 그런 생각을 가진 연구자들의 협력을 원하고 있다”고 밝혔다.

메타의 이번 결정은 완전히 학습을 마친 대형언어모델을 모든 연구자가 이용할 수 있도록 공개한 첫 번째 사례가 되었다. 이번 소식은 특히 대형언어모델 같은 강력한 기술이 밀실에서 소규모 팀에 의해 제작되고 있는 현재 방식을 우려하는 많은 이들에게 환영을 받았다.

언어모델이 개발되고 사용되는 방식을 자주 비판해온 워싱턴대학교의 전산 언어학자 에밀리 벤더(Emily M. Bender)는 “나는 이번 메타의 결정에 박수를 보낸다”고 평했다.

전 세계 1,000명 이상의 자원봉사자들이 오픈소스 언어모델 개발을 위해 협력하고 있는 프로젝트 ‘빅사이언스(BigScience)’에서 나온 AI 스타트업 ‘허깅 페이스(Hugging Face)’의 수석과학자 토머스 울프(Thomas Wolf)도 이번 소식에 대해 “대단한 결정”이라며, “언어모델들이 더 많이 공개될수록 더 좋을 것”이라고 말했다.

텍스트를 생성하고 사람의 대화를 흉내 낼 수 있는 강력한 프로그램인 대형언어모델은 지난 몇 년 동안 AI 업계에서 가장 인기 있는 트렌드가 되었다. 그러나 대형언어모델은 학습 자료에 포함된 가짜 정보나 편견, 유해한 언어를 그대로 흉내 내는 심각한 결점을 가지고 있다.

이론적으로는 더 많은 사람들이 협력하면 그런 문제를 해결하는 데 도움이 될 수 있다. 그러나 언어모델을 개발하려면 학습을 위한 방대한 데이터와 연산 능력이 필요하기 때문에 지금까지 언어모델 개발 프로젝트는 자금이 풍부한 기술 기업들만 추진할 수 있는 일이었다. 따라서 언어모델의 잘못된 사용을 우려하는 윤리학자나 사회과학자 같은 더 넓은 연구 커뮤니티는 모든 상황을 외부에서 지켜볼 수밖에 없었다.

메타 AI 연구소는 이런 상황을 바꾸고 싶다고 말했다. 피노는 “우리도 기업에 소속되기 전에는 대부분 대학에 소속된 연구원이었기 때문에 이러한 모델을 구축할 수 있는 능력 면에서 대학과 산업계 사이에 존재하는 격차를 잘 알고 있다. 따라서 이번 언어모델을 연구자들에게 공개하는 것은 우리에게 쉬운 결정이었다”고 밝혔다. 그녀는 다른 연구원들이 메타의 언어모델을 분해해서 연구하거나 그 언어모델을 바탕으로 새로운 것을 만들어내기를 바란다. 그녀는 더 많은 사람이 참여할수록 돌파구도 더 빨리 발견될 것이라고 생각한다.

메타는 ‘OPT(Open Pretrained Transformer)’라는 명칭의 이번 언어모델을 비상업적인 용도로 이용할 수 있도록 공개했다. 또한 언어모델의 학습 과정을 문서화한 로그북(logbook)과 코드도 함께 공개했다. 로그북에는 학습 데이터에 관한 연구팀원들의 일일 업데이트 내용이 담겨있다. 예를 들어 데이터가 모델에 어떻게 추가됐는지, 언제, 무엇이 작동했고 무엇이 작동하지 않았는지 등에 관한 기록이다. 100페이지가 넘는 로그북 안에 연구원들은 2021년 10월부터 2022년 1월까지 3개월 동안 언어모델을 계속 가동하면서 겪은 모든 버그, 고장, 재시동 상황을 기록했다.

OPT는 1,750억 개의 파라미터를 가진 GPT-3와 같은 규모의 언어모델이다. 피노는 GPT-3와 같은 규모로 언어모델을 제작한 것이 의도적이었다고 설명했다. 연구팀은 언어 과제에 관한 정확도와 결점 관련한 부분에서 GPT-3에 필적하는 언어모델을 제작하기 위해 OPT를 만들었다. 오픈AI는 유료로 GPT-3를 이용할 수 있게 했지만 언어모델 자체나 코드를 공유하지는 않았다. 피노는 OPT를 이용해 연구원들에게 GPT-3와 비슷한 언어모델을 연구할 기회를 주고 싶었다고 밝혔다.

오픈AI는 메타의 발표와 관련한 코멘트 요청을 거절했다.

자체 검색용 제품에서 대형언어모델 사용을 검토하고 있는 구글(Google) 역시 투명성 부족 문제로 비판받아왔다. 구글은 2020년에 언어모델의 문제점을 지적한 연구 결과를 발표했던 AI 윤리팀의 주요 팀원들을 해고한 일로 논란을 불러일으키기도 했다.

문화적 충돌

그렇다면 메타는 어째서 이런 결정을 내렸을까? 메타는 페이스북과 인스타그램을 구성하는 알고리즘에 관해 말을 아끼고 있으며, 회사 내부 연구팀이 발견한 회사에 불리한 연구 결과를 덮어버린 것으로 악명이 높은 회사이다. 메타 AI 연구소가 이번에 기존의 메타와 다른 모습을 보인 큰 이유는 ‘피노’의 존재일 것이다. 그녀는 오랫동안 AI 분야의 투명성을 향상시키기 위해 노력해왔다.

피노는 연구원들이 연구 결과를 제출할 때 연구 결과에 관한 코드와 자세한 내용을 포함한 체크리스트를 함께 제출하는 방안을 도입해 몇몇 대형 컨퍼런스에서 연구를 발표하는 방식을 바꾸는 데 도움을 주기도 했다. 2017년에 당시 아직 페이스북이었던 메타에 입사한 이후로 피노는 메타의 AI 연구소에서도 연구에 관한 투명성을 옹호해왔다.

그녀는 “내가 이곳에 있는 이유는 ’열린 과학’에 헌신하기 위함”이라고 밝혔다.

궁극적으로 피노는 우리가 AI를 판단하는 방식을 바꾸고자 한다. 그녀는 “지금처럼 성능만 보고 무언가를 최첨단이라고 불러서는 안 된다. 무언가가 최첨단인지 판단할 때는 책임감도 함께 고려해야 한다”고 말했다.

그렇다고 해도 대형언어모델을 연구자들에게 공개하는 것은 메타의 입장에서 대담한 행보이다. 피노는 “나는 이 언어모델이 우리가 자랑스러워할 수 없는 텍스트를 생성하지 않을 것이라고는 말할 수 없다”며, “아마도 그런 텍스트를 생성할 것”이라고 말했다.

위험성 평가

2020년에 구글에서 강제로 해고된 AI 윤리팀의 연구원이자 지금은 허깅 페이스에 소속된 마거릿 미첼(Margaret Mitchell)은 OPT 공개를 긍정적인 결정으로 보고 있다. 그러나 그녀는 투명성에 한계가 있다고 생각한다. 미첼은 이런 질문을 던졌다. 그 언어모델이 엄격하게 테스트되었는가? 언어모델을 통해 예상되는 이익이 가짜 정보나 인종차별적 또는 여성혐오적 언어 생성 등 예상되는 문제점을 넘어서는가?

그녀는 “대형언어모델을 세상에 공개해서 더 많은 사람들이 사용하고 그 결과에 영향을 받을 수 있는 상황을 만들려면 책임이 동반되어야 한다”고 말했다. 미첼은 이 언어모델이 해로운 콘텐츠를 직접 생성할 수 있을 뿐만 아니라 연구원들이 그 위에 구축할 후속 시스템들이 해로운 콘텐츠를 생성될 가능성도 있다고 강조했다.

메타 AI는 OPT를 검사해서 문제가 되는 일부 행동을 제거했지만, 피노는 연구원들이 언어모델의 결점을 비롯해서 모든 것을 배울 수 있도록 하는 것이 이번 언어모델 공개의 목적이라고 설명했다.

그녀는 “언어모델을 공개하는 것이 평판 면에서도 유해성 면에서도 위험성이 있다는 점을 인지하고 있었기 때문에 우리는 우리가 안심할 수 있는 방식으로 언어모델을 공개할 방법에 관해 많은 대화를 나눴다”고 말했다. 피노는 너무 위험하기 때문에 언어모델을 공개하지 않아야 한다는 생각은 고려할 가치가 없다고 여긴다. 오픈AI가 GPT-3의 이전 모델인 GPT-2를 그런 이유로 공개하지 않았다. 피노는 “나는 이런 언어모델들의 약점을 이해하지만 그것을 피하는 것은 연구자의 마음가짐이 아니다”라고 말했다.

미첼을 구글에서 해고당하게 했던 연구의 공동 저자인 벤더 또한 잠재적인 위험성이 어떻게 해결될 수 있을지에 관해 우려하고 있다. 벤더는 “모든 머신러닝 기술의 위험성을 줄이는 데 핵심이 되는 것은 특정 사용 사례에 관한 평가와 연구를 진행하는 것”이라며, “이 시스템이 무엇을 위해 사용될 것인가? 누가 사용할 것인가? 시스템의 결과가 그들에게 어떻게 제시될 것인가?”라는 질문을 제시했다.

일부 연구원들은 대형언어모델에 잠재적인 위험성이 있는데도 대형언어모델을 계속 제작하는 이유에 의문을 제기한다. 피노는 위험성 해결하려면 언어모델을 더 많이 노출해야 한다고 생각한다. 그녀는 “나는 극단적인 투명성이야말로 신뢰를 쌓을 유일한 방법이라고 생각한다”고 밝혔다.

피노는 “전 세계가 ‘적절한 발언’의 정의에 관해 다른 의견을 가지고 있고 AI도 그런 대화의 일부”라고 말했다. 그녀는 언어모델이 모두가 동의하는 말을 하게 되리라고 기대하지 않는다. 그녀는 이렇게 덧붙였다. “우리가 이 문제를 어떻게 해결할 수 있을까? 해결을 위해서는 우리에게 이 논의에 대한 많은 의견이 필요하다.”