‘챗GPT(ChatGPT)’의 인기가 최고조에 달했다. 2022년 12월 미국 샌프란시스코에 본사를 둔 오픈AI(OpenAI)가 웹 앱(web app) 형태로 출시한 챗GPT는 거의 하룻밤 사이에 대세로 급부상했다. 출시 두 달 만인 2023년 1월에 사용자 1억 명을 돌파한 챗GPT[편집자 주: 현재 2억 명 돌파]를 두고, 일각에서는 이를 역대 가장 빠르게 성장한 인터넷 서비스로 평가하고 있다. 마이크로소프트는 오픈AI와 100억 달러(약 12조 7,050억 원) 규모의 계약을 맺고 오피스(Office)와 검색엔진 빙(Bing)에 챗GPT를 탑재하기로 하였다. 검색 분야에서 새로운 경쟁 상대를 마주하게 된 구글은 촉각을 곤두세우고 자체 챗봇인 ‘람다(LaMDA)’의 출시에 박차를 가하고 있다. 심지어 필자가 들어가 있는 메신저 그룹 채팅방들도 온통 챗GPT 이야기로 가득하다.

하지만 오픈AI의 성공은 하루아침에 찾아오지 않았다. 현시점에서 챗GPT는 수년에 걸쳐 발전해온 대형 언어모델 가운데 가장 정교하게 다듬어진 최신 버전이다. 챗GPT 탄생까지의 궤적을 살펴보자.

1980~1990년대

순환신경

챗GPT는 오픈AI에서 개발한 대형 언어모델인 GPT-3의 한 버전이다. 여기서 언어모델이란 방대한 텍스트의 학습을 거친 신경망의 일종을 말한다. (신경망은 동물 뇌의 뉴런이 서로 신호를 주고받는 방식에서 착안하여 개발된 소프트웨어이다.) 이러한 텍스트는 문자와 단어의 구성에 따라 길이가 다양하므로 언어모델에서는 여러 가지 텍스트 데이터를 이해할 수 있는 신경망이 필요하다. 1980년에 발명된 순환신경망(Recurrent neural networks)은 여러 단어들로 이루어진 시퀀스(sequence) 데이터를 처리할 수 있지만, 학습 속도가 느리고 시퀀스 내에서 먼저 입력된 데이터가 쉽게 소실된다는 단점이 있다.

1997년에 컴퓨터 과학자 세프 호흐라이터(Sepp Hochreiter)와 위르겐 슈미트후버(J rgen Schmidhuber)는 장단기 기억(Long Short-Term Memory, 이하 LSTM) 신경망을 발명하여 이 문제를 해결했다. 두 사람은 순환신경망에 특수 요소를 추가하여 먼저 입력된 데이터를 시퀀스에서 더 오래 보존할 수 있도록 하였다. LSTM 신경망은 수백 단어 길이의 텍스트 문자열을 처리할 수 있지만, 언어 능력에는 한계가 있었다.

2017년

트랜스포머

오늘날 널리 사용되는 대형 언어모델 세대를 뒷받침하는 혁신은 구글 연구진이 ‘트랜스포머(Transformer)’를 발명하면서 이루어졌다. 트랜스포머는 시퀀스에서 각 단어나 구가 나타나는 위치를 추적할 수 있는 신경망이다. 흔히 단어의 정확한 의미는 앞뒤에 위치한 다른 단어의 뜻에 따라 결정된다. 트랜스포머는 이러한 문맥 정보를 추적함으로써 긴 텍스트 문자열을 처리하고 단어의 더 정확한 의미를 찾아낸다. 예를 들어 ‘더운 개는 물을 충분히 주어야 한다(Hot dogs should be given plenty of water)’와 ‘핫도그는 머스타드와 함께 먹어야 한다(Hot dogs should be eaten with mustard)’라는 문장에서 ‘hot dog’라는 단어는 다르게 해석된다.

2018~2019년

GPT와 GPT-2

2020년

GPT-3

GPT-2도 인상적이었지만, 오픈AI의 후속작인 GPT-3는 말 그대로 사람들의 입이 떡 벌어지게 했다. 한층 더 발전한 GPT-3는 마치 사람처럼 문장을 구사할 수 있었다. GPT-3는 질문에 답하고, 문서를 요약하며, 다양한 형식으로 이야기를 지어낼 수 있을 뿐 아니라 영어, 프랑스어, 스페인어, 일본어 등을 번역할 수 있다. 소름이 돋을 정도의 모방 능력이었다.

그중에서도 가장 주목할 만한 점은 GPT-3의 발전이 새롭게 발명된 기술보다도 기존 기술의 대형화로 인한 것이었다는 점이다. GPT-2의 매개변수가 15억 개였던 것에 비해 GPT-3의 매개변수는 1,750억 개로 크게 늘었다. 매개변수란 언어모델이 학습 중에 신경망에서 조정되는 값으로, 보통 매개변수가 많으면 AI의 성능이 좋아진다. 또한 GPT-3는 훨씬 더 많은 양의 데이터를 기반으로 훈련되었다.

하지만 인터넷에서 수집한 텍스트로 AI를 훈련할 경우 새로운 문제가 발생한다. GPT-3는 온라인에서 얻은 갖가지 허위 정보와 편견을 받아들여 필요에 따라 이를 재생산하였다. 오픈AI는 “인터넷으로 학습시킨 모델은 인터넷 규모만큼이나 많은 편견을 가지고 있었다”고 인정했다.

2020년 12월

유해한 언어와 기타 문제들

오픈AI가 GPT-3의 편향성과 씨름하는 동안 기술 업계의 다른 한쪽에서는 인공지능의 유해성이 통제되지 않는 상황에 대한 거센 비난이 일었다. 대형 언어모델이 때로 틀린 말을 하거나 혐오성 발언을 하는 것은 공공연한 사실이다. 연구자들은 이 문제에 대한 빅테크 기업들의 책임 의식이 부재하다는 것을 알게 되었다. 구글 인공지능 윤리 팀의 공동 대표였던 팀닛 게브루(Timnit Gebru)가 (컴퓨팅 비용이 작지 않다는 문제를 포함하여) 대형 언어모델과 관련된 잠재적 위험성을 강조하는 논문을 공동으로 발표했을 때, 구글 고위 관리자들은 이를 달갑지 않게 여겼다. 2020년 12월 게브루는 구글에서 쫓겨났다.

2022년 1월

인스트럭트GPT

오픈AI는 GPT-3 모델이 잘못된 정보나 불쾌감을 유발하는 텍스트를 생성하지 않도록 강화학습(reinforcement learning)을 이용한 개선 방안을 모색했다. 이들은 GPT-3에 인간 평가단의 피드백을 반영하여 훈련시켰다. 그 결과 탄생한 인스트럭트GPT(InstructGPT)는 인공지능 업계 용어로 ‘정렬(alignment)’이라고 하는 기술에 걸맞게, 사용자의 지시를 더 잘 따랐다. 또한 인스트럭트GPT에서는 불쾌감을 주는 언어 혹은 잘못된 정보를 생성하거나, 실수를 저지르는 경우가 전반적으로 감소했다. 요컨대 인스트럭트GPT는 이용자가 요구하지 않는 한 나쁜 말을 하지 않는다.

2022년 5월~7월

OPT, 블룸

대형 언어모델을 둘러싼 흔한 비판 가운데에는 언어모델 학습에 막대한 비용이 들어 부유한 연구소가 아니라면 이를 구축하기 어렵다는 문제가 있다. 바람직한 인공지능 개발이 이루어지기 위해서는 AI 연구 커뮤니티의 적절한 교류와 감시가 필요하지만, 이는 적절한 조사와 AI 연구자 커뮤니티의 폭넓은 참여 없이 기업 내 소규모 팀이 비공개적으로도 강력한 언어모델을 개발할 수 있다는 우려를 제기한다. 이에 대응하여 몇몇 협업 프로젝트들은 대형 언어모델을 개발하고 기술을 연구하고 개선하고자 하는 모든 연구자들을 위해 이를 무료로 공개했다. 메타는 GPT-3를 개조한 언어모델 OPT를 만들어 이를 무료로 배포했다. 그리고 자연어처리 스타트업 하긴 페이스( Face)는 자원한 약 1,000명의 연구자로 구성된 컨소시엄을 이끌고 블룸(BLOOM)을 구축하여 공개했다.

2022년 12월

챗GPT

오픈AI마저도 챗GPT에 대한 사람들의 뜨거운 반응에 놀라워하고 있다. 온라인에 출시되기 전날 오픈AI 측에서 제공한 첫 번째 데모 버전에서 챗GPT는 인스트럭트GPT가 한 단계 진전된 모습이라고 소개되었다. 인스트럭트GPT와 마찬가지로 챗GPT는 사람 평가단으로부터 유창성, 정확성, 비공격 성과 같은 항목에 대한 평가를 받으며 강화학습을 진행하였다. 이를 통해 오픈AI는 GPT-3의 대화 성능을 극대화하였고, 이제 모든 사람이 챗GPT와의 대화를 즐길 수 있도록 이를 공개했다. 그리고 현재 수백만 명의 사람들이 이 게임을 즐기는 중이다.