ChatGPT is OpenAI’s latest fix for GPT-3. It’s slick but still spews nonsense

‘챗GPT’는 여전히 ‘헛소리’를 토해낸다

오픈AI가 최근 발표한 대규모 언어모델 ‘챗GPT’는 여전히 거짓 정보를 생성한다. 그래도 자신이 내놓은 답변에 담긴 실수를 스스로 인정할 수 있다.

샌프란시스코에 위치한 오픈AI(OpenAI)의 획기적 대규모 언어모델 GPT-3의 후속 모델에 해당하는 GPT-4에 대한 소문이 증가하고 있다. 그러나 오픈AI는 아직 GPT-3의 수정 작업도 제대로 끝마치지 못한 상태이다.

오픈AI는 최근 GPT-3를 살짝 변형한 ‘챗GPT(ChatGPT)’라는 새로운 모델의 데모를 공개했다. 챗GPT는 사용자와 주고받는 대화에서 질문에 답하도록 설계된 언어모델이다. 오픈AI는 블로그 게시글을 통해 “챗GPT가 대화 형식으로 추가적인 질문에 답하고 실수를 인정하며 정확하지 않은 전제에 대해서는 이의를 제기하고 부적절한 요청을 거부할 수 있다”고 설명했다.

오픈AI의 설명처럼 챗GPT에서 부정확한 답변과 실수들 중 일부가 해결된 것처럼 보였다. 그렇지만 필자가 직접 모델을 실험해 본 결과 문제점들은 완전히 마무리되지 않았다. 이런 모습은 GPT-3가 GPT-4의 단계로 발전하더라도 부정확한 답변을 내놓는 문제점이 여전히 해결되지 못할 수 있음을 시사한다.

챗GPT는 메타(Meta)가 최근에 공개했던 과학용 대규모 언어모델 갤럭티카(Galactica)와 마찬가지로 이야기를 생성할 때 문제점이 드러난다. (갤럭티카는 공개한 이후 3일 만에 여러 문제점이 드러나서 비공개로 전환됐다.) 오픈AI의 존 슐먼(John Schulman)은 “일부 문제점에 대해서는 어느 정도 진전을 이루었지만, 문제를 완전히 해결하려면 아직 갈 길이 멀다”고 설명했다.

모든 대규모 언어모델은 ‘헛소리’를 내뱉는다. 그러나 다른 언어모델과 달리 챗GPT는 자신이 무슨 말을 하고 있는지 모를 때 잘 알지 못한다고 인정할 수 있다. 오픈AI의 최고기술책임자(CTO) 미라 무라티(Mira Murati)는 이에 대해서 “챗GPT에 ‘확실하냐’고 물으면 ‘아닐 수도 있다’고 답할 것”이라고 설명했다. 또한 대부분의 기존 언어모델과 달리 챗GPT는 학습하지 않은 주제에 관한 질문을 하면 답변을 거절한다. 예를 들어 챗GPT는 2021년 이후에 일어난 사건에 관한 질문에는 답하려고 하지 않을 것이며 특정 인물들에 대한 질문에도 답하지 않을 것이다.

챗GPT는 GPT-3를 수정해서 유해한 텍스트를 덜 생성하도록 만든 ‘인스트럭트 GPT(InstructGPT)’의 자매 모델이다. 챗GPT는 또한 딥마인드(DeepMind)가 9월에 공개했던 언어모델 스패로(Sparrow)와도 유사하다. 이 세 개의 언어모델은 인간 사용자들의 피드백을 사용해서 학습했다.

챗GPT를 구축하기 위해 오픈AI는 사람들에게 다양한 대화형 프롬프트(prompt)에 대해 좋은 반응이라고 생각하는 사례들을 제공해달라고 요청했다. 이런 사례들은 챗GPT 모델의 초기 버전을 학습시킬 때 사용됐다. 그 이후 다시 사람들이 챗GPT의 반응에 점수를 매겼고 슐만과 동료들은 강화학습(reinforcement learning) 알고리즘에 해당 점수 정보를 반영했다. 이러한 과정을 바탕으로 오픈AI는 모델의 최종 버전이 사람들에게 더 높은 점수를 받을 수 있는 반응을 생성하도록 학습시켰다. 오픈AI에 따르면 초기 사용자들은 기존의 GPT-3가 생성한 반응보다 챗GPT의 반응을 더 높게 평가했다.

예를 들어 GPT-3에 “크리스토퍼 콜럼버스(Christopher Columbus)가 2015년에 미국에 왔던 때에 대해서 말해줘”라고 요청하면 GPT-3는 “크리스토퍼 콜럼버스는 2015년에 미국에 와서 매우 즐거운 시간을 보냈다”고 답한다. 그러나 챗GPT는 같은 질문을 입력했을 때 “그 질문은 약간 까다롭다. 크리스토퍼 콜럼버스는 1506년에 사망했기 때문이다”라고 답한다.

마찬가지로 GPT-3에 “어떻게 하면 존 도(John Doe)[편집자 주: 미국의 ‘홍길동’처럼 신원미상자를 일컫는 말]를 괴롭힐 수 있을까?”라고 물으면 GPT-3는 “존 도를 괴롭힐 몇 가지 방법이 있다”고 답하면서 몇 가지 유용한 제안을 제시한다. 그러나 챗GPT는 “누군가를 괴롭히는 행위는 결코 옳지 않다”고 답한다.

슐먼은 “코딩을 할 때 가끔 챗GPT를 이용해 오류를 파악한다”며 “무언가 의문이 있을 때 챗GPT는 처음 질문하기에 좋은 대상일 때가 많다”고 말했다. 그는 “챗GPT와 문제에 관해 대화를 나눌 수 있다”며 “첫 번째 대답이 정확하지 않을 수 있지만, 답변을 수정하면 그다음에는 더 나은 대답을 준다”고 설명했다.

오픈AI가 11월 29일에 보여준 라이브 데모에서 챗GPT는 그리 대단해 보이지 않았다. 나는 챗GPT에 현재 인기를 끄는 생성형 AI(generative AI)에 사용되는 확산모델(diffusion model)에 대해 말해달라고 요청했고 챗GPT는 화학공정에서의 확산(diffusion) 과정을 설명으로 제공했다. 슐먼은 “나는 머신러닝에서 사용되는 확산모델을 말한 것”이라고 입력하며 질문을 수정했다. 그러자 챗GPT는 몇 개의 단락을 더 생성했다. 슐먼은 화면을 보고 얼굴을 찡그리면서 “음, 완전히 다른 내용을 대답하고 있네”라고 말했다.

 대화형 언어 모델 ChatGPT

슐먼은 “DALL-E 같은 생성형 이미지 모델을 예로 들어 보자”고 말하며 다시 텍스트를 입력했다. 그리고 답변을 살펴보고는 “무언가 완전히 잘못됐다. DALL-E가 GAN(생성적 적대 신경망)이라고 답하고 있다”고 말했다. 그래도 챗GPT는 챗봇이므로 우리는 계속해서 대화를 이어갈 수 있었다. 슐먼은 “나는 DALL-E가 확산모델이라고 들었다”고 입력했다. 그러자 이번에는 챗GPT가 정답을 말했다. 네 번째 시도 만에 드디어 원하는 답변을 들을 수 있었다.

대규모 언어 모델이 내놓는 문장 텍스트에 의문을 제기하는 것은 그 모델이 생성하고 있는 답변에 반박하는 효과적인 방법이다. 그러나 이런 식으로 의문을 제기하려면 언어모델이 내놓는 답변이 잘못됐거나 애초에 질문을 잘못 해석하고 있다는 사실을 알아채야만 한다. 따라서 우리가 답을 모르는 질문을 대규모 언어모델에 묻고 싶을 때는 이런 방법을 사용할 수 없다.

오픈AI도 대규모 언어모델의 이러한 결함을 고치기가 어렵다는 사실을 인정한다. 대규모 언어모델이 사실과 허구를 구분할 수 있도록 가르칠 방법은 없다. 그렇다고 모델이 답변을 더 신중하게 내놓도록 학습시키면 그 모델은 정확한 답변을 내놓을 수 있는 질문까지도 대답하지 않게 되는 경우가 많다. 무라티는 “우리는 언어모델이 뛰어난 능력을 가지고 있다는 것을 잘 알고 있다”며 “하지만 언어모델이 내놓는 답변 중에서 어떤 대답이 유용한지 또는 유용하지 않은지 판단하기가 쉽지 않으므로 모델의 조언을 신뢰하기 어렵다”고 설명했다.

오픈AI는 웹GPT(WebGPT)라는 이름을 가진 언어모델도 제작하고 있다. 이 언어모델은 인터넷에서 정보를 찾아서 답변에 대한 출처를 제공한다. 슐먼은 몇 달 후에는 챗GPT에 이 기능을 추가해서 업그레이드할 수도 있다고 언급했다.

AI 업체 허깅페이스(Hugging Face)의 연구원이자 오픈소스 대규모 언어모델 블룸(BLOOM)을 개발한 팀을 이끈 테븐 르 스카오(Teven Le Scao)는 정보를 찾는 능력이야말로 언어모델을 신뢰할 수 있는 존재로 만들기 위한 핵심이라고 생각한다. 그는 “인간의 피드백을 바탕으로 미세 조정하는 것으로는 ‘사실성’에 대한 문제를 해결할 수 없다”고 지적했다.

그러나 르 스카오는 이 문제를 해결할 수 없다고는 생각하지 않는다. 그는 “아직 해결책을 찾아내지는 못했지만, 사실 이러한 언어모델 세대는 등장한 지 겨우 2년 밖에 되지 않았다”고 말했다.

오픈AI는 사람들이 챗GPT 데모를 시도해 보고 문제가 있는 부분을 알려주기를 바란다. 이는 기술을 개선하고 결함을 찾아내는 좋은 방법이다. 아마도 언젠가는 결함을 모두 수정할 수 있을지도 모른다. GPT-4가 곧 출시된다고 해서 아직은 GPT-4가 말하는 모든 내용을 믿어서는 안 된다.

미리보기 2회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.