2021년은 초거대 인공지능(AI) 모델들이 탄생한 한 해였다.

미국의 인공지능(AI) 연구소인 오픈AI(OpenAI)가 2020년 6월에 초거대 AI 모델 ‘GPT-3’를 발표했을 때 이것의 강력한 언어 처리 능력은 사람들에게 ‘불쾌감’마저 안겨 줄 정도였다.

종래의 다른 언어처리 인공 신경망과 비교할 수 없을 만큼 규모가 거대한 GPT-3는 그럴듯한 문장을 생성하고, 인간과 대화하고, 코드를 자동으로 완성하기까지 했다.

GPT-3 등장을 계기로 AI 업계에는 규모가 더 클수록 성능도 더 뛰어나다는 인식이 확산되었다.

GPT-3에는 학습에 사용한 온라인 텍스트에 내재된 편향과 혐오 표현들을 그대로 모방하고, 규모가 너무 커서 학습하는 데 지속 불가능할 정도로 엄청난 컴퓨팅 파워가 필요하다는 문제점 등이 있다. 하지만 그래도 어쨌든 MIT 테크놀로지 리뷰는 GPT-3를 2020년의 가장 위대한 기술로 꼽은 바 있다.

그러나 GPT-3가 AI 업계에 미친 영향은 2021년에 더욱 분명해졌다. 올해 수많은 기술 기업들과 최고의 AI 연구실들은 다양한 거대 AI 모델을 만들어냈고, 그중 다수가 규모와 성능 면에서 GPT-3를 뛰어넘었다.

과연 이러한 AI 모델들은 앞으로 얼마나 더 커질 수 있고, 그에 따라 얼마나 큰 비용이 필요할까?