챗GPT를 개발한 오픈AI가 일반 모델보다 훨씬 이해하기 쉬운 실험적 대형언어모델(LLM)을 구축했다.

이는 매우 중요한 성과다. 현재 LLM은 내부 작동 원리를 정확히 알 수 없는 ‘블랙박스’ 상태이기 때문이다. LLM의 메커니즘을 완전히 이해하고 있는 사람은 아무도 없다. 투명성이 높은 모델을 구축하면 LLM의 일반적인 작동 방식을 밝힘으로써 환각(hallucination) 현상이 발생하는 이유, LLM이 정해진 궤도에서 벗어나는 이유, 중요한 작업에서 LLM을 신뢰할 수 있는 정도 등을 연구자들이 파악하는 데 도움이 될 수 있다.

오픈AI의 레오 가오(Leo Gao) 연구과학자는 MIT 테크놀로지 리뷰에 독점적으로 공개한 이번 연구의 미리보기에서 “AI 시스템은 더 강력해질수록 매우 중요한 분야에 더 많이 통합될 것”이라면서 “모델의 안전성을 보장하는 것이 매우 중요”하다고 밝혔다.

이번 모델은 아직 초기 연구 단계에 해당한다. ‘가중치-희소 트랜스포머(weight-sparse transformer)’로 알려진 새 모델은 오픈AI의 GPT-5, 앤트로픽의 클로드, 구글 딥마인드의 제미나이와 같은 최상위 모델들에 비해 훨씬 작고 성능도 훨씬 떨어진다. 가오 연구과학자에 따르면 이 모델의 성능은 기껏해야 2018년에 개발됐던 GPT-1 수준에 불과한 것으로 추정된다.

그러나 이번 모델의 목표는 최고 수준의 모델들과 경쟁하는 것이 아니다(적어도 아직은 그렇다). 오픈AI는 이 실험적 모델의 작동 원리를 분석해 더 크고 우수한 LLM 내부에 숨겨진 메커니즘을 이해하고자 한다.