AI 기업 앤트로픽(Anthropic)이 대형언어모델(LLM)의 내부 작동 과정을 실시간으로 들여다볼 수 있는 기술을 개발했다. 언어 모델이 응답을 생성하는 과정을 추적함으로써 지금껏 알려지지 않았던 작동 원리를 밝혀낸 것이다. 결론부터 말하자면 LLM은 우리가 예상했던 것보다 훨씬 낯설고 복잡하게 작동하는 것으로 나타났다.

앤트로픽의 조슈아 바트손(Joshua Batson) 연구원은 “LLM이 문장을 완성하고, 간단한 수학 문제를 풀고, 환각을 억제하는 과정을 살펴본 결과, 모델이 우리가 전혀 예상하지 못한 방식으로 문제를 해결하는 모습을 보고 놀라움을 금치 못했다”며 “모델이 우리의 직관과는 완전히 다른 방향으로 작업을 수행하는 경우가 많았다”고 설명했다.

LLM의 작동 방식에 여전히 불가사의한 부분이 많다는 것은 이미 널리 알려진 사실이다. 이처럼 널리 사용되는 기술임에도 그 원리가 이토록 불분명한 사례는 흔치 않다. 그만큼 이 모델들이 실제로 어떻게 작동하는지를 규명하는 일은 오늘날 과학계가 풀어야 할 가장 큰 숙제 중 하나로 꼽힌다.