현재 거의 모든 AI 언어 모델의 핵심 뼈대가 되는 구조입니다. 문장 속 단어들 사이의 관계를 파악해서 글의 의미를 이해하는 방식인데, 마치 교실에서 모든 학생이 다른 모든 학생과 한 번씩 대화해야 하는 것처럼 작동합니다. 2017년 구글이 발표한 이후 AI 발전의 핵심 기술로 자리 잡았습니다.

텍스트 안의 모든 단어를 다른 모든 단어와 하나하나 비교하며 관계를 계산하는 방식입니다. 시험 공부할 때 교과서의 모든 문장을 다른 모든 문장과 연결 짓는 것과 비슷한데, 글이 길어지면 비교해야 할 조합이 폭발적으로 늘어나서 엄청난 계산 비용이 들게 됩니다.

모든 단어를 전부 비교하는 대신, 의미 파악에 정말 중요한 단어 조합만 골라서 비교하는 방식입니다. 책을 읽을 때 모든 단어를 다른 모든 단어와 연결 짓지 않고, 핵심 내용 위주로 읽는 것과 비슷합니다. 계산량을 크게 줄일 수 있지만, 어떤 관계를 골라야 할지 잘 선택하는 것이 핵심 과제입니다.

AI 모델이 한 번에 읽고 기억할 수 있는 텍스트의 최대 크기를 말합니다. 사람이 시험 볼 때 펼쳐놓을 수 있는 참고 자료의 양에 비유할 수 있습니다. 서브큐는 이 크기가 1,200만 토큰으로, 보통 모델의 100만 토큰보다 약 12배 많은 정보를 한꺼번에 처리할 수 있다고 합니다.

입력 데이터가 늘어날 때 계산량이 그 제곱에 비례해서 급격히 커지는 현상입니다. 예를 들어 단어 수가 2배로 늘면 계산량은 약 4배, 10배로 늘면 약 100배가 됩니다. 마치 파티 참석자가 늘어날 때 서로 악수해야 하는 횟수가 사람 수보다 훨씬 빠르게 늘어나는 것과 같은 원리입니다.