1998년, 스탠포드대 대학원생들이 새로운 유형의 검색 엔진에 대한 연구 논문을 발표했다. 논문 저자들은 “이 논문에서 우리는 하이퍼 텍스트 구조를 주로 사용하는 대규모 검색엔진 플랫폼, 구글을 소개한다. 구글은 웹을 효율적으로 탐색하고 인덱싱하여 기존 시스템보다 훨씬 더 만족스러운 검색 결과를 제공하도록 설계되었다”라고 밝혔다.

이 엔진의 최대 혁신은 바로 ‘페이지랭크(PageRank)’라는 알고리즘이다. 웹 페이지 간 링크 연결을 바탕으로 검색어와의 관련성을 계산해 검색 결과 순위를 매긴다. 이 알고리즘은 훗날 구글을 인터넷 필수 관문으로 만들었으며, 페이지랭크를 만든 세르게이 브린(Sergey Brin)과 래리 페이지(Larry Page)는 세계 최대 기업 중 하나를 일구었다.

하지만, 이제 구글 연구팀은 이러한 순위 접근법을 버리고 단일 대형 AI 언어 모델로 대체하는 급진적 재설계를 제안했다. 이 단일 대형 AI 언어 모델은 BERT나 GPT-3의 미래 버전에 해당할 것이다. 방대한 웹 페이지 목록에서 정보를 검색하는 대신, 사용자가 질문하면 웹 페이지들의 데이터로 훈련된 언어 모델이 직접 답하도록 하는 것이다. 이는 검색 엔진의 작동 방식뿐 아니라 사용자가 검색 엔진과 상호 작용 방식도 바꿀 것이다.

그러기 위해서는 먼저 기존 언어 모델의 문제점을 해결해야 한다. 그 중에는 이러한 AI 모델이 사용자 요청에 대해 편향적이고 유해한 응답을 생성한다는 문제도 있다. 이는 구글에 있는 연구자들을 포함, 많은 연구자들이 지적하는 바다.

페이지랭크를 재검토하다.