검색 엔진 스타트업을 시작한다면 지금이 적기다. 필자는 최근 유닷컴(You.com)의 CEO 리차드 소처(Richard Socher)와 대화를 나눴다. 그는 “오늘은 정말 즐거운 날이다. 유닷컴이 새로운 사용자 수 기록을 달성했다. 폭풍처럼 상승세를 타고 있다”라며 즐거운 비명을 질렀다. 세계에서 가장 큰 두 회사가 유닷컴의 경쟁 상품을 막 출시했다는 사실은 잘 알려지지 않았다. 

마이크로소프트와 구글이 연달아 굵직한 발표를 했다. 사용자의 검색 결과로 링크 목록 대신 유려한 문장으로 답하는 챗봇을 선보인 것이다. 이 챗봇들은 검색의 미래에 대한 두 회사 각자의 비전을 보여줬다. 마이크로소프트는 검색 엔진 빙(Bing)을 오픈AI의 챗봇 챗GPT 버전으로 업그레이드했다. 한편 구글은 바드(Bard)라는 챗GPT의 대항마 개발을 진행 중이다. 

이 발표로 검색의 미래를 엿볼 수 있게 되었다. 전체적인 그림을 보고 싶다면 시야를 마이크로소프트와 구글에 국한해선 안 된다. 빅테크들은 계속 업계를 지배할 것이다. 하지만 그 안에서 대안을 찾는 사람들이 있기 때문에 검색 도구는 앞으로 더 늘어나고 종류도 다양해질 것이다. 

이 배경에는 새로운 스타트업들의 등장이 있다. 스타트업들은 지난 수개월 동안 챗봇을 강화한 다양한 검색 도구를 선보였다. 유닷컴은 지난해 12월 검색 챗봇을 출시했고 계속 업데이트를 진행하고 있다. 퍼플렉시티(Perplexity), 앤디(Andi), 메타포(Metaphor) 등 다른 스타트업들도 있다. 그들은 이미지 검색 기능, 다른 사람의 검색을 저장하거나 이어갈 수 있는 소셜 기능, 불과 몇 초 전에 공개된 정보를 검색할 수 있는 기능 등을 챗봇 앱과 결합했다. 

챗GPT의 성공으로 빅테크와 스타트업을 막론하고 활발한 연구가 이뤄지고 있다. 그들은 과거에 전혀 생각지 않았던 검색에 대한 사용자의 요구사항을 알아내기 위해 노력 중이다. 

새로운 아이디어의 등장

구글은 수년 동안 검색 엔진 업계를 지배해왔다. 미국 워싱턴 대학교에서 검색 기술을 연구하는 쉬락 샤(Chirag Shah)는 “구글은 오랫동안 공고한 위치를 지켰다”라며 “많은 혁신이 있었지만 업계에 큰 변화를 끌어내지는 못했다”라고 말한다. 

지난해 11월 챗GPT가 출시되면서 상황은 반전됐다. 끊어진 단어들을 줄줄이 입력해 정보를 찾는 방식이 갑자기 구식처럼 느껴졌다. 왜 원하는 것을 그냥 물어보면 안 될까? 

검색 엔진 데이터베이스를 개발하는 파인콘(Pinecone)의 CEO 이도 리버티(Edo Liberty)는 사람들이 챗봇과 검색 기능 결합에 푹 빠졌다고 말한다. 리버티는 과거 아마존 AI 연구소를 이끈 인물이기도 하다. 그는 “이 결합은 땅콩버터에 젤리를 추가한 것이나 다름없다”라고 평했다. 

구글은 대형 언어모델(챗GPT, 바드와 같은 챗봇에 적용되는 기술)의 사용을 계속 검토해왔다. 그런 가운데 오픈AI의 챗GPT가 주류로 올라서자 구글과 마이크로소프트는 각자의 방식으로 대응에 나섰다.

다른 회사들도 빠르게 움직이고 있다. 리버티는 이제 작은 회사들이 빅테크와 경쟁하고 있다고 말한다. 그는 “이는 불과 5년 전만 해도 바보 같은 짓이었다. 누가 제정신으로 빅테크라는 거대한 성에 돌격할 생각을 했겠는가?”라고 덧붙였다. 

빅테크와 경쟁하는 스타트업들

오늘날 시판 중인 소프트웨어 덕분에 검색 엔진을 구축하고 대형 언어모델에 연결하는 일이 그 어느 때보다 쉬워졌다. 리버티는 “수천 명의 개발자가 10년 넘게 만든 기술을 이제는 소수의 개발자가 수개월 내 만들 수 있다”라고 말한다. 

리차드 소처도 이 사실에 주목했다. 그는 2020년 유닷컴을 공동 설립하기 위해 세일즈포스(Salesforce)의 수석 AI 사이언티스트에서 사임했다. 유닷컴은 검색 기능을 적극적으로 사용해 구글의 대안을 찾는 사용자들이 한 번에 궁금증을 해결할 수 있도록 만든 원스톱샵 같은 사이트다. 일반적인 영화 추천부터 코드 조각 검색까지 다양한 요청에 답을 제공하는 것이 목표다. 

최근 유닷컴은 멀티모달(multimodal) 검색 기능을 소개했다. 이 챗봇은 텍스트가 아닌 이미지와 관련 앱의 위젯을 사용한 요청에 응답할 수 있다. 또 다른 사람들이 챗봇과 나눈 대화를 이어가면서 더 깊은 수준의 결과를 끌어낼 수도 있다.

이후 유닷컴은 생방송 중인 스포츠 경기 관련 질문에 답하는 업그레이드를 진행했다. 예를 들어 슈퍼볼 경기 종료 8분 전 시점에 필라델피아 이글스 팀이 이길 수 있을지 물어볼 수 있다. 

오픈AI, 메타, 쿼라(Quora, 사람들이 질문과 답변을 하는 웹사이트)의 전직 연구원들이 설립한 퍼플렉시티(Perplexity)는 독자적인 방식으로 검색 기능을 재구성한다. 퍼플렉시티는 오픈AI의 대형 언어모델 GTP-3를 마이크로소프트 빙과 결합했다. 지난해 12월에 공개된 이 검색 챗봇은 지금까지 100만 명이 사용한 것으로 알려졌다. 이들의 아이디어의 핵심은 사용자 커뮤니티 구축에 있다. 

퍼플렉시티는 쿼라나 위키피디아같은 커뮤니티 기반의 정보 저장소를 재창조하길 원한다. 사람 대신 챗봇의 기능을 활용해서다. 사용자들이 퍼플렉시티의 챗봇에 질문하면 그 대화는 저장되고 다른 사용자들이 열람할 수 있다. 사용자들은 챗봇이 생성한 대답에 점수를 매길 수 있고 진행 중인 대화에 자신들의 질문을 추가할 수도 있다. 또 다른 커뮤니티 레딧(Reddit)과 비슷하지만, 사람이 질문하면 AI가 대답한다는 점이 다르다. 

최근 구글이 급히 준비한 바드의 시연 영상에서 질문에 오답을 내놓는 사태가 벌어졌다. (이 실수로 구글의 주가가 급락해 수십억 달러의 손실을 본 것으로 추정된다.) 그다음 날, 퍼플렉시티는 구글의 크롬 전용 새로운 플러그인을 발표했다. 퍼플렉시티가 공개한 시연 영상에서 이 챗봇은 같은 질문에 정답을 제시했다. 

앤젤라 후버(Angela Hoover)는 미국 마이애미의 검색 엔진 회사 앤디의 CEO이자 공동 설립자다. 그는 구글에서 원하는 정보의 링크를 찾기 위해 수많은 광고와 스팸을 걸러내는 상황에 좌절했고 약 1년 전 회사를 설립했다. 후버는 챗GPT 같은 챗봇을 사용하는 많은 사람처럼 영화 <아이언맨(Iron Man)>의 자비스나 <그녀(Her)>의 사만다같이 공상과학에서 영감을 받은 검색 도구에 대한 이상을 가지고 있었다. 

물론 영화에서처럼 완벽한 검색 엔진은 아직 없다. 후버는 “앤디가 모든 것을 알고 있지는 않다. 사람들이 인터넷에 올린 정보를 찾아 깔끔하게 포장해 전달할 뿐이다”라고 말한다. 

앤디는 최적의 검색 결과를 얻기 위해 대형 언어모델을 사용한다. 후버는 앤디가 특정 결과를 선호하고 바르지 않은 결과를 피하도록 하기 위해 퓰리처상 수상 기사부터 스팸 SEO(Search Engine Optimization, 검색엔진최적화)에 이르는 다양한 데이터로 언어모델을 훈련시켰다고 강조했다. 

결국 검색 엔진을 둘러싼 경쟁은 웹에만 국한되지 않을 것이다. 이메일과 문자 메시지를 비롯해 더 많은 개인적인 자료를 검색할 수 있는 도구가 필요하다. 리버티는 “전 세계에 많은 데이터가 존재하고 웹은 그 일부만 담고 있다”라고 설명한다. 

리버티는 오늘날 많은 회사가 검색 챗봇을 사용하고 있다고 말한다. 이 회사들은 마이크로소프트나 구글의 경쟁 상대가 아니다. 그의 회사인 파인콘은 대형 언어모델과 소형 맞춤형 검색 엔진을 쉽게 결합할 수 있는 소프트웨어를 제공한다. 고객들은 파인콘의 소프트웨어를 이용해 사용자 설명서, 의료 데이터베이스, 팟캐스트 대본 등을 찾을 수 있는 맞춤형 검색 도구를 구축한다. 리버티는 “이유는 모르겠지만, 어떤 사람은 우리 소프트웨어로 성경에 대한 질문과 답을 하는 봇을 만들기도 했다”고 덧붙였다. 

말을 지어내는 기계

많은 사람이 검색에 챗봇을 이용하는 것을  좋아하지 않는다. 그들은 챗봇의 밑바탕이 되는 대형 언어모델이 편향적이고 편견을 심어줄 수 있는 잘못된 정보로 가득 차 있다고 믿는다. 후버도 이를 인정한다. “대형 언어모델 자체로 충분하지 않다. 그들은 빈칸을 채우는 기계이고 말을 지어낼 뿐이다.”

검색 챗봇 개발사들은 기존 검색 엔진에 대형 언어모델을 연결했다. 처음부터 문장을 만드는 대신 검색 엔진 결과를 요약하는 방식으로 문제를 해결하고자 했다. 대부분의 검색 챗봇은 사용자가 대답의 진위를 확인하거나 더 깊은 질문을 던질 수 있도록 관련 링크와 함께 요약 상태의 웹페이지나 문서를 인용한다. 

이러한 개발사들의 전략은 현명하다. 마이크로소프트가 새로운 버전의 빙을 초기 사용자들에게 공개한 지 며칠 만에 소셜 미디어는 챗봇이 탈선하는 모습을 보여주는 스크린샷들로 가득 찼다. 사용자들은 챗봇으로부터 터무니없거나 공격적인 대답을 끌어내는 방법을 찾는 데 혈안이 됐다. AI 및 검색 기능을 개발하는 소프트웨어 개발자 드미트리 브레러턴(Dmitri Brereton)에 의하면 마이크로소프트의 시연 영상에서도 빙챗(Bing Chat)은 수많은 실수를 저질렀다. 

후버는 마이크로소프트와 구글의 챗봇이 검색 결과의 조각들을 연결해 붙이기 때문에 잘못된 대답을 생성할 수 있다고 본다. 또한 검색 결과 자체가 잘못됐을 가능성도 있다. 후버는 “잘못된 접근법”이라며 “보여주기에는 좋지만 모호한 대답을 만들어낸다”라고 비판했다. (마이크로소프트와 구글은 MIT 테크놀로지 리뷰가 보낸 관련 질의에 응답하지 않았다.) 

챗봇 앤디는 단순히 검색 결과로부터 텍스트를 늘어놓지 않는다. 후버는 “다른 챗봇처럼 무언가를 지어내지 않는다”라고 강조한다. 사람들은 검색 결과가 진실인지 아닌지 스스로 판단할 수 있다. 앤디는 자신의 대답에 사용자들의 반응을 1년 동안 수집하고 자신이 없을 경우 스스로 인정하도록 설계됐다. 이 경우 “확실하지 않지만 위키피디아에 따르면…”과 같이 말을 덧붙인다고 후버는 설명한다. 

이처럼 새로운 검색의 시대가 도래했지만, 기존의 링크 목록은 사라지지 않을 것이다. 후버는 “5년 후에도 우리는 결과의 진위를 검토해야 할 것이다. 웹을 이용할 때 중요한 부분이다”라고 말한다. 

챗봇이 더 발전하면 결과의 진위를 검토할 필요가 없을까? 웹 데이터 수집 소프트웨어를 개발하는 디프봇(Diffbot)의 CEO 마이크 텅(Mike Tung)은 “대형 언어모델이 잘못된 정보를 생성하는 부분보다 사람들의 추론 능력을 빼앗는 부분에 더 주목해야 한다”라고 강조한다. 

워싱턴 대학교의 쉬락 샤도 같은 걱정을 하고 있다. 마이크로소프트는 빙챗 시연 영상에서 검색에 챗봇을 이용해 시간을 절약할 수 있다는 메시지를 강조했다. 쉬락 샤의 설명에 따르면 마이크로소프트가 수년간 개발해 온 서치 코치(Search Coach)라는 잘 알려지지 않은 프로젝트의 경우, 사람들에게 생각하는 방법을 가르치기 위해 설계됐다. 

서치 코치는 ‘보조 바퀴가 달린 검색 엔진’이라고 불린다. 특히 학생과 교육자들이 효과적인 검색어를 입력하고, 신뢰할만한 출처를 식별할 방법을 배울 수 있게 돕는다. 서치 코치는 시간을 절약하는 대신 적절한 검색을 위해 속도를 줄일 것을 권한다. “서치 코치를 챗GPT와 비교해 보라”라고 쉬락 샤는 덧붙였다. 

앤디, 퍼플렉시티, 유닷컴과 같은 회사들은 여전히 검색의 가능성을 탐구하고 있다. 사실 검색은 다양한 형태로 발전할 것이다. 

유닷컴의 CEO 소처는 “편의성을 고려하지 않으면 소비자 기술 경쟁에서 뒤처질 수밖에 없다. 현재의 인터넷 환경에서 사용자들이 검색에 무엇을 바라는지 근본적인 질문을 해 볼 필요가 있다”라고 말한다.