우리는 인터넷을 당연하게 여길 때가 많다. 손끝으로 화면을 터치하기만 해도 인터넷에 있는 수많은 정보를 쉽게 찾아볼 수 있기 때문이다. 그러나 사실 이러한 인터넷 시스템을 움직이는 기반에는 ‘크롤러(crawler)’가 있다. ‘웹 크롤러’라고도 불리는 크롤러는 인터넷을 돌아다니며 매일 수백만 개의 웹사이트를 방문하여 본 것들을 보고하는 봇(bot)이다. 크롤러 덕분에 구글은 검색 엔진을 구동하고, 아마존은 경쟁력 있는 가격을 책정하며, 여행 검색 엔진인 카약(Kayak)은 여행 목록을 만들어낼 수 있다. 크롤러는 상거래 분야 외에 웹 보안 모니터링, 접근성 도구 지원, 역사적 기록 보존 등에 필수적이다. 학계, 언론, 시민 단체에서도 중요한 조사 연구를 수행하기 위해 크롤러를 사용한다.

크롤러는 인터넷 생태계에 널리 퍼져 있다. 현재 전체 인터넷 트래픽에서 크롤러의 역할이 절반을 차지하고 있으며 곧 인간 트래픽을 앞지를 것이다. 우리 눈에는 보이지 않지만, 크롤러는 밤낮을 가리지 않고 여러 웹사이트를 오가며 정보를 운반한다. 게다가 최근에는 크롤러의 역할이 하나 더 추가됐다. 오픈AI와 같은 기업들이 크롤러로 수집한 데이터를 사용하여 챗GPT와 같은 인공지능(AI) 시스템을 학습시키고 있기 때문이다.