양을 찾아 떠나는 모험

오늘 방문자는 1000명인데 유입된 유입 경로 로그를 보면 10개 남짓, 990명이 내 홈페이지를 즐겨찾기, 혹은 직접 주소를 입력하고 들어 온다는 얘긴가!? 블로그를 운영하시는 분들은 한번쯤 저런 고민을 하셨을 것이라 생각합니다. 위와 같은 문제가 생기는 대개의 경우는 로봇이라고 부르는 프로그램들이 발생시킵니다. 네이버나 다음, 구글 같은 사이트는 빠르게 검색을 하기 위해, 여러 사이트에 있는 정보를 자신의 DB에 저장합니다. 그리고 사람들이 검색어를 입력하면 인터넷을 돌아단니지 않고, 자신의 DB만을 검색하여 결과를 보여줍니다. 이 과정에서 사이트를 돌아다니며 페이지 내용을 저장하는 역할을 하는 프로그램을 로봇(혹은 웹봇, 크롤러)라고 부릅니다. 로봇의 동작을 다시 간단하게 설명을 드리면 로봇이 내 ..