WEB 上のあらゆるサイトを自動巡回し、文書や画像などの情報を取得して、自動的にデータベース化するプログラム。主に検索エンジンのデータベース、インデックス作成に用いられている。