crawlとは、本来、はい回ることを意味する英単語だが、IT用語としては、インターネット上を巡回してデータを収集することを指す。クローリングとも呼ばれる。多くの検索サイトでは、ロボットと呼ばれるプログラムが自動的にWebページの情報を収集している。このインターネット上を巡回するロボットのことを「クローラー（crawler）」「スパイダー（spider）」「ボット（bot）」と呼んでいる。