crawler（クローラー）とは、ネット上にあるWebサイトや画像、動画、テキストファイルなどの情報を自動で巡回、取得するプログラムのことです。