robots.txtは、サイトの情報を収集するクローラーからのアクセスを許可したり、逆にブロックしたりするのに使用するファイルです。ロボット型の検索エンジンは、WEB上のコンテンツを「クローラー」と呼ばれるプログラムで収 … 続きを読む robots.txtとは？設置で得られる効果を徹底解説！