ロボット.txt – robots.txtとは？

ロボット.txt
　– robots.txt

「ロボット.txt」、または「robots.txt」は、ウェブサイトの中の特定のページやセクションを検索エンジンのロボット（クローラー）から非表示にするためのテキストファイルです。

まるで「プライベートルーム」の扉に「入室禁止」のサインを掛けるようなものです。

robots.txtは、サイトのルートディレクトリに配置され、検索エンジンのクローラーに対して、どのページやディレクトリをクロールするか、またはクロールしないかを指示する役割があります。

これにより、プライベートな情報や未完成のページなどをインデックスから除外することができます。

• 新しい商品ページはまだ公開前なので、robots.txtを使ってクローラーから隠します。

• robots.txtを確認したところ、誤って全ページのクローリングを禁止していました。

• 競合サイトのrobots.txtを参考にして、自社サイトのクロール設定を見直しました。