robots.txtを書いておく

LINEで送る
Pocket

どうも、冬に弱いがじです。体調崩してました。

今回はrobots.txtの設定についてです。<-今まで書いてなかったのかよ。と自分で突っ込んでおきます

robots.txtはサーチエンジンのクローラ(スパイダー)の、ファイルとディレクトリへのアクセスを制御するために使われます。

特定のディレクトリやファイルをインデックスさせたくない/検索結果に表示させたくない場合に使用します。

設定項目は3つ

  1. アクセスを制御するクローラのタイプ
  2. アクセスを許可するのか拒否するのか
  3. アクセスを制御するディレクトリ・ファイル

を書きます。

Googleのクローラは「googlebot」、MSN Live Searchのクローラは「msnbot」(今はBingなので「bingbot]かな)です。基本的にこの2つを書いておけば9割のクローラーには対応できるのですが、たまにMajestic-12などによるアクセスがあるので、すべてのクローラ(User-Agent: *)で指定します。

今回作成したrobot.txtはこんな感じ

User-Agent: *
Disallow: /wordpress/wp-admin/

これをルートディレクトリ(ドメインのいちばん上の階層のフォルダに配置して完了です。

実はほかにもごにょごにょしてますが、省略。

LINEで送る
Pocket