グーフー WordPressのためのLinuxノート

1．robots.txtとは

Googleなどの検索サイトロボット(クローラー)に、ファイルやディレクトリにアクセスしていいかどうか(インデックスしてもいいかどうか、検索結果に表示していいかどうか)を制御するためのファイルです。クローラーは、ドキュメントルートディレクトリ直下に、robots.txtを探しに行って、あればその指示に従う(はず)です。

2．robots.txtの記述例

記述内容は難しくありません。次のようなものです。

(例1)すべてのクローラーに、すべてのディレクトリ、すべてのファイルへのアクセスを拒否する場合(完全拒否)

User-Agent: *
Disallow: /

(例2)すべてのクローラーに、すべてのディレクトリ、すべてのファイルへのアクセスを許可する場合

User-Agent: *
Allow: /

(例3)すべてのクローラーに、/wordpress/にはアクセスして欲しくない場合

User-Agent: *
Disallow: /wordpress/

(例4)Googleのクローラーだけ、すべてのディレクトリ、すべてのファイルへのアクセスを拒否する場合

User-Agent: Googlebot
Disallow: /

※Googleウェブマスターツールのヘルプを参照して、robots.txt生成機能を利用するのもよろしいかと思います。