通常のrobots.txtは、ロボットの巡回を禁止（Disallow）するために利用するファイルです。
拒否するために使用するファイルを逆に迎え入れる内容へと設定もできるのです。
それは、すべてのファイルにアクセスしてよいという許可の指示（Allow）を、あえて設定することによってアクセスの許可を出します。
普通に考えれば巡回してくれるから必要ないと考えがちですが、サイトには必須なファイルですし、何も明示していないサイトとサイトを見てくださいと許可を出しているサイトでは、ロボットの記憶に刻まれれば巡回の回数も増える可能性があります。
いろいろな考えがありますが、ロボットに対して目測とそれに対しての実績で対策するしかないと今は感じています。
■robots.txtのファイル名でファイルを作成。
以下の内容を入れてファイルをアップする。
User-Agent: *
Allow: /
Filed under: SEO対策 - Trackback Uri
