robots.txtの必要性の根拠はないんだが、ロボットはまずrobots.txtのこのテキストファイルを探して毎回巡回している。
だから根拠はないけど、robots.txtは必要なんです。
もう一度言います！
robots.txtは必要なのです。
記述方法は、下記を参照↓↓
=======================================================
■全てのディレクトリを巡回されたい場合・・・
User-agent: *
Disallow:
のように記述する。
=======================================================
■Googleのロボット（Googlebot）だけ、すべてのディレクトリ巡回やファイルGETを拒否する場合・・・
User-agent: Googlebot
Disallow: /*
と記述する。
=======================================================
■Yahoo!のロボット（Yahoo! Slurp）だけを、全てのディレクトリの巡回やファイルGETを拒否する場合・・・
User-agent: Slurp
Disallow: /*
と記述する。
=======================================================
■すべてのロボットを拒否
User-agent: *
Disallow: /*
と記述する。
=======================================================
■ロボットの巡回を制限する
訪問までの時間を指定
例えば10秒経たないとアクセスできないようにするには、
MSNBotの場合
User-Agent: msnbot
Crawl-Delay: 10
Yahoo! Slurpの場合
User-agent: Slurp
Crawl-delay: 10
Googleはできるかどうかは分からないが、そういう話は聞いたことがない。
=======================================================
=======================================================
■下記の記述は、クローラーに下記の４ページを巡回しないように指示を出していることになります。
User-Agent: *
Disallow: /cgi-bin/
Disallow: /private/
Disallow: /testground/
Disallow: /work/
=======================================================
Filed under: SEO対策 - Trackback Uri
