robots.txt その2

robots.txtの必要性の根拠はないんだが、ロボットはまずrobots.txtのこのテキストファイルを探して毎回巡回している。
だから根拠はないけど、robots.txtは必要なんです。

もう一度言います!
robots.txtは必要なのです。

記述方法は、下記を参照↓↓

 


=======================================================

 

■全てのディレクトリを巡回されたい場合・・・

User-agent: *
Disallow:

のように記述する。

 

=======================================================

 

■Googleのロボット(Googlebot)だけ、すべてのディレクトリ巡回やファイルGETを拒否する場合・・・

User-agent: Googlebot
Disallow: /*

と記述する。

 

=======================================================

 

■Yahoo!のロボット(Yahoo! Slurp)だけを、全てのディレクトリの巡回やファイルGETを拒否する場合・・・

User-agent: Slurp
Disallow: /*

と記述する。

 

=======================================================

 

■すべてのロボットを拒否

User-agent: *
Disallow: /*

と記述する。

 

=======================================================

 

■ロボットの巡回を制限する
訪問までの時間を指定
例えば10秒経たないとアクセスできないようにするには、

MSNBotの場合
User-Agent: msnbot
Crawl-Delay: 10

Yahoo! Slurpの場合
User-agent: Slurp
Crawl-delay: 10
Googleはできるかどうかは分からないが、そういう話は聞いたことがない。

 

=======================================================

 

=======================================================

■下記の記述は、クローラーに下記の4ページを巡回しないように指示を出していることになります。

User-Agent: *
Disallow: /cgi-bin/
Disallow: /private/
Disallow: /testground/
Disallow: /work/

=======================================================

あわせて読みたい

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です