普通に考えれば巡回してくれるから必要ないと考えがちですが、サイトには必須なファイルですし、何も明示していないサイトとサイトを見てくださいと許可を出しているサイトでは、ロボットの記憶に刻まれれば巡回の回数も増える可能性があります。

いろいろな考えがありますが、ロボットに対して目測とそれに対しての実績で対策するしかないと今は感じています。

■robots.txtのファイル名でファイルを作成。
以下の内容を入れてファイルをアップする。

User-Agent: *
Allow: /

もう一度言います！
robots.txtは必要なのです。

記述方法は、下記を参照↓↓

=======================================================

■全てのディレクトリを巡回されたい場合・・・

User-agent: *
Disallow:

のように記述する。

=======================================================

■Googleのロボット（Googlebot）だけ、すべてのディレクトリ巡回やファイルGETを拒否する場合・・・

User-agent: Googlebot
Disallow: /*

と記述する。

=======================================================

■Yahoo!のロボット（Yahoo! Slurp）だけを、全てのディレクトリの巡回やファイルGETを拒否する場合・・・

User-agent: Slurp
Disallow: /*

と記述する。

=======================================================

■すべてのロボットを拒否

User-agent: *
Disallow: /*

と記述する。

=======================================================

■ロボットの巡回を制限する
訪問までの時間を指定
例えば10秒経たないとアクセスできないようにするには、

MSNBotの場合
User-Agent: msnbot
Crawl-Delay: 10

Yahoo! Slurpの場合
User-agent: Slurp
Crawl-delay: 10
Googleはできるかどうかは分からないが、そういう話は聞いたことがない。

=======================================================

=======================================================

■下記の記述は、クローラーに下記の４ページを巡回しないように指示を出していることになります。

User-Agent: *
Disallow: /cgi-bin/
Disallow: /private/
Disallow: /testground/
Disallow: /work/

=======================================================

robots.txt ファイルを作成した後、ドメインのルートに置いて「robots.txt」という名前で保存します。ファイルを確認する際、ロボットはこの場所を確認します。他の場所に保存されている場合は認識されません。

非常に単純な形式の robots.txt ファイルでは、次の 2 つのルールを使用します。

User-agent: 以降のルールを適用するロボット
Disallow: ブロックする URL
この 2 行はファイルの各エントリとみなされます。含めるエントリの数に制限はありません。1 つのエントリに複数の Disallow 行と複数の user-agent を含めることができます。

「 User-agent 」 以降のルールを適用するロボット
user-agentというのは、特定の検索エンジンロボットのことを指しています。そして、ウェブマスターツールにては、一般的なロボットがリスト化されていて、特定のロボットを適用するようエントリを設定したり、全てのロボットに適用させるようにアスタリスク（*）を設定できます。

（記述例?）
User-agent: *

（記述例?）
User-agent: Googlebot

「 Disallow 」 ブロックする URL
Disallow 行にはブロックするページをリストします。特定の URL またはパターンを入力できます。エントリはスラッシュ (/) で始める必要があります。

■ サイト全体をブロックするには、スラッシュを使用します。
Disallow: /

■ ディレクトリとそのコンテンツをすべてブロックするには、ディレクトリ名の後にスラッシュを入力します。
Disallow: /junk-directory/

■ ページをブロックするには、ページをリストします。
Disallow: /private_file.html

■ Google イメージ検索から特定のイメージを削除するには、次の記述を追加します。
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

■ Google イメージ検索からすべてのイメージを削除する場合、次のように記述します。
User-agent: Googlebot-Image
Disallow: /

■ 特定の種類のファイル (例: .gif ファイル) をブロックするには、次のように記述します。
User-agent: Googlebot
Disallow: /*.gif$

■ サイトのページに AdSense 広告を表示する一方で、クロールをブロックするには、Mediapartners-Google 以外のすべてのロボットを許可しないようにします。これによって、ページは検索結果に表示されなくなりますが、表示広告の決定に使用される Mediapartners-Google ロボットによるページ分析を許可できます。Mediapartners-Google ロボットは、他の Google ユーザー エージェントとページを共有しません。

例:
User-agent: *
Disallow: /folder1/

User-agent: Mediapartners-Google
Allow: /folder1/

Google ウェブマスターツール
robots.txt ファイルを使用してサイトへのアクセスを管理する用してサイトへのアクセスを管理する

robots.txt ファイルの生成

robots.txt のチェック