【robots.txt ファイルを作成する最も簡単な方法】
ウェブマスター ツールの robots.txt 生成ツールを使用すること。
作成後、robots.txt 解析ツールを使用して、期待どおりに作動しているかどうかを確認できます。
robots.txt ファイルを作成した後、ドメインのルートに置いて「robots.txt」という名前で保存します。ファイルを確認する際、ロボットはこの場所を確認します。他の場所に保存されている場合は認識されません。
非常に単純な形式の robots.txt ファイルでは、次の 2 つのルールを使用します。
User-agent: 以降のルールを適用するロボット
Disallow: ブロックする URL
この 2 行はファイルの各エントリとみなされます。含めるエントリの数に制限はありません。1 つのエントリに複数の Disallow 行と複数の user-agent を含めることができます。
「 User-agent 」 以降のルールを適用するロボット
user-agentというのは、特定の検索エンジンロボットのことを指しています。そして、ウェブマスターツールにては、一般的なロボットがリスト化されていて、特定のロボットを適用するようエントリを設定したり、全てのロボットに適用させるようにアスタリスク（*）を設定できます。
（記述例?）
User-agent: *
（記述例?）
User-agent: Googlebot
「 Disallow 」 ブロックする URL
Disallow 行にはブロックするページをリストします。特定の URL またはパターンを入力できます。エントリはスラッシュ (/) で始める必要があります。
■ サイト全体をブロックするには、スラッシュを使用します。
Disallow: /
■ ディレクトリとそのコンテンツをすべてブロックするには、ディレクトリ名の後にスラッシュを入力します。
Disallow: /junk-directory/
■ ページをブロックするには、ページをリストします。
Disallow: /private_file.html
■ Google イメージ検索から特定のイメージを削除するには、次の記述を追加します。
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
■ Google イメージ検索からすべてのイメージを削除する場合、次のように記述します。
User-agent: Googlebot-Image
Disallow: /
■ 特定の種類のファイル (例: .gif ファイル) をブロックするには、次のように記述します。
User-agent: Googlebot
Disallow: /*.gif$
■ サイトのページに AdSense 広告を表示する一方で、クロールをブロックするには、Mediapartners-Google 以外のすべてのロボットを許可しないようにします。これによって、ページは検索結果に表示されなくなりますが、表示広告の決定に使用される Mediapartners-Google ロボットによるページ分析を許可できます。Mediapartners-Google ロボットは、他の Google ユーザー エージェントとページを共有しません。
例:
User-agent: *
Disallow: /folder1/
User-agent: Mediapartners-Google
Allow: /folder1/
Google ウェブマスターツール
robots.txt ファイルを使用してサイトへのアクセスを管理する用してサイトへのアクセスを管理する
Filed under: SEO対策 - Trackback Uri
