robots.txtの書き方Yahoo! Google MSNbing 検索大手３社共通SEO対策

無料SEO対策検索エンジン最適化情報サイト「robots.txtの書き方作りかた:検索大手３社共通のSEO対策」

新規作成ホームページのSEO対策必須項目

SEO対策相互リンク募集　Link Directory

Submit Reciprocal Link Exchange Guide

世界中のYahoo! Free Emailのアカウント取得方法～メールソフト設定方法などをご紹介。41カ国地域のヤフー無料メールidを使いこなしませんか？

SEO/SEM対策を外部の会社に委託したい方や、新規製作、リニューアルをお考えの方、Flashだけ制作して欲しい、メールフォームだけ制作して欲しいなど様々なご要望を全国のホームページ制作会社様に一括でお見積り、提案等が無料でお問合せ頂けます。匿名性を保ちたい方でも大丈夫です。

robots.txt ロボットテキストファイルの書き方作りかた（意味と書き方内容説明）

robots.txtは何故必要か？どんな特徴が有るか？
検索エンジンロボットに正確にサイトのファイルや位置を知らせます。
検索結果に表示して欲しくないファイルを巡回しないようにブロック。
ロボットテキストの有無で、検索結果に表示される期間が若干短縮。
ロボットテキストは、メモ帳で簡単に作成できます。
robots.txt作成後はトップのindex.htmlと同じ階層に保存します。
特にRobots Crawlerをブロックする必要が無い場合に、私の場合は以下の様な記述を行っています。

下記の書き方説明の場合は、UpLoadしてあるファイルの中にロボットの巡回を止めたいファイルや画像等が無い場合です。編集作業は、Winddows95以降に付属しているメモ帳で出来ます。robots.txtの他にも、rss2.0配信定型文、Sitemaps.xml定型文もメモ帳で作成可能です。
このページはhttp://www.robotstxt.org/に準拠して抜粋掲載しています。

以下ロボットテキストの書き方・作りかた(作成方法)説明です。
Robots.txt作成が初めての方の為に、robots.txt定型文をDownLoadして必要部分を埋めるだけで作成できるフォーマットも準備しました。
この定型文フォーマットは、Google Webmaster Tools チェッカーや MSN bing Webmaster Central で実証済みです。

Googlebot, Yahoo!Slurp, MSNbot, robots.txtの書き方「サイト内全てのクロールを許可」

User-agent:は「各社巡回ロボット名」、半角スペース後の*は「全て」を指し、Allow: / は「許可する」と言う意味です。２行は全てのロボットを許可

　　　Yahoo!クローラーの名前slurpに指示
　Yahoo!サイト管理者認証　　　　　　ファイルをUPしてある方は記入
　　　　　　　許可する: /Sitemaps.xml 巡回を許可するサイトマップファイル
　　　　　　　許可する: /urllist.txt 巡回を許可するサイトマップファイル

　　　Googleクローラーの名前googlebotに指示
　　　許可する: /Sitemaps.xml 巡回を許可するサイトマップファイル
　　　許可する: /urllist.txt 巡回を許可するサイトマップファイル

　　　MSNbingクローラーの名前MSNbotに指示
　　　　　　　　　　　　　bingサイト管理者認証ファイル名
　　　許可する: /Sitemaps.xml 巡回を許可するサイトマップファイル
　　　許可する: /urllist.txt 巡回を許可するサイトマップファイル

xmlファイルのパス
urlリストファイルのパス

ロボットテキストの作成方法

特定のUser-agentやファイルフォルダーを指定してCrawlerのデータ収集巡回を拒否するrobots.txtの書き方

下記のrobots.txtの書き方は、全てのRobots Crawlerを一旦許可した上で、特定のファイルフォルダーを指定してファイルの巡回を拒否したり、特定のRobots Crawlerの巡回を指定して巡回を拒否する書き方の方法です。

User-agent: *は全てのrobots crawlerを指します。2行目でDisallow: /folder/fileを指定して巡回を拒否するフォルダー名やファイルを指定(何行でも可)。3行目のAllow: /で、その他のファイルのクロールを許可します。

MSNbotBing Search Engine robots Crawlerに対しての指示
　管理者認証ファイルがUpLoadしてある場合
　許可するSitemapsindex.xml(サイト内100ページ以上は分割)
　許可するサイトマップurllist.txt
　許可するrss20.xml feed
　　　　Disallow: /で巡回を許可しないファイルフォルダー名
　その他のページは全て巡回とデータ収集を許可

Googlebotに対しての指示も同様に

Yahoo!Slurpに対しての指示も同様に

Yahoo!イメージ検索、Googleイメージ検索、Bingイメージ検索、などの検索結果に自サイトのイメージ画像を検索表示させたく無い場合の書き方です。フォルダー内全ての画像検索をブロックしたい場合は、Disallow: /images/としてフォルダー内のCrawlを全て拒否します。例は、上から順番にGoogleイメージ検索Googlebot-Image、Yahoo!画像検索Yahoo-MMCrawler、MSNbingイメージ画像検索psbotに対しての巡回拒否指示です。

robots.txtにサイトマップファイルを記載する方法の書き方です。絶対パス記載で、Crawler巡回を円滑に...。

Robots.txtで指定するサイトマップ(Sitemaps.xml, rss20.xml, urllist.txt)には巡回を拒否したファイル名やフォルダー名を記載しません。

Google Webmaster Tools ロボットテキストのテストで robots.txt Syntax Error の表示

Google Webmaster Toolsのロボットテキストのテスト「サイト設定」→「クローラーのアクセス」→「robots.txtのテスト」でシンタックスエラーが返される。
Robots.txtをメモ帳やTeraPadを使って手打ち（手書き）してUPすると、Google Webmaster Toolsが、ロボットテキストに対して syntax error を返して、現在のロボットテキストの書き出し先頭に?が付いている場合が有りますが、シンタックスエラーの場合はBOM Byte-Order Mark が Syntax Error の主な原因である場合が多いです。
例えば、上記で説明した私の手書きロボットテキストの場合だと、Google Webmaster Tools では、以下の様に表示される場合が有ります。(画像の参照1CLすると拡大されて見やすく成ります)

?User-agent: *
Allow: /

当然、メモ帳やテラパッドを開いてみても、?は行の先頭に記載して有りません。先頭行にクエスチョンマークが表示されてGoogle Webmaster Toolsがシンタクッスエラーを返した場合は、BOM byte-order-markについての説明ページをご参照頂ければ解決方法が載ってます。

検索エンジンの `User Agent*` 全ての robots crawler の巡回を対象とした書き方

User-Agentを指定しない
まず最初の書き出しの【User-Agent: *】に付いてですが、「User-Agent:」とは自動巡回型Crawlerロボットの事を指します。
そして、*は「全て」を意味します。つまり、最初の一行目では、GoogleとかYahoo!とかを指示しないで全ての検索エンジンを対象として記述しています。その理由は、出来るだけ沢山の検索エンジンにクロールしてもらって、沢山の人に見て欲しいからです。Yahoo!程のメジャーでは無くても検索エンジンは沢山有りますので、制限を掛けない方が良いと考えています。

Allow: /で検索エンジンの巡回を許可
2行目の【Allow: /】に関しては、「/以下を許可する」と記述しています。この反対語としては、【Disallow: /】が有ります。
もし、ここにDisallow: /を間違って入れてしまったら、以下のクロールを許可しない（検索結果に反映させたくない::クロールしないで）と言う意味に成ります。検索エンジンに巡回されて検索結果に反映されたくないファイルがUPされていた場合は、一旦許可するサイトマップを記述した後に、下段に続けて許可しないファイルを記述します。
このDisallowを使って、以前は有ったけど今は削除してしまったページをクロールさせないように止める場合にも有効です。何故なら、他のページから今は無いページ向けに内部リンクが削除されずに残って貼って有ると、クローラーが巡回して探そうとします、その結果をWebmaster Tools等にリンクラーとして表示しますので、ロボットテキストで「このページは巡回しないで」としておくと良いでしょう。

サイトマップの場所を巡回ロボットに教えて効率を高める
3行目以降は、【Sitemap: http://www.free-seo.jp/～】として、各種サイトマップの場所をCrawler（自動巡回型検索ロボット）に教えて、サイトマップの中身を読ませる事で、１つももれなく検索結果に反映されるようにしています。これにより、自動巡回型クローラーが1件1件サイト内のページをクロールして探す時間が短縮され、何もしないWebmasterのサイトより早く検索結果に反映されます。

robots.txtを使って robots crawler のサイト内巡回を拒否する方法

全てのCrawlerロボットを拒否
User-agent: *
Disallow: /

Google Search Crawler - Googlebotのクロールを拒否
User-agent: Googlebot
Disallow: /

Yahoo! Search Crawler - Yahoo!Slurpだけ拒否
User-agent: Yahoo!Slurp
Disallow: /

MSN Bing Search Crawler - MSNbotだけ拒否
User-agent: MSNbot
Disallow: /

ページ指定やファイル指定で全てのRobots Crawlerの巡回をブロック拒否
User-agent: *
Disallow: /削除した昔のフォルダー名/～ナントカ.html
Disallow: /フォルダー名/*
フォルダー名のスラッシュの後に*を入れることで全てをブロックします。

悪意のWebmasterがこれを利用する
世の中には、悪いやつが居るものです。間違いだらけのSEO対策に、robots.txtを利用した悪意のWebmasterの見破り方も紹介しています。

GoogleとYahoo!に携帯サイト用Mobile-Sitemaps.xmlの場所を通知するrobots.txtの書き方

Googlebot Mobile Crawler を巡回させる
User-Agent:Googlebot-Mobile
Allow: /*

Yahoo! Mobile Search Crawlerを巡回させる
User-Agent:Y!J-SRD/1.0
Allow: /*
User-Agent:Y!J-MBS/1.0
Allow: /*

Mobile用robots.txtまとめ
User-agent: *
Allow: /
の後に上記2つを併記した上で、
Mobile-Sitemaps.xmlの場所を通知すると良い。
Sitemap: http://www.～～.jp/Mobile-Sitemaps.xml

手作業作成が面倒な方は、Robots.txt Generator で簡単自動作成方法も有ります

Robots.txt Generator - McAnerin International Inc.
robots.txt generator designed by an SEO for public use. Includes tutorial.

Robots.txt Generator Generate effective robots.txt files that help ensure Google and other search engines are crawling and indexing your site properly.