SEO辞典　SEO対策 キーワード辞典

robots.txt （ロボッツ・テキスト）

robots.txt とは、Google,Yahoo!などの検索エンジンロボット（クローラー）の巡回を
制限や制御させるために記述するファイルをいいます。

Webサーバーの最上位のディレクトリ（ルートディレクトリ）に robots.txt を置くことにより、

検索エンジンのデータベースに登録されないように指示することが出来ます。

検索エンジンロボットは、robots.txt がなければ、通常、ディレクトリを巡回しますので、
設置することを推奨します。　

記述例：

・ロボットの一部の巡回を拒否する指定

User-Agent: *
Disallow: /cgi-bin/
Disallow: /example.html

参考サイト：
SEO対策ドットコム　「robots.txt」