robots.txt とは?(リアルSEO用語集)

リアルSEO
リアルSEOホーム » 用語集 » R » robots.txt

robots.txt(ロボットテキスト) - 解説  rss

robots.txt とはロボット型検索エンジンに対する命令を記述するためのファイルです。

http://www.○○○.co.jp/robots.txt

のようにトップ階層にテキストファイルを置きます。

User-agent: *
Disallow: /

のように記述すると、すべてのロボット型検索エンジンのクロールを拒否できます。

ロボットテキストメーカー『robots.txtを作成します。』

"robots.txt" 関連の人気・注目記事

以下の記事は、自動収集しています。不適合な内容が表示されることがあります。ご了承ください。 タイトルの後に表示されるusersのタグは、ブックマーク数です。左が【はてな】右が【ライブドア】のブックマークの数です。数字が多いほど人気の高い記事ということになります。

Warning: file_get_contents(http://b.hatena.ne.jp/t/robots.txt?mode=rss&sort=hot&threshold=3) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 503 Service Temporarily Unavailable in /home/valueblog/www/terms/r/robotstxt.php on line 143

Warning: Invalid argument supplied for foreach() in /home/valueblog/www/terms/r/robotstxt.php on line 151