リアルSEOホーム » 用語集 » R » robots.txt
robots.txt - 解説
robots.txt - 解説 
robots.txt とはロボット型検索エンジンに対する命令を記述するためのファイルです。
http://www.○○○.co.jp/robots.txt
のようにトップ階層にテキストファイルを置きます。
User-agent: *
Disallow: /
のように記述すると、すべてのロボット型検索エンジンのクロールを拒否できます。
＊ロボットテキストメーカー『robots.txtを作成します。』
"robots.txt" 関連の人気・注目記事
以下の記事は、自動収集しています。不適合な内容が表示されることがあります。ご了承ください。
タイトルの後に表示されるusersのタグは、ブックマーク数です。左が【はてな】右が【ライブドア】のブックマークの数です。数字が多いほど人気の高い記事ということになります。
・robots.txt、sitemap.xml、meta情報の注意点｜CyberAgent SEO Information 
・robots.txtの書き方（保存版） ? 海外SEO情報ブログ・メルマガ 
・高まる検索エンジン・ナショナリズム(前編)--なぜGoogleは韓国で弱いのか？：ITpro 
CyberAgent SEO InformationサイバーエージェントSEO GLOBAL INNOVATION PROJECT(SGIP)がSEOや検索エンジンに関する情報、それらに関する提言、主張をお届けします。皆様のWEBサイト運営、SEO対策のお役に立てればと思いますrobots.txt、sitemap.xml、meta情報の注意点
検索エンジンロボットを制御するために、robots....
・Crawl-Delayでクローラーの巡回頻度を調整する｜CyberAgent SEO Information
CyberAgent SEO InformationサイバーエージェントSEO GLOBAL INNOVATION PROJECT(SGIP)がSEOや検索エンジンに関する情報、それらに関する提言、主張をお届けします。皆様のWEBサイト運営、SEO対策のお役に立てればと思いますCrawl-Delayでクローラーの巡回頻度を調整する
各検索エンジンのREP（ロボット排除プロトコル）について、以前「...
・http://mdn.mainichi.jp/robots.txt
今日は、いつか書こう書こうと思って、そのままにしておいた「robots.txt」にの書き方・書式について書きます。
robots.txtは「ロボッツ・テキスト」、または「ロボット・テキスト」と読みます。
robotではなく、robotsです。
robots.txtはサーチエンジンのクローラ（スパイダー）の、ファイルとディレクトリへのアクセスを制御するために使われます。
「secretsというディ...
・ロボット排除プロトコル（REP）とは？――メタタグやrobots.txtの基礎 | Web担当者Forum
[海外情報]
SEOmoz
検索マーケティングのニュース＆テクニック
SEOmozは、Search Engine Journalで2006年のベストSEOブログに選ばれた、SEOを中心とした検索マーケティング情報のブログ。日々更新される良質なSEOmozの考え方やノウハウの情報から、厳選したコンテンツを日本語でお届けします。
ロボット排除プロトコル（REP：Robots Exclusion P...
・検索エンジンからコンテンツを隠す12の方法 | Web担当者Forum
[海外情報]
SEOmoz
検索マーケティングのニュース＆テクニック
SEOmozは、Search Engine Journalで2006年のベストSEOブログに選ばれた、SEOを中心とした検索マーケティング情報のブログ。日々更新される良質なSEOmozの考え方やノウハウの情報から、厳選したコンテンツを日本語でお届けします。
SEOmozでよく話題にするのは、いかにして、コンテンツを検索エンジ...
・robots.txtファイルの適切な使い方 / ウェブデザインライブラリー
デザイナー向けのメルマガ
毎週金曜日に発行しています
【個人情報の取り扱い】の内容について、同意します。
投稿日：2006年9月12日 レベル：中級 ソフトウェア：−
ウェブサイトを最適化するときに、ほとんどのウェブマスターはrobots.txtファイルの使用を考慮していません。これはサイトにとってとても重要なファイルです。これの有無によってスパイダーやクローラーがサイトを認識で...
・1996年から850億ものウェブサイトを保存している「Wayback Machine」 - GIGAZINE
自分が見てみたいウェブサイトのURLを入れるだけで、1996年からアーカイブされている約850億ものウェブサイトを見ることが出来ます。12年前の1996年のホームページはとてもさびしい感じがしますが、現在見ているサイトも10年後にはさびしく感じてしまうのでしょうか。
詳細は、以下から。
使い方はとても簡単。ページ上部の検索窓に目的のURLを入れるだけ。
Wayback Machine
UR...
・robots.txt（ロボットテキスト）でSEO対策
robots.txt（ロボットテキスト）で検索エンジンにインデックスさせるかどうかを操作することやサイトマップの存在を伝えます。
robots.txt（ロボットテキスト）で検索エンジンを誘導
検索エンジンのロボットが、サイトの中で一番初めにアクセスするファイルがrobots.txtです。ロボットテキスト（robots.txt）とは、検索エンジンの意図しないインデックス（登録）を防ぐ役目を果たしてい...
・Yahoo! SlurpもX-Robots-Tagをサポート - F.Ko-Jiの「一秒後は未来」
2007
12
08
Yahoo! SlurpもX-Robots-Tagをサポート
Yahoo!の検索エンジンロボット(Yahoo! Slurp)が X-Robots-Tag をサポートするようになったとのことです。
X-Robots-TagはHTTP Headerの中でクローラーに返されるため、HTMLに限らずPDFやExcelなどあらゆるタイプのファイルについて検索エンジンのインデックスを柔軟...
・robots.txt.Makerがsitemapプロトコルに対応しました[to-R]
JavaScriptやSEO対策、CSS、Movable Typeなどの情報を発信
to-R
robots.txt.Makerがsitemapプロトコルに対応しました
【PR】初心者でも安心なレンタルサーバー。２６３円から使えます。
【PR】HP登録でSEO対策！アクセスアップにコチラ！
Google、Yahoo!、Microsoft、Askの検索エンジン各社がsitemapのオートディスカバリ...
・秋元@サイボウズラボ・プログラマー・ブログ: Sitemapsの通知にrobots.txtが使えるようになった
秋元@サイボウズラボ・プログラマー・ブログ
週3日出社となりました。残りの日はasiajinとかnarabete.comで個人で活動しています / mail: MY-SIRNAME@gmail.com (姓@gmail.com)
? Flashによる住宅ローンシミュレーター |
メイン
| Firefoxの中のFirefox ?
2007年04月12日
Sitemapsの通知にrobots.txt...
・sitemaps.org 更新 - 日本語解説とrobots.txt SEOブログ
sitemaps.org 更新 - 日本語解説とrobots.txt
検索エンジン共通サイトマップサイトの日本語化、robots.txt記述も規格化
ヤフーを視る！ グーグルを識る！ 検索エンジンを斬る！！ SEOブログ
アルゴリズム社の「SEO塾の公式ブログ」
検索エンジン最新情報の「新 SEOブログ」。検索上位表示対策と順位変動、インデックス更新、その他の話題など。
SEOの最新情報は、『Y...
・SitemapのAuto-Discovery : robots.txtを使ってクローラーにサイトマップを見つけてもらう方法 - F.Ko-Jiの「一秒後は未来」
2007
04
12
SitemapのAuto-Discovery : robots.txtを使ってクローラーにサイトマップを見つけてもらう方法
「Search Engines Unite On Sitemaps Autodiscovery」によると、Google、Yahoo!、Microsoft、Askの各社の検索エンジンのクローラーがsitemapのオートディスカバリ(自動検知)に対応したそう...
・ウェブマスター向けヘルプ センター - Googlebot をブロックするにはどうすればよいですか。
Googlebot のブロック
Google では複数の user-agent を使用しています。エントリの user-agent 行にロボットの名前を含めることにより、アクセスをブロックできます。Googlebot をブロックすると、「Googlebot」で始まるすべてのロボットがブロックされます。
Googlebot: Google のウェブ インデックスとニュース インデックスに登録するた...
・robots.txtの正確な書式,ロボット対策,noindex,nofollow：ASY! - エイジー
robots.txtの書式
どのサイト内にも検索エンジンのロボットに見てもらいたいファイルと、見られたくないファイルとがあります。
見てもらいたい場合は（Allow）、見られたくない場合は（Disallow）の後にファイル名やディレクトリ名を書きます。
ページ内ナビ：robots.txtの要点 robots.txtの書式例
ロボット・テキストと検索エンジンの関係
Yahoo,Google,Micr...
・[を] Googlebotのアクセス頻度を調整する
Googlebotのアクセス頻度を調整する
2007-03-21-1
ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベース
のサイトに、これまでにないペースでじゃんじゃんアクセス来るので
負荷が心配になった（その割りに検索で上位にならないのはガッカリ）。
で、robot.txt にこんな記述を足した。
User-agent: Googlebot
Cra...
・robots.txt.Makerリリースのお知らせ-とあるWEBクリエイターのblog
JavaScriptやSEO対策、CSS、Movable Typeなどの情報を発信
to-R
robots.txt.Makerリリースのお知らせ
【PR】初心者でも安心なレンタルサーバー。２６３円から使えます。
【PR】HP登録でSEO対策！アクセスアップにコチラ！
僕の運営するSEO対策TIPSというサイトで、新たにrobots.txt.Makerというサービスを開始したのでお知らせします。
...
・robots.txt.Maker
昨年（2006年）は「Web 2.0」の流行とともに，その代表と目される米Googleの評判がピークに達した年として記憶されるだろう。しかし，その影響力が増すに連れ，いわゆる「Google 八分」の言葉に見られるような警戒感や反感も高まっている。
今や検索エンジンはインターネットへの玄関口であるばかりか，テレビや新聞に匹敵する強力なメディアとして認知され始めた。それだけに，検索エンジンがアメリカの...
