リアルSEOホーム » 用語集 » R » robots.txt
robots.txt（ロボットテキスト） - 解説
robots.txt（ロボットテキスト） - 解説 
robots.txt とはロボット型検索エンジンに対する命令を記述するためのファイルです。
http://www.○○○.co.jp/robots.txt
のようにトップ階層にテキストファイルを置きます。
User-agent: *
Disallow: /
のように記述すると、すべてのロボット型検索エンジンのクロールを拒否できます。
＊ロボットテキストメーカー『robots.txtを作成します。』
"robots.txt" 関連の人気・注目記事
以下の記事は、自動収集しています。不適合な内容が表示されることがあります。ご了承ください。
タイトルの後に表示されるusersのタグは、ブックマーク数です。左が【はてな】右が【ライブドア】のブックマークの数です。数字が多いほど人気の高い記事ということになります。
・管理サイトのコンテンツをAppleがAI学習に利用するのを防ぐ方法 
・伊万里市ホームページがGoogle八分に。外部からの助言で10日目に復帰するも…… | スラド IT 
・Apple、SpotlightやSiriのWeb検索情報を収集するWebクローラー「Applebot」をアップデート。新しいユーザーエージェントや検索ランキングについての情報を公開。 
[レベル: 上級] 管理するウェブサイトのコンテンツが AI の学習に利用されないようにする方法を Apple は提供しました。 Applebot-Extended を新規導入 Applebot-Extended というユーザーエージェントのクローラを Apple は新たに公開しました。 Applebot-Extended について、Apple は次のように説明しています。 Apple...
・OpenAI Platform
Explore resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's developer platform.
・「ChatGPT Plus」にWebブラウジングとプラグインをβ機能として追加へ
米OpenAIは5月12日（現地時間）、3月に発表したWebブラウジング機能とサードパーティ製プラグインを、実験的な新機能として「ChatGPT Plus」ユーザーに提供開始すると発表した。15日の週に全Plusユーザーにロールアウトしていく。 利用できるようになると、ChatGPT Plusの画面左下のユーザー名をクリックし、［Settings...
・あなたも同じミスをするかも？ robots.txtのミスで予想外のページをクロール禁止していた悲劇【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ
最強級のSEOと最上級のコンテンツすら台無しにする、robots.txtの予想と違う挙動を、あなたは知っているだろうか？ 知らなければうっかりハマってしまい、「コンテンツがインデックスされない！」となってしまうかも。 「実際の挙動の根拠は？」「どうすればこの落とし穴を避けられるの？」を含めて、詳しく解説する。 ...
・辻正浩 | Masahiro Tsuji on Twitter: "よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実例紹介を見たことが無いのですが、公共の面も持つサイトでの誤りを発見したので注意喚起意図で実例を紹介します。(続く"
佐賀県の伊万里市ホームページが8月1日から10日までの10日間にわたり、GoogleやYahoo!の検索で一切表示されない事態となっていたそうだ（障害報、復旧報、ITmedia NEWS、佐賀新聞LiVE(8/7付)、佐賀新聞LiVE(8/12付)、Togetter）。 8月1日に市職員が問題に気付いたというが、市情報政策課は「検索エンジン側の認証が外れ...
・https://www.nike.com/robots.txt
AppleがSiriのWebサイト検索候補に使用する情報を集めるWebクローラー「Applebot」の情報をアップデートしています。詳細は以下から。 Appleはインデックス検索機能「Spotlight」や音声アシスタント「Siri」で表示するWeb検索候補の情報を集めるため、2014年頃から「Googlebot」に似た独自のWebクローラー「Applebot」を...
