SEO
Robots.txt とは何ですか?
Robots.txt は、Web クローラーや他の Web ロボットと通信し、Web サイトのどの Web ページや領域を処理、スキャン、または検索エンジンの結果にインデックス付けする必要がないことを通知するために Web サイトで使用される標準ファイルです。
Robot.txt は何をするのですか?
robots.txt ファイルは、クローラーとも呼ばれる Web ロボットに、ドメイン所有者がどのページまたはファイルを「クロール」させたくないかを伝えます。ボットは Web サイトにアクセスし、Web ページとファイルをインデックス (保存) してから、検索エンジンの結果ページに表示します。
特定のページやファイルが Google やその他の検索エンジンに表示されたくない場合は、robots.txt ファイルを使用してそれらをブロックする必要があります。
Web サイトに robots.txt ファイルがあるかどうかを確認するには、上部のアドレス バーのドメイン名の直後に /robots.txt を追加します。
Robot.txt はどのように機能しますか?
検索エンジンは Web サイトをクロールする前に、robots.txt ファイルを調べて、どのページをクロールして検索エンジンの結果にインデックス付けできるかについて指示します。
robots.txt ファイルは、検索エンジンにインデックスを付けたくない場合に役立ちます。
1) Web サイト上の重複ページまたは壊れたページ。
2) 内部検索結果ページ。
3) Web サイトの特定の領域またはドメイン全体。
4) 画像や PDF など、Web サイト上の特定のファイル。
5) ログインページ。
6) 開発者向けの Web サイトのステージング。
7)あなた XMLサイトマップ.
robots.txt ファイルを使用すると、価値を追加しないページを削除できるため、検索エンジンは代わりに最も重要なページのクロールに重点を置きます。検索エンジンには「クロール バジェット」が限られており、1 日に特定のページ数しかクロールできないため、無関係な URL をすべてブロックすることで、検索エンジンにページをすぐに見つけられる最大限のチャンスを与えたいと考えます。
また、サーバーに過負荷がかからないよう、ロボットに特定のページをクロールする前に数秒待つように指示するクロール遅延を実装することもできます。 Googlebot はこのコマンドを認識しないことに注意してください。代わりに、より堅牢で将来性のあるソリューションを実現するために、クロール バジェットを最適化してください。
Robots.txt ファイルを作成するにはどうすればよいですか?
現在 robots.txt ファイルがない場合は、できるだけ早く作成することをお勧めします。そのためには、次のことを行う必要があります。
1) 新しいテキスト ファイルを作成し、「robots.txt」という名前を付けます。Windows PC のメモ帳プログラムや Mac の TextEdit などのテキスト エディタを使用して、テキスト区切りのファイルに「名前を付けて保存」し、拡張子が「robots.txt」であることを確認します。ファイルの名前は「.txt」です。
2) Web サイトのルート ディレクトリにアップロードします。これは通常、「htdocs」または「www」というルート レベルのフォルダーであり、ドメイン名の直後に表示されます。
3) サブドメインごとに robots.txt ファイルを作成します – サブドメインを使用する場合のみ。
4) テスト – ブラウザのアドレス バーに yourdomain.com/robots.txt と入力して、robots.txt ファイルを確認します。
続きを読む こちら.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]