Robots.txtは、サイトがウェブクローリングボットに指示を与えるためのテキストファイルです。
これは、Googleなどの検索エンジンがあなたのサイトをインデックスする際に、アクセスできる部分とできない部分を指示します。
そのため、robots.txtはSEOの強力なツールとなり、特定のページがGoogleの検索結果に表示されないようにするためにも使用できる。
Robots.txtはどのように機能するのか？
robots.txtは、検索エンジンのボットに、あなたのサイトのどのページをクロールし、インデックスするかを知らせるために作成できるテキストファイルです。通常、サイトのルートディレクトリに保存されます。
Googleのような検索エンジンは、ウェブサイトのアーカイブと分類のために、ウェブクローラー（ウェブロボットと呼ばれることもある）を使用します。ほとんどのボットは、サイトの他のファイルを読む前に、サーバー上のrobots.txtファイルを検索するように設定されています。ボットは、サイトの所有者がサイトのクロールとインデックス作成に特別な指示を出しているかどうかを確認するために、この作業を行います。
robots.txtファイルには、特定のファイルやディレクトリを無視するようにボットに要求する一連の指示が含まれています。これは、プライバシーのためであったり、サイトオーナーがそれらのファイルやディレクトリのコンテンツが検索エンジンでのウェブサイトの分類に無関係であると考えているためであったりします。
robots.txtファイルの例です：
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
この例では、’User-Agent’の後のアスタリスク’*’は、指示がすべて検索エンジン用であることを指定する。
次に、検索エンジンがWordPressのアップロード・フォルダー内のファイルをクロールし、インデックスすることを許可する。次に、プラグインとWordPressの管理フォルダーのクロールとインデックスを許可しないようにします。
URLを許可しないと、検索エンジンのボットはそのURLをインデックスできると思い込んでしまうことに注意してください。
最後に、XMLサイトマップのURLをプロバイダーに提供しました。
WordPressでRobots.txtファイルを作成する方法
robots.txtファイルを作成する最も簡単な方法は、All In One SEOを使用することです。これは市場で最高のWordPress SEOプラグインであり、使いやすいrobots.txtファイルジェネレータが付属しています。
WPCodeは、カスタマイザーコードを簡単かつ安全にサイトに追加できる強力なコードスニペットプラグインです。Proバージョンには、robots.txtファイルを素早く編集できる便利な機能が含まれています。
しかし、もしあなたがコードに詳しいのであれば、robots.txtファイルを手動で作成することができます。robots.txtファイルを編集するには、FTPクライアントを使用する必要があります。または、WordPressホスティングサービスが提供するファイルマネージャーを使用することもできます。
robots.txtファイルの作成方法の詳細については、WordPressのrobots.txtをSEOのために最適化する方法をご覧ください。
Robots.txtを使って検索エンジンがサイトをクロールしないようにする方法
検索エンジンは、ほとんどのサイトにとって最大のトラフィック源です。しかし、検索エンジンにサイトをインデックスさせたくない理由がいくつかあります。
例えば、まだサイトを構築中であれば、検索結果に表示されたくはないだろう。プライベート・ブログや ビジネス・イントラネットも同様だ。
robots.txtファイルでdisallowルールを使用すると、検索エンジンにサイト全体または特定のページだけをインデックスさせないように依頼することができます。検索エンジンが WordPress サイトをクロールしないようにする方法については、こちらのガイドを参照してください。
All In One SEOのようなツールを使えば、これらのルールをrobots.txtファイルに自動的に追加することができます。
注意しなければならないのは、すべてのボットがrobots.txtファイルを尊重するわけではないということだ。悪意のあるボットの中には、robots.txtファイルを読んで、どのファイルやディレクトリを最初にターゲットにすべきかを探すものさえあります。
また、robots.txtファイルでボットにサイト内の特定のページを無視するように指示しても、そのページが他のクロールされたページにリンクされていれば、検索結果に表示される可能性がある。
WordPressのrobots.txtについて、この投稿がお役に立てれば幸いです。また、WordPress の便利なヒントやトリック、アイデアに関する関連投稿は、以下の「Additional Reading」リストをご覧ください。
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
