最近、あるユーザーから、WordPressサイトを検索エンジンにクロールさせないようにするにはどうしたらいいかという質問を受けました。
検索エンジンがあなたのサイトをクロールし、検索結果に表示するのを阻止したい場合、いくつかのシナリオがあります。
この投稿では、検索エンジンがWordPressサイトをクロールしないようにする方法を紹介する。
なぜ検索エンジンによるWordPressサイトのクロールを止めるのか？
ほとんどのWordPressサイトにとって、検索エンジンは最大のトラフィック源である。なぜ検索エンジンを落胆させたいのだろう？
検索エンジンにあなたのサイトをインデックスさせたくない状況をいくつか挙げてみましょう：
- サイトを立ち上げたばかりの頃は、ローカルの開発環境やステージングサイトの作り方がわからず、サイトを公開しながら開発することが多いでしょう。サイト構築中やメンテナンス・モードでは、Googleにインデックスされたくないでしょう。
- WordPressを使ってプライベートなブログを作る人も多い。検索エンジンにインデックスされたくないのだ。
よくある誤解は、もしあなたのドメインにリンクが張られていなければ、検索エンジンはおそらくあなたのサイトを見つけられないだろうというものです。これは完全に真実ではありません。
例えば、そのドメイン名が以前は他の人が所有していたために、あなたのサイトを指すリンクがあるかもしれません。また、インターネット上には、単にドメイン名を列挙したページが何千とあります。あなたのサイトもそのうちのひとつに表示されるかもしれません。
それでは、検索エンジンがあなたのサイトをクロールしないようにする方法を見ていきましょう。ここでは4つの方法を取り上げます：
方法1：検索エンジンにWordPressサイトをクロールしないよう依頼する
これは最もシンプルな方法だが、サイトをクロールから完全に守ることはできない。
WordPressには、検索エンジンにサイトをインデックスさせないように指示する権限がありません。必要なことはすべて、設定 ” 読むにアクセスし、’検索エンジンの可視性’の隣にあるボックスをチェックするだけです。
このボックスにチェックを入れると、WordPressはサイトのヘッダーにこの行を追加します：
<meta name='robots' content='noindex,follow' />
WordPressはまた、サイトのrobots.txtファイルを修正し、そこに不許可ルールを追加します：
User-agent: *
Disallow: /
これらの行は、ロボット（ウェブクローラまたはボット）にあなたのウェブページをインデックスしないよう依頼するものです。しかし、この要求を受け入れるか無視するかは、検索エンジン次第です。ほとんどの検索エンジンがこの要求を尊重するとしても、あなたのサイトの一部のページや画像がインデックスされる可能性はあります。
検索エンジンがあなたのサイトをインデックスまたはクロールできないようにしたい場合は、方法3または4を使ってWordPressサイトをパスワードで保護する必要があります。
方法2：検索エンジンに個別のページをクロールしないよう依頼する
検索エンジンにあなたのサイトをクロールしてインデックスさせたいが、特定の投稿や特定のページを検索結果ページに含めさせたくない場合があります。
その最も簡単な方法は、All In One SEO（AIOSEO）プラグインを使うことだ。WordPressのための最高のSEOツールであり、300万以上の企業に信頼されています。
このチュートリアルでは、SEO分析ツールを含むAIOSEO無料版を使用します。AIOSEOには、サイトマップツール、リダイレクトマネージャー、スキーママークアップ、robots.txtエディターなど、より多くの機能を提供するプレミアムバージョンもあります。
最初に必要なことは、AIOSEOプラグインをサイトにインストールし、有効化することです。プラグインのインストールと設定方法は、WordPressのAll In One SEO設定方法のステップバイステップガイドをご覧ください。
プラグインをセットアップすると、検索エンジンに特定の投稿やページをインデックスしないように依頼することができる。繰り返しますが、このリクエストを受け入れるか無視するかは完全に検索エンジン次第です。
インデックスさせたくない投稿やページを編集するだけです。WordPressエディターの下にあるAIOSEO設定までスクロールダウンし、「高度な設定」タブをクリックする必要があります。
投稿が初期設定のロボット設定を使っていることに注目してください。
これを変更するには、「初期設定を使用する」トグルをオフの位置に切り替える必要があります。
これで「No Index」チェックボックスをクリックできます。投稿が公開されたり更新されたりすると、検索エンジンはその投稿をインデックスしないように求められます。
さらに詳しく知りたい方は、AIOSEOのレビューをご覧ください。
方法3：cPanelを使ってサイト全体をパスワードで保護する
WordPressホスティングサービスプロバイダがホスティングアカウントを管理するためにcPanelアクセスを提供している場合は、cPanelを使用してサイト全体を保護することができます。
すべてcPanelのダッシュボードにログインし、「ファイル」セクションの「ディレクトリのプライバシー」アイコンをクリックするだけです。
次に、WordPressをインストールしたフォルダーを探します。通常はpublic_htmlフォルダーです。
その後、そのフォルダーの横にある「編集」ボタンをクリックするだけです。
注： public_htmlディレクトリの下に複数のWordPressサイトがインストールされている場合は、public_htmlリンクをクリックしてそれらのサイトを参照し、パスワードで保護したいサイトのフォルダーを編集する必要があります。
パスワード保護をオンにする画面が表示されます。
このディレクトリをパスワードで保護する」というボックスにチェックを入れ、「保存」ボタンをクリックするだけです。お好みで、保護ディレクトリの名前をカスタマイズすることもできます。
ディレクトリのアクセス権限が変更されたという確認メッセージが表示されます。
次に「Go Back」ボタンをクリックする。
このディレクトリにアクセスする際に必要なユーザー名とパスワードを作成する画面が表示されます。
ユーザー名とパスワードを入力し、パスワードを確認する必要があります。ユーザー名とパスワードは、パスワード管理アプリなど安全な場所に控えておきましょう。
保存」ボタンをクリックすると、WordPressサイトにパスワード保護機能が追加されます。
これで、ユーザーや検索エンジンがあなたのサイトを訪れるたびに、先に作成したユーザー名とパスワードを入力するよう促され、サイトを表示できるようになります。
方法4：プラグインでWordPressをパスワードで保護する
マネージドWordPressホスティングサービスを使用している場合、cPanelにアクセスできないことがあります。その場合、WordPressプラグインを使用してサイトをパスワードで保護することができます。
最もポピュラーな2つの解決策を紹介しよう：
- SeedProdは、80万以上のサイトで使用されているWordPressのためのナンバーワンのカミングスーンとメンテナンスモードプラグインです。完全なアクセスコントロールと権限機能を備えており、検索エンジンを含むすべての人からサイトを非表示にすることができます。SeedProdのステップバイステップのハウツーガイドがあります。
- Password Protectedは、WordPress サイトを個別パスワードで保護する非常に簡単な方法です（ユーザー作成は不要）。WordPress サイトをパスワードで保護する方法については、ステップバイステップのガイドを参照してください。
検索エンジンのクロールとインデックスに関するエキスパートガイド
検索エンジンがあなたのサイトをクロールしないようにする方法はお分かりいただけたと思うので、WordPressの検索エンジンのクロールとインデックスに関するガイドをもう少しご覧いただきたい。
- WordPressのページをGoogleから非表示にする方法
- WordPressサイトをGoogleに登録するには？(初心者ガイド）
- なぜ私のWordPressサイトはGoogleからインデックス削除されたのか？
- WordPressサイトのURLをGoogleに再クロールしてもらう方法
- WordPressのRobots.txtをSEOのために最適化する方法
- WordPressのSEOクロール予算問題とその解決方法
この投稿が、検索エンジンによるWordPressサイトのクロールやインデックスを阻止するのにお役に立てば幸いです。また、サイトのパフォーマンスを高速化する方法や、専門家が選ぶ最高のWordPressランディングページプラグインもご覧ください。
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
Syed Balkhi says
Hey WPBeginner readers,
Did you know you can win exciting prizes by commenting on WPBeginner?
Every month, our top blog commenters will win HUGE rewards, including premium WordPress plugin licenses and cash prizes.
You can get more details about the contest from here.
Start sharing your thoughts below to stand a chance to win!
Jiří Vaněk says
I have read that often these procedures, as well as robots.txt, are only recommended behavior for a robot. How to avoid being searched for real. Is it possible, for example, to block the ranges of Google and Bing, for example, with the help of an .htaccess file?
WPBeginner Support says
You would use method 3 or 4 for completely blocking access to your site.
管理者
Jiří Vaněk says
I understand that, but I assume that then the website will not be public and only those who know the login and password will be able to access it? My idea was just to try to find the ip ranges of the bots and block them at the htacess file level eg. Does that make sense or is it nonsense?
WPBeginner Support says
There is no guarantee that the bots would not find the site at a later date with a different IP. If you want to be certain that your site is not crawled you would want it to be a private site, otherwise the best option is to use the robots.txt to request the site not be crawled.
mohadese esmaeeli says
Is the prevalent belief correct that having a large number of indexed pages within a site has no effect on indexing the rest of the pages?
WPBeginner Support says
Just because you have pages that are indexed on your site does not mean you can’t have other pages hidden from crawlers to prevent indexing.
管理者
Moinuddin Waheed says
I have been several times in the thinking while in the settings tab of the wordpress dashboard that why would any one would want to discourage Google to show the page or post from visibility. Today infact after reading this post , I came to know about the reasons why would anyone discourage search engine indexing.
it is very simple to do infact. we need to check the box in settings tab reading section where it asks to discourage search engines for visibility.
Thanks for clearing my long held doubt.
WPBeginner Support says
Glad we should share why someone would use the checkbox
管理者
Charlotte says
This is was just what I was looking for. After I moved my dev site to the client’s live site, I didn’t want any traffic coming back to the old one. Thank you!
WPBeginner Support says
Glad our guide was helpful
管理者
Ryan says
I deleted my site permanently from wordpress and when I google my name, the old wordpress site still appears, despite the fact that it’s gone. Can someone from the support team help me to delete it? I don’t want my clients getting confused with my actual, live site.
WPBeginner Support says
For your old site in the results on Google if you crawl the site as google it can help update Google’s cache. For more ways to completely remove the site you would want to take a look at our post here: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
管理者
Divyanshu says
if we disable indexing the wordpress site to prevent it from hackers, then will it affect google indexing or not, and if then how to allow google to index my pages
Andy says
Doesn’t seem to work. Followed the directions with confidence. My subdomain is still publicly viewable.
WPBeginner Support says
Hi Andy,
If you have password protected your subdomain directory, then please review its settings again in cPanel. If everything looks alright, then you may want to contact your WordPress hosting provider.
管理者
Jay says
Yeah, whats written under “Discourage search engines from indexing site” is very true. Google doesnt seems to honor this
chinju says
Hi, I have a doubt that if website have 1 million subpages, search engine block all subpage when we add
User-agent: *
Disallow: /
in robots file?
Shekhar Sardar says
Yes. Adding Disallow:/ in robot.txt will tell all search engine bots, do not crawl this site or web page.
anand says
i want memebership pages member profile page to be not indes by any search engines how to do ????
Kenneth says
I tried this but it messed up my .htccess for my WordPress install.
So proceed with caution.
Joojo says
Hello,
I’m currently having a WordPress.com Blog (Free Plan) & desire to sell my Digital Stuff online without setting-up a website and relying wholly on the Blog, at first (have been short of funds). Thus, going through with this thought I have made changes to my Blog, under this after making the payment, the customer is redirected to my blog page haivng a link to download the digital content. So, I just want the payment gateway to be able to redirect the traffic to the Download page on my blog and not have it searchable via search engines, etc. & neither be it listed under the WordPress.com Posts list/Pages, etc. because if the download page is searchable by the Search Engines & listed under my Blog’s post, I wouldn’t earn anything because then the customer would directly download the content without making the payment.
Regards,
Joojo.
Jennifer says
I’m learning WP now and designing my site. For now, I don’t want the site crawled, so I’ve checked the Search Engine Visibility Box and I’ve add the password protection. However, in a few months, I’ll want the site to go live and I’ll want visitors to my site. If I uncheck the Search Engine Visibility box and take off the password protection, will the robots nofollow header automatically be updated? Or will I have to manually update this in the header section?
WPBeginner Support says
Yes, it will be. However, to be extra sure you need to submit your site’s xml sitemap using Google webmaster tools. This will allow you to see if any crawl errors are found on your site.
管理者
Ryan says
Is it possible to block only specific pages on your site, rather than blocking the entire site?
Chad says
WordPress offers a Password Protect Option on any of your pages and posts. Simply change “visibility” in your page or post edit to “password protected”.
WPBeginner Staff says
Please take a look at this thread.
Patrick says
How can I get Google and bing to crawl my site while stopping SeMalt from crawling my site. SeMalt sends traffic to my site making it look like I have more hits, however thesclicks leave my site straight away and by so doing so increase the bounce rate to my wordpress site.
Any help on this matter would be great.
Patrick
Pawan Reddy says
Thanks for this tip. I didn’t know this was possible