Geçtiğimiz günlerde kullanıcılarımızdan biri bize arama motorlarının WordPress sitelerini taramasını ve indekslemesini nasıl engelleyebileceklerini sordu.
Arama motorlarının web sitenizi taramasını ve arama sonuçlarında listelemesini durdurmak isteyeceğiniz birkaç senaryo vardır.
Bu makalede, arama motorlarının bir WordPress sitesini taramasını nasıl durduracağınızı göstereceğiz.
Arama Motorlarının WordPress Sitesini Taramasını Neden Durduralım?
Çoğu WordPress web sitesi için arama motorları en büyük trafik kaynağıdır. Neden birileri arama motorlarının cesaretini kırmak istesin ki diye sorabilirsiniz.
İşte arama motorlarının web sitenizi dizine eklemesini istemeyeceğiniz bazı durumlar:
- Başlangıç aşamasında, yerel bir geliştirme ortamını veya bir hazırlık sitesini nasıl oluşturacağınızı bilmiyor olabilirsiniz ve bunun yerine web sitenizi yayında iken geliştirirsiniz. Siteniz yapım aşamasındayken veya bakım modundayken Google’ın sitenizi dizine eklemesini istemezsiniz.
- WordPress’i özel bloglar oluşturmak için kullanan birçok insan da var. Özel oldukları için arama motorları tarafından indekslenmelerini istemezler.
- WordPress’i proje yönetimi veya bir intranet için kullanabilirsiniz. Bu durumlarda, dahili belgelerinizin herkesin erişimine açık olmasını istemezsiniz.
Yaygın bir yanlış kanı, alan adınıza işaret eden bağlantılarınız yoksa arama motorlarının web sitenizi muhtemelen asla bulamayacağıdır. Bu tamamen doğru değildir.
Örneğin, alan adı daha önce başka birine ait olduğu için sitenizi işaret eden bağlantılar olabilir. Ayrıca, internette sadece alan adlarını listeleyen binlerce sayfa vardır. Siteniz bunlardan birinde görünebilir.
Bununla birlikte, arama motorlarının web sitenizi taramasını nasıl engelleyeceğinize bir göz atalım. Dört yöntemi ele alacağız:
Yöntem 1: Arama Motorlarından WordPress Sitenizi Taramamalarını İstemek
Bu en basit yöntemdir ancak web sitenizi taranmaya karşı tam olarak korumaz.
WordPress, arama motorlarına sitenizi indekslememeleri talimatını vermenizi sağlayan yerleşik bir özellikle birlikte gelir. Tek yapmanız gereken Ayarlar ” Okuma bölümünü ziyaret etmek ve ‘Arama Motoru Görünürlüğü’nün yanındaki kutuyu işaretlemektir.
Bu kutu işaretlendiğinde, WordPress bu satırı web sitenizin başlığına ekler:
<meta name='robots' content='noindex,follow' />
WordPress ayrıca sitenizin robots.txt dosyasını değiştirir ve buna bir disallow kuralı ekler:
User-agent: *
Disallow: /
Bu satırlar robotlardan (web tarayıcıları veya botlar) web sayfalarınızı dizine eklememelerini ister. Ancak, bu isteği kabul etmek veya görmezden gelmek tamamen arama motorlarına bağlıdır. Çoğu arama motoru bu isteğe saygı duysa da, sitenizdeki bazı sayfaların veya resimlerin dizine eklenme ihtimali hala vardır.
Arama motorlarının web sitenizi indekslemesini veya taramasını imkansız hale getirmek istiyorsanız, WordPress sitenizi Yöntem 3 veya 4 kullanarak parola ile korumanız gerekecektir.
Yöntem 2: Arama Motorlarından Sayfaları Tek Tek Taramamalarını İstemek
Arama motorlarının web sitenizi taramasını ve dizine eklemesini, ancak belirli bir gönderiyi veya belirli bir sayfayı arama sonuçları sayfalarına dahil etmemesini isteyebilirsiniz.
Bunu yapmanın en kolay yolu All in One SEO (AIOSEO) eklentisini kullanmaktır. WordPress için en iyi SEO aracıdır ve 3 milyondan fazla işletme tarafından güvenilmektedir.
Bu eğitimde, SEO Analiz aracını içerdiği için AIOSEO ücretsiz sürümünü kullanacağız. AIOSEO ‘nun site haritası araçları, yeniden yönlendirme yöneticisi, şema işaretleme, robots.txt editörü ve daha fazlası gibi daha fazla özellik sunan premium bir sürümü de vardır.
Yapmanız gereken ilk şey AIOSEO eklentisini web sitenize yüklemek ve etkinleştirmektir. WordPress için All in One SEO‘nun nasıl kurulacağına ilişkin adım adım kılavuzumuzu takip ederek eklentinin nasıl kurulacağını ve yapılandırılacağını öğrenebilirsiniz.
Eklenti kurulduktan sonra, arama motorlarından belirli yazıları ve sayfaları dizine eklememelerini istemek için kullanabilirsiniz. Yine, bu isteği kabul etmek veya görmezden gelmek tamamen arama motorlarına bağlıdır.
Dizine eklenmesini istemediğiniz yazıyı veya sayfayı düzenlemeniz yeterlidir. WordPress editörünün alt kısmındaki AIOSEO Ayarları’na gitmeniz ve ardından ‘Gelişmiş’ sekmesine tıklamanız gerekir.
Makalenin varsayılan robot ayarlarını kullandığına dikkat edin.
Bunu değiştirmek için, ‘Varsayılan Ayarları Kullan’ geçişini kapalı konuma getirmeniz gerekir.
Şimdi ‘Dizin Yok’ onay kutusunu tıklayabilirsiniz. Gönderi yayınlandıktan veya güncellendikten sonra, arama motorlarından dizine eklememeleri istenecektir.
Daha fazla bilgi edinmek için ayrıntılı AIOSEO incelememize bakın.
Yöntem 3: cPanel Kullanarak Tüm Siteyi Parola ile Koruma
WordPress barındırma sağlayıcınız barındırma hesabınızı yönetmek için cPanel erişimi sunuyorsa, cPanel’i kullanarak tüm sitenizi koruyabilirsiniz.
Tek yapmanız gereken cPanel kontrol panelinizde oturum açmak ve ardından ‘Dosyalar’ bölümündeki ‘Dizin Gizliliği’ simgesine tıklamaktır.
Ardından, WordPress’i yüklediğiniz klasörü bulmanız gerekir. Bu genellikle public_html klasörüdür.
Bundan sonra, bu klasörün yanındaki ‘Düzenle’ düğmesine tıklamanız yeterlidir.
Not: public_html dizini altında birden fazla WordPress sitesi yüklüyse, bu sitelere göz atmak için public_html bağlantısına tıklamanız ve ardından parola ile korumak istediğiniz web sitesinin klasörünü düzenlemeniz gerekir.
Bu sizi parola korumasını açabileceğiniz bir ekrana getirir.
‘Bu dizini parola ile koru’ yazan kutuyu işaretleyin ve ‘Kaydet’ düğmesine tıklayın. İsterseniz, korunan dizinin adını da özelleştirebilirsiniz.
Dizin için erişim izinlerinin değiştirildiğini belirten bir onay mesajı göreceksiniz.
Ardından, ‘Geri Git’ düğmesine tıklamalısınız.
Bu dizine erişirken kullanmanız gereken bir kullanıcı adı ve şifre oluşturabileceğiniz bir ekrana yönlendirileceksiniz.
Bir kullanıcı adı ve parola girmeniz ve ardından parolayı onaylamanız gerekir. Kullanıcı adınızı ve şifrenizi, şifre yöneticisi uygulaması gibi güvenli bir yere not ettiğinizden emin olun.
‘Kaydet’ düğmesine tıkladığınızda, WordPress sitenize şifre korumasını başarıyla eklemiş olursunuz.
Artık bir kullanıcı veya arama motoru web sitenizi her ziyaret ettiğinde, siteyi görüntülemek için daha önce oluşturduğunuz kullanıcı adı ve şifreyi girmeleri istenecektir.
Yöntem 4: WordPress’i Bir Eklenti ile Parola Korumaya Alma
Yönetilen bir WordPress barındırma çözümü kullanıyorsanız cPanel’e erişiminiz olmayabilir. Bu durumda, sitenizi parola ile korumak için bir WordPress eklentisi kullanabilirsiniz.
İşte en popüler iki çözüm:
- SeedProd, 800.000’den fazla web sitesinde kullanılan WordPress için 1 numaralı yakında ve bakım modu eklentisidir. Web sitenizi arama motorları da dahil olmak üzere herkesten gizlemek için kullanabileceğiniz eksiksiz erişim kontrolü ve izin özellikleri ile birlikte gelir. SeedProd için adım adım bir nasıl yapılır kılavuzumuz var.
- Parola Korumalı, WordPress sitenizi tek bir parola ile korumanın çok basit bir yoludur (kullanıcı oluşturmaya gerek yoktur). Bir WordPress sitesinin nasıl parola ile korunacağına ilişkin adım adım kılavuzumuza bakın.
Arama Motoru Taraması ve İndeksleme Hakkında Uzman Kılavuzları
Artık arama motorlarının sitenizi taramasını nasıl engelleyeceğinizi bildiğinize göre, WordPress’te arama motoru taraması ve indeksleme hakkında daha fazla kılavuz görmek isteyebilirsiniz.
- Bir WordPress Sayfası Google’dan Nasıl Gizlenir
- WordPress Sitemin Google’da Listelenmesini Nasıl Sağlarım? (Yeni Başlayanlar İçin Rehber)
- WordPress Sitem Neden Google’dan İndeks Dışı Bırakıldı?
- Google’dan WordPress Sitenizin URL’lerini Yeniden Taramasını İsteme
- SEO için WordPress Robots.txt Nasıl Optimize Edilir?
- WordPress SEO Tarama Bütçesi Sorunu ve Nasıl Düzeltilir?
Umarız bu makale arama motorlarının WordPress sitenizi taramasını veya dizine eklemesini engellemenize yardımcı olmuştur. Web sitenizin performansını nasıl hızlandıracağınıza ilişkin kılavuzumuzu veya en iyi WordPress açılış sayfası eklentileri için uzman seçimlerimizi de görmek isteyebilirsiniz.
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
Syed Balkhi says
Hey WPBeginner readers,
Did you know you can win exciting prizes by commenting on WPBeginner?
Every month, our top blog commenters will win HUGE rewards, including premium WordPress plugin licenses and cash prizes.
You can get more details about the contest from here.
Start sharing your thoughts below to stand a chance to win!
Jiří Vaněk says
I have read that often these procedures, as well as robots.txt, are only recommended behavior for a robot. How to avoid being searched for real. Is it possible, for example, to block the ranges of Google and Bing, for example, with the help of an .htaccess file?
WPBeginner Support says
You would use method 3 or 4 for completely blocking access to your site.
Yönetici
Jiří Vaněk says
I understand that, but I assume that then the website will not be public and only those who know the login and password will be able to access it? My idea was just to try to find the ip ranges of the bots and block them at the htacess file level eg. Does that make sense or is it nonsense?
WPBeginner Support says
There is no guarantee that the bots would not find the site at a later date with a different IP. If you want to be certain that your site is not crawled you would want it to be a private site, otherwise the best option is to use the robots.txt to request the site not be crawled.
mohadese esmaeeli says
Is the prevalent belief correct that having a large number of indexed pages within a site has no effect on indexing the rest of the pages?
WPBeginner Support says
Just because you have pages that are indexed on your site does not mean you can’t have other pages hidden from crawlers to prevent indexing.
Yönetici
Moinuddin Waheed says
I have been several times in the thinking while in the settings tab of the wordpress dashboard that why would any one would want to discourage Google to show the page or post from visibility. Today infact after reading this post , I came to know about the reasons why would anyone discourage search engine indexing.
it is very simple to do infact. we need to check the box in settings tab reading section where it asks to discourage search engines for visibility.
Thanks for clearing my long held doubt.
WPBeginner Support says
Glad we should share why someone would use the checkbox
Yönetici
Charlotte says
This is was just what I was looking for. After I moved my dev site to the client’s live site, I didn’t want any traffic coming back to the old one. Thank you!
WPBeginner Support says
Glad our guide was helpful
Yönetici
Ryan says
I deleted my site permanently from wordpress and when I google my name, the old wordpress site still appears, despite the fact that it’s gone. Can someone from the support team help me to delete it? I don’t want my clients getting confused with my actual, live site.
WPBeginner Support says
For your old site in the results on Google if you crawl the site as google it can help update Google’s cache. For more ways to completely remove the site you would want to take a look at our post here: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Yönetici
Divyanshu says
if we disable indexing the wordpress site to prevent it from hackers, then will it affect google indexing or not, and if then how to allow google to index my pages
Andy says
Doesn’t seem to work. Followed the directions with confidence. My subdomain is still publicly viewable.
WPBeginner Support says
Hi Andy,
If you have password protected your subdomain directory, then please review its settings again in cPanel. If everything looks alright, then you may want to contact your WordPress hosting provider.
Yönetici
Jay says
Yeah, whats written under “Discourage search engines from indexing site” is very true. Google doesnt seems to honor this
chinju says
Hi, I have a doubt that if website have 1 million subpages, search engine block all subpage when we add
User-agent: *
Disallow: /
in robots file?
Shekhar Sardar says
Yes. Adding Disallow:/ in robot.txt will tell all search engine bots, do not crawl this site or web page.
anand says
i want memebership pages member profile page to be not indes by any search engines how to do ????
Kenneth says
I tried this but it messed up my .htccess for my WordPress install.
So proceed with caution.
Joojo says
Hello,
I’m currently having a WordPress.com Blog (Free Plan) & desire to sell my Digital Stuff online without setting-up a website and relying wholly on the Blog, at first (have been short of funds). Thus, going through with this thought I have made changes to my Blog, under this after making the payment, the customer is redirected to my blog page haivng a link to download the digital content. So, I just want the payment gateway to be able to redirect the traffic to the Download page on my blog and not have it searchable via search engines, etc. & neither be it listed under the WordPress.com Posts list/Pages, etc. because if the download page is searchable by the Search Engines & listed under my Blog’s post, I wouldn’t earn anything because then the customer would directly download the content without making the payment.
Regards,
Joojo.
Jennifer says
I’m learning WP now and designing my site. For now, I don’t want the site crawled, so I’ve checked the Search Engine Visibility Box and I’ve add the password protection. However, in a few months, I’ll want the site to go live and I’ll want visitors to my site. If I uncheck the Search Engine Visibility box and take off the password protection, will the robots nofollow header automatically be updated? Or will I have to manually update this in the header section?
WPBeginner Support says
Yes, it will be. However, to be extra sure you need to submit your site’s xml sitemap using Google webmaster tools. This will allow you to see if any crawl errors are found on your site.
Yönetici
Ryan says
Is it possible to block only specific pages on your site, rather than blocking the entire site?
Chad says
WordPress offers a Password Protect Option on any of your pages and posts. Simply change “visibility” in your page or post edit to “password protected”.
WPBeginner Staff says
Please take a look at this thread.
Patrick says
How can I get Google and bing to crawl my site while stopping SeMalt from crawling my site. SeMalt sends traffic to my site making it look like I have more hits, however thesclicks leave my site straight away and by so doing so increase the bounce rate to my wordpress site.
Any help on this matter would be great.
Patrick
Pawan Reddy says
Thanks for this tip. I didn’t know this was possible