Nyligen frågade några av våra användare oss hur de skulle göra för att hålla sina WordPress-webbplatser privata så att de inte skulle visas i Googles sökresultat. En av deras webbplatser var ännu inte redo för allmänheten, medan en annan användare hade en privat webbplats för en specifik grupp människor.
Att hindra sökmotorer från att genomsöka din webbplats är en enkel process, men det är viktigt att förstå hur det fungerar. Sökmotorer använder automatiserade program som kallas ”crawlers” för att upptäcka och indexera webbplatser. För att dölja din webbplats måste du instruera dessa crawlers att ignorera ditt innehåll.
I den här artikeln får du veta hur du hindrar sökmotorer från att genomsöka din WordPress-webbplats. Vi förklarar de olika stegen och ger dig råd om hur du bäst gör för att uppfylla dina specifika behov.
Varför hindra search engines från att crawla en site i WordPress?
För de flesta WordPress websites är search engines den största trafikkällan. You kanske undrar varför någon skulle vilja motarbeta search engines?
Här är några situationer när du inte vill att search engines ska indexera din website:
- När du börjar kanske du ej vet hur man skapar en lokal utvecklingsmiljö eller en staging site, och istället utvecklar du din website medan den är live. Du vill inte att Google ska indexera din site när den är under uppbyggnad eller i underhållsläge.
- Det finns också många människor som använder WordPress för att skapa privata bloggar. De vill inte att de ska indexeras av search engines eftersom de är privata.
- Du kan använda WordPress för hantering av projekt eller för ett intranät. I dessa fall vill du inte att dina interna dokument ska vara tillgängliga för allmänheten.
En vanlig missuppfattning är att om du inte har links som pekar till din domän, så kommer search engines förmodligen aldrig att hitta din website. Detta är ej helt sant.
Det kan t.ex. finnas links som pekar till din site eftersom domain name tidigare ägdes av någon annan. Det finns också tusentals pages på internet som helt enkelt listar domain names. Your site kan dyka upp på en av dessa.
Med det sagt, låt oss ta en titt på hur man hindrar search engines från att crawla din website. Vi kommer att täcka fyra metoder:
Metod 1: Be search engines att ej crawla din site i WordPress
Detta är den enklaste metoden men skyddar inte din website helt från att bli crawlad.
WordPress kommer med en utvald funktion som allowar dig att instruera search engines att inte indexera din site. Allt du behöver göra är att gå till Settings ” Läsa och kontrollera boxen bredvid ’Search Engine Visibility’.
När den här boxen är kontrollerad addar WordPress den här raden till din websites header:
<meta name='robots' content='noindex,follow' />
WordPress ändrar också din sites robots.txt-fil och addar en disallow-regel till den:
User-agent: *
Disallow: /
Dessa rader ber robotar (web crawlers eller bots) att ej indexera dina pages. Det är dock helt upp till search engines att godkänna denna request eller ignorera den. Även om de flesta search engines respekterar request finns det fortfarande en chans att vissa pages eller images från din site indexeras.
Om du vill göra det omöjligt för search engines att indexera eller crawla din website måste du skydda din WordPress site med password genom att använda metod 3 eller 4.
Metod 2: Be search engines att ej crawla enskilda pages
Du kanske vill att search engines ska crawla och indexera din website, eller ej inkludera ett visst post eller en specifik page i sökresultaten.
Det enklaste sättet att göra det är att använda All in One SEO (AIOSEO) plugin. Det är det bästa verktyget för sökmotorsoptimering för WordPress och används av över 3 miljoner företag.
För denna tutorial kommer vi att använda den gratis versionen av AIOSEO eftersom den innehåller verktyget för sökmotorsoptimering. Det finns också en premiumversion av AIOSEO som erbjuder fler funktioner som tools för webbplatskartor, redirection manager, schema markup, robots.txt editor och mer.
Det första du behöver göra är att installera och aktivera pluginet AIOSEO på din website. Du kan lära dig hur du installerar och konfigurerar pluginet genom att följa vår Step-by-Step guide om hur du ställer in All in One SEO för WordPress.
När pluginet är konfigurerat kan du använda det för att be search engines att ej indexera vissa posts och pages. Återigen är det helt upp till search engines att godkänna denna request eller ignorera den.
Du behöver bara editera det post eller den page som du inte vill ska indexeras. Du måste rulla ner till AIOSEO Settings längst ner i WordPress editor och sedan klicka på tabben ”Advanced”.
Notice that the article is using the standard robots settings.
För att ändra detta måste du toggle ”Use Default Settings” till positionen off.
Nu kan du klicka på checkboxen ”No Index”. När posten har publicerats eller uppdaterats kommer search engines att bli ombedda att ej indexera den.
För att lära dig mer, se vår detaljerade AIOSEO review.
Metod 3: Skydda en hel site med password med hjälp av cPanel
Om din hosting provider för WordPress erbjuder cPanel-åtkomst för att hantera ditt hosting account, kan du skydda hela din site med hjälp av cPanel.
Allt du behöver göra är att logga in på din cPanel dashboard och sedan klicka på ”Directory Privacy” icon i ”Files” section.
Därefter måste du hitta den folder där du installerade WordPress. Vanligtvis är det mappen public_html.
Efter det klickar du bara på knappen ”Edit” bredvid den mappen.
Note: Om du har flera WordPress-webbplatser installerade under public_html directory, måste du clicka på public_html-länken för att browsa dessa webbplatser och sedan editera foldern för den website du vill skydda med password.
Då kommer du till en vy där du kan aktivera skydd med password.
Kontrollera bara boxen som säger ”Password protect this directory” och click the ”Save” button. Om du gillar det kan du också customize namnet på den skyddade katalogen.
You will see a confirmation message saying that the access permissions for the directory have been changed.
Därefter måste du clicka på knappen ”Go Back”.
You will be taken to a vy where you can create a användarnamn and password that will be needed to be used when accessing this directory.
Du måste enter ett användarnamn och ett lösenord och sedan bekräfta lösenordet. Se till att obs/observera användarnamn och password på en säker plats, t.ex. i en app för lösenordshantering.
När du klickar på knappen ”Save” har du utan problem lagt till ett skydd mot password på din WordPress site.
Nu, när en användare eller search engine besöker your website, kommer de att uppmanas att enter användarnamn och password som du skapade tidigare för att kunna view the website.
Metod 4: Password-skydd av WordPress med ett tillägg
Om du använder ett hanterat webbhotell för WordPress kanske du ej har tillgång till cPanel. I så fall kan du använda ett tillägg till WordPress för att skydda din site med password.
Här är de två mest populära lösningarna:
- SeedProd är #1 coming soon och underhållsläges plugin för WordPress, som används på över 800 000 websites. Det levereras med kompletta funktioner för åtkomstkontroll och behörighet som du kan använda för att dölja din website från alla, inklusive search engines. Vi har en Step-by-Step guide för SeedProd.
- Password Protected är ett mycket enkelt sätt att lösenordsskydda din WordPress site med ett enda lösenord (ingen användare behöver skapas). Se vår Step-by-Step guide om hur du lösenordskyddar en WordPress site.
Expert Guides on Search Engine Crawling and Indexing (guider för crawl och indexering av sökmotorer)
Vi hoppas att den här artikeln hjälpte dig att stoppa sökmotorer från att genomsöka eller indexera din WordPress-webbplats. Du kanske vill se några andra guider som rör sökmotorers genomsökning och indexering:
- Så här döljer du en page i WordPress från Google
- Hur får jag min site i WordPress listad på Google? (Guide för Beginnare)
- Varför blev min site i WordPress avindexerad från Google?
- Så här ber du Google att rekognosera URL:er på din site i WordPress
- Så här optimerar du din Robots.txt i WordPress för sökmotorsoptimering
- WordPress sökmotorsoptimering crawl budget problem och hur man fixar det
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
Jiří Vaněk
I have read that often these procedures, as well as robots.txt, are only recommended behavior for a robot. How to avoid being searched for real. Is it possible, for example, to block the ranges of Google and Bing, for example, with the help of an .htaccess file?
WPBeginner Support
You would use method 3 or 4 for completely blocking access to your site.
Administratör
Jiří Vaněk
I understand that, but I assume that then the website will not be public and only those who know the login and password will be able to access it? My idea was just to try to find the ip ranges of the bots and block them at the htacess file level eg. Does that make sense or is it nonsense?
WPBeginner Support
There is no guarantee that the bots would not find the site at a later date with a different IP. If you want to be certain that your site is not crawled you would want it to be a private site, otherwise the best option is to use the robots.txt to request the site not be crawled.
mohadese esmaeeli
Is the prevalent belief correct that having a large number of indexed pages within a site has no effect on indexing the rest of the pages?
WPBeginner Support
Just because you have pages that are indexed on your site does not mean you can’t have other pages hidden from crawlers to prevent indexing.
Administratör
Moinuddin Waheed
I have been several times in the thinking while in the settings tab of the wordpress dashboard that why would any one would want to discourage Google to show the page or post from visibility. Today infact after reading this post , I came to know about the reasons why would anyone discourage search engine indexing.
it is very simple to do infact. we need to check the box in settings tab reading section where it asks to discourage search engines for visibility.
Thanks for clearing my long held doubt.
WPBeginner Support
Glad we should share why someone would use the checkbox
Administratör
Charlotte
This is was just what I was looking for. After I moved my dev site to the client’s live site, I didn’t want any traffic coming back to the old one. Thank you!
WPBeginner Support
Glad our guide was helpful
Administratör
Ryan
I deleted my site permanently from wordpress and when I google my name, the old wordpress site still appears, despite the fact that it’s gone. Can someone from the support team help me to delete it? I don’t want my clients getting confused with my actual, live site.
WPBeginner Support
For your old site in the results on Google if you crawl the site as google it can help update Google’s cache. For more ways to completely remove the site you would want to take a look at our post here: https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Administratör
Divyanshu
if we disable indexing the wordpress site to prevent it from hackers, then will it affect google indexing or not, and if then how to allow google to index my pages
Andy
Doesn’t seem to work. Followed the directions with confidence. My subdomain is still publicly viewable.
WPBeginner Support
Hi Andy,
If you have password protected your subdomain directory, then please review its settings again in cPanel. If everything looks alright, then you may want to contact your WordPress hosting provider.
Administratör
Jay
Yeah, whats written under ”Discourage search engines from indexing site” is very true. Google doesnt seems to honor this
chinju
Hi, I have a doubt that if website have 1 million subpages, search engine block all subpage when we add
User-agent: *
Disallow: /
in robots file?
Shekhar Sardar
Yes. Adding Disallow:/ in robot.txt will tell all search engine bots, do not crawl this site or web page.
anand
i want memebership pages member profile page to be not indes by any search engines how to do ????
Kenneth
I tried this but it messed up my .htccess for my Wordpress install.
So proceed with caution.
Joojo
Hello,
I’m currently having a Wordpress.com Blog (Free Plan) & desire to sell my Digital Stuff online without setting-up a website and relying wholly on the Blog, at first (have been short of funds). Thus, going through with this thought I have made changes to my Blog, under this after making the payment, the customer is redirected to my blog page haivng a link to download the digital content. So, I just want the payment gateway to be able to redirect the traffic to the Download page on my blog and not have it searchable via search engines, etc. & neither be it listed under the Wordpress.com Posts list/Pages, etc. because if the download page is searchable by the Search Engines & listed under my Blog’s post, I wouldn’t earn anything because then the customer would directly download the content without making the payment.
Regards,
Joojo.
Jennifer
I’m learning WP now and designing my site. For now, I don’t want the site crawled, so I’ve checked the Search Engine Visibility Box and I’ve add the password protection. However, in a few months, I’ll want the site to go live and I’ll want visitors to my site. If I uncheck the Search Engine Visibility box and take off the password protection, will the robots nofollow header automatically be updated? Or will I have to manually update this in the header section?
WPBeginner Support
Yes, it will be. However, to be extra sure you need to submit your site’s xml sitemap using Google webmaster tools. This will allow you to see if any crawl errors are found on your site.
Administratör
Ryan
Is it possible to block only specific pages on your site, rather than blocking the entire site?
Chad
Wordpress offers a Password Protect Option on any of your pages and posts. Simply change ”visibility” in your page or post edit to ”password protected”.
WPBeginner Staff
Please take a look at this thread.
Patrick
How can I get Google and bing to crawl my site while stopping SeMalt from crawling my site. SeMalt sends traffic to my site making it look like I have more hits, however thesclicks leave my site straight away and by so doing so increase the bounce rate to my wordpress site.
Any help on this matter would be great.
Patrick
Pawan Reddy
Thanks for this tip. I didn’t know this was possible