Robots.txt är en textfil som allowar en website att ge instruktioner till web-crawling bots.
Den talar om för search engines som Google vilka delar av din website de kan och inte kan komma åt när de indexerar din site.
Det gör Robots.txt till ett kraftfullt verktyg för sökmotorsoptimering och kan också användas för att se till att vissa pages inte visas i Googles sökresultat.
Hur fungerar Robots.txt?
Robots.txt är en textfil som du kan skapa för att tala om för sökmotorns robotar vilka pages som ska crawlas och indexeras på din website. Den lagras normalt i root directory på din website.
Search engines som Google använder web crawlers, ibland anropade web robots, för att archive och kategorisera websites. De flesta robotar är konfigurerade att söka efter en Robots.txt-fil på servern innan de läser någon annan fil från webbplatsen. En bot gör detta för att se om webbplatsens ägare har särskilda instruktioner om crawl och indexering av sin site.
Filen Robots.txt innehåller en uppsättning instruktioner som requestar bot att ignorera specifika filer eller directories. Detta kan bero på integritet eller på att webbplatsens ägare anser att innehållet i dessa filer och directories är irrelevant för webbplatsens kategorisering i search engines.
Här är ett exempel på en Robots.txt-fil:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
I det här exemplet anger asterisken ”*” efter ”User-Agent” att instruktionerna är avsedda för all search engines.
Därefter allow search engines to crawl and index files in our WordPress uploads folder. Sedan tillåter vi dem inte att crawla och indexera tillägg och WordPress admin folders.
Obs/observera att om du inte förbjuder en URL kommer sökmotorns robotar att anta att de kan indexera den.
Slutligen har vi angett URL:en till vår XML-webbplatskarta.
Så här skapar du en Robots.txt-fil i WordPress
Det enklaste sättet att skapa en Robots.txt-fil är att använda All in One SEO. Det är det bästa pluginet för sökmotorsoptimering för WordPress på marknaden och kommer med en användarvänlig generator för robots.txt-filen.
Ett annat verktyg du kan använda är WPCode, ett kraftfullt code snippets plugin som låter dig lägga till custom code till din website enkelt och säkert. Pro-versionen innehåller en praktisk funktion som gör att du snabbt kan edit filen Robots.txt.
Men om du är bekant med kod kan du skapa filen Robots.txt manuellt. Du måste använda en FTP-klient för att editera filen Robots.txt. Alternativt kan du använda filhanteraren som tillhandahålls av ditt WordPress-webbhotell.
För mer details om hur du skapar en robots.txt-fil, se vår guide om hur du optimerar din WordPress robots.txt för sökmotorsoptimering.
Hur man använder Robots.txt för att hindra search engines från att crawla en site
Search engines är den största trafikkällan för de flesta websites. Det finns dock några skäl till varför du kanske vill avskräcka search engines från att indexera din site.
Om you till exempel fortfarande håller på att bygga upp din website vill du inte att den ska visas i sökresultaten. Samma sak gäller för privata bloggar och företagsintranät.
Du kan använda disallow-regler i din Robots.txt-fil för att be search engines att inte indexera hela din website eller ej bara vissa pages. Du hittar detaljerade instruktioner i vår guide om hur du hindrar search engines från att crawla en site i WordPress.
Du kan använda tools som All in One SEO för att automatiskt add to dessa regler till din robots.txt-fil.
Det är viktigt att obs/observera att ej alla robotar kommer att respektera en Robots.txt-fil. Vissa skadliga robotar läser till och med filen robots.txt för att ta reda på vilka filer och directories de ska rikta in sig på först.
Även om en Robots.txt-fil instruerar robotar att ignorera specifika sidor på webbplatsen kan dessa sidor fortfarande visas i sökresultaten om de är länkade till andra crawlade sidor.
Vi hoppas att den här artikeln hjälpte dig att lära dig mer om robots.txt i WordPress. Du kanske också vill se vår lista med ytterligare Läsa under för relaterade artiklar om användbara WordPress-tips, tricks och idéer.
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
Ytterligare läsning
- Så här optimerar du din Robots.txt i WordPress för sökmotorsoptimering
- Så här addar du din site i WordPress till Google Search Console
- Så här hindrar du search engines från att crawla en site i WordPress
- SÖKMOTORSOPTIMERING
- Vad är en Sitemap i XML? Så här skapar du en Sitemap i WordPress
- Så här döljer du en page i WordPress från Google (4 metoder)
