Robots.txt to plik tekstowy, który umożliwia witrynie internetowej przekazywanie instrukcji robotom indeksującym.
Informuje wyszukiwarki takie jak Google, do których części Twojej witryny internetowej mogą mieć dostęp, a do których nie, podczas indeksowania witryny.
To sprawia, że robots.txt jest potężnym narzędziem dla SEO i może być również używany do zapewnienia, że niektóre strony nie pojawiają się w wynikach wyszukiwania Google.
Jak działa plik robots.txt?
Robots.txt to plik tekstowy, który można utworzyć, aby poinformować boty wyszukiwarek, które strony mają być indeksowane w twojej witrynie internetowej. Zazwyczaj jest on przechowywany w katalogu głównym twojej witryny internetowej.
Wyszukiwarki takie jak Google używają robotów indeksujących, czasami nazywanych robotami internetowymi, do archiwizowania i kategoryzowania witryn internetowych. Większość botów jest skonfigurowana do wyszukiwania pliku robots.txt na serwerze przed odczytaniem jakiegokolwiek innego pliku z witryny internetowej. Bot robi to, aby sprawdzić, czy właściciel witryny internetowej ma specjalne instrukcje dotyczące indeksowania jego witryny.
Plik robots.txt zawiera zestaw instrukcji, które proszą bota o zignorowanie określonych plików lub katalogów. Może to mieć na celu ochronę prywatności lub dlatego, że właściciel witryny internetowej uważa, że treść tych plików i katalogów jest nieistotna dla kategoryzacji witryny w wyszukiwarkach.
Oto przykład pliku robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
W tym przykładzie gwiazdka „*” po „User-Agent” określa, że instrukcje są przeznaczone dla wszystkich wyszukiwarek.
Następnie zezwalamy wyszukiwarkom na indeksowanie plików w katalogu uploads naszego WordPressa. Następnie uniemożliwiamy im indeksowanie wtyczek i katalogów administratora WordPress.
Należy pamiętać, że jeśli adres URL nie zostanie zablokowany, boty wyszukiwarek założą, że mogą go zaindeksować.
Na koniec podaliśmy adres URL naszej mapy witryny XML.
Jak utworzyć plik robots.txt w WordPress?
Najprostszym sposobem na utworzenie pliku robots.txt jest użycie All in One SEO. Jest to najlepsza wtyczka WordPress SEO na rynku i zawiera łatwy w użyciu generator pliku robots.txt.
Innym narzędziem, którego możesz użyć, jest WPCode, potężna wtyczka fragmentów kodu, która pozwala łatwo i bezpiecznie dodawać własny kod do twojej witryny internetowej. Wersja Pro zawiera przydatną funkcję, która pozwala szybko edytować plik robots.txt.
Jeśli jednak jesteś zaznajomiony z kodem, możesz utworzyć plik robots.txt ręcznie. Do edycji pliku robots.txt należy użyć klienta FTP. Alternatywnie możesz użyć menedżera plików dostarczonego przez twój hosting WordPress.
Aby uzyskać więcej informacji na temat tworzenia pliku robots.txt, zapoznaj się z naszym przewodnikiem na temat optymalizacji pliku robots.txt WordPress pod kątem SEO.
Jak używać pliku robots.txt do zatrzymania indeksowania witryny przez wyszukiwarki?
Wyszukiwarki są największym źródłem ruchu dla większości witryn internetowych. Istnieje jednak kilka powodów, dla których warto zniechęcić wyszukiwarki do indeksowania twojej witryny.
Na przykład, jeśli nadal budujesz swoją witrynę internetową, nie chcesz, aby pojawiała się ona w wynikach wyszukiwania. To samo dotyczy prywatnych blogów i intranetów biznesowych.
Możesz użyć reguł disallow w pliku robots.txt, aby poprosić wyszukiwarki o nieindeksowanie całej twojej witryny internetowej lub tylko niektórych stron. Szczegółowe instrukcje znajdziesz w naszym przewodniku na temat tego, jak uniemożliwić wyszukiwarkom indeksowanie witryny WordPress.
Możesz użyć narzędzi takich jak All in One SEO, aby automatycznie dodać te reguły do twojego pliku robots.txt.
Należy importować, że nie wszystkie boty będą honorować plik robots.txt. Niektóre złośliwe boty będą nawet czytać plik robots.txt, aby dowiedzieć się, które pliki i katalogi powinny być ich celem w pierwszej kolejności.
Ponadto, nawet jeśli plik robots.txt instruuje boty, aby ignorowały określone strony w witrynie, strony te mogą nadal pojawiać się w wynikach wyszukiwania, jeśli są odnośnikami do innych zaindeksowanych stron.
Mamy nadzieję, że ten artykuł pomógł ci dowiedzieć się więcej o pliku robots.txt w WordPress. Możesz również zapoznać się z naszą listą dodatkowych lektur poniżej, aby znaleźć powiązane artykuły na temat przydatnych wskazówek, sztuczek i pomysłów WordPress.
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
Dodatkowe lektury
- SEO
- Jak zoptymalizować twój WordPress Robots.txt pod kątem SEO
- Co to jest mapa witryny XML? Jak utworzyć mapę witryny w WordPress
- Jak dodać Twoją witrynę WordPress do Google Search Console
- Jak powstrzymać wyszukiwarki przed indeksowaniem witryny WordPress
- Jak ukryć stronę WordPress przed Google (4 metody)
