Robots.txt, bir web sitesinin web tarama botlarına talimatlar vermesini sağlayan bir metin dosyasıdır.
Google gibi arama motorlarına sitenizi indekslerken web sitenizin hangi bölümlerine erişebileceklerini ve erişemeyeceklerini söyler.
Bu, robots.txt’yi SEO için güçlü bir araç haline getirir ve belirli sayfaların Google arama sonuçlarında görünmemesini sağlamak için de kullanılabilir.
Robots.txt Nasıl Çalışır?
Robots.txt, arama motoru botlarına web sitenizde hangi sayfaların taranacağını ve dizine ekleneceğini söylemek için oluşturabileceğiniz bir metin dosyasıdır. Normalde web sitenizin kök dizininde saklanır.
Google gibi arama motorları, web sitelerini arşivlemek ve kategorize etmek için bazen web robotları olarak adlandırılan web tarayıcılarını kullanır. Çoğu bot, web sitesindeki başka herhangi bir dosyayı okumadan önce sunucuda bir robots.txt dosyası arayacak şekilde yapılandırılmıştır. Bir bot bunu, bir web sitesinin sahibinin sitelerini tarama ve dizine ekleme konusunda özel talimatları olup olmadığını görmek için yapar.
Robots.txt dosyası, bottan belirli dosyaları veya dizinleri görmezden gelmesini isteyen bir dizi talimat içerir. Bunun nedeni gizlilik olabilir veya web sitesi sahibi bu dosya ve dizinlerin içeriğinin web sitesinin arama motorlarındaki kategorizasyonuyla ilgisiz olduğuna inanıyor olabilir.
İşte bir robots.txt dosyası örneği:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Bu örnekte, ‘User-Agent’ ifadesinden sonra gelen yıldız işareti ‘*’, talimatların tüm arama motorları için olduğunu belirtir.
Ardından, arama motorlarının WordPress uploads klasörümüzdeki dosyaları taramasına ve dizine eklemesine izin veriyoruz. Ardından, eklentileri ve WordPress yönetici klasörlerini taramalarına ve indekslemelerine izin vermiyoruz.
Bir URL’ye izin vermezseniz, arama motoru botlarının bu URL’yi dizine ekleyebileceklerini varsayacaklarını unutmayın.
Son olarak, XML site haritamızın URL’sini sağladık.
WordPress’te Robots.txt Dosyası Nasıl Oluşturulur
Robots.txt dosyası oluşturmanın en kolay yolu All in One SEO kullanmaktır. Piyasadaki en iyi WordPress SEO eklentisidir ve kullanımı kolay bir robots.txt dosyası oluşturucu ile birlikte gelir.
Kullanabileceğiniz bir diğer araç, web sitenize kolayca ve güvenli bir şekilde özel kod eklemenizi sağlayan güçlü bir kod parçacıkları eklentisi olan WPCode‘dur. Pro sürümü, robots.txt dosyasını hızlı bir şekilde düzenlemenizi sağlayan kullanışlı bir özellik içerir.
Ancak, kod yazmaya aşina iseniz robots.txt dosyasını manuel olarak oluşturabilirsiniz. Robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekecektir. Alternatif olarak, WordPress hosting’iniz tarafından sağlanan dosya yöneticisini kullanabilirsiniz.
Robots.txt dosyası oluşturma hakkında daha fazla ayrıntı için WordPress robots .txt dosyanızı SEO için nasıl optimize edeceğinize ilişkin kılavuzumuza bakın.
Arama Motorlarının Bir Siteyi Taramasını Durdurmak için Robots.txt Nasıl Kullanılır
Arama motorları çoğu web sitesi için en büyük trafik kaynağıdır. Ancak, arama motorlarının sitenizi indekslemesini engellemek isteyebileceğiniz birkaç neden vardır.
Örneğin, web sitenizi hala inşa ediyorsanız, arama sonuçlarında görünmesini istemezsiniz. Aynı durum özel bloglar ve işletme intranetleri için de geçerlidir.
Robots.txt dosyanızdaki disallow kurallarını kullanarak arama motorlarından web sitenizin tamamını veya yalnızca belirli sayfaları dizine eklememelerini isteyebilirsiniz. Arama motorlarının bir WordPress sitesini taramasını nasıl durduracağınıza ilişkin kılavuzumuzda ayrıntılı talimatlar bulabilirsiniz.
Bu kuralları robots.txt dosyanıza otomatik olarak eklemek için All in One SEO gibi araçları kullanabilirsiniz.
Tüm botların bir robots.txt dosyasına saygı göstermeyeceğini unutmamak önemlidir. Hatta bazı kötü niyetli botlar robots.txt dosyasını okuyarak ilk olarak hangi dosya ve dizinleri hedeflemeleri gerektiğini bulabilirler.
Ayrıca, bir robots.txt dosyası botlara sitedeki belirli sayfaları görmezden gelme talimatı verse bile, bu sayfalar taranan diğer sayfalara bağlıysa arama sonuçlarında görünmeye devam edebilir.
Umarız bu makale WordPress’te robots.txt hakkında daha fazla bilgi edinmenize yardımcı olmuştur. Ayrıca yararlı WordPress ipuçları, püf noktaları ve fikirleriyle ilgili makaleler için aşağıdaki Ek Okuma listemize de göz atmak isteyebilirsiniz.
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
