Robots.txt est un fichier texte qui permet à un site web de fournir des instructions aux robots d’exploration.
Il indique aux moteurs de recherche comme Google les parties de votre site auxquelles ils peuvent ou ne peuvent pas accéder lors de l’indexation de votre site.
Robots.txt est donc un outil puissant pour le référencement et peut également être utilisé pour s’assurer que certaines pages n’apparaissent pas dans les résultats de recherche de Google.
Comment fonctionne Robots.txt ?
Robots.txt est un fichier texte que vous pouvez créer pour indiquer aux moteurs de recherche les pages à explorer et à indexer sur votre site. Il est normalement stocké dans le répertoire racine de votre site.
Les moteurs de recherche comme Google utilisent des robots d’indexation, parfois appelés robots web, pour archiver et classer les sites web. La plupart des robots sont configurés pour rechercher un fichier Robots.txt sur le serveur avant de lire tout autre fichier du site. Un robot fait cela pour voir si le propriétaire d’un site a donné des instructions spéciales concernant l’exploration et l’indexation de son site.
Le fichier Robots.txt définit un ensemble d’instructions demandant au robot d’ignorer des fichiers ou des répertoires spécifiques. Cela peut être pour des raisons de Confidentialité ou parce que le propriétaire du site estime que le contenu de ces fichiers et répertoires n’est pas pertinent pour la catégorisation du site dans les moteurs de recherche.
Voici un exemple de fichier Robots.txt :
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Dans cet exemple, l’astérisque « * » après « User-Agent » indique que les instructions sont destinées à tous les moteurs de recherche.
Ensuite, nous permettons aux moteurs de recherche d’explorer et d’indexer les fichiers de notre dossier de téléversement WordPress. Ensuite, nous les empêchons d’explorer et d’indexer les extensions et les dossiers d’administration de WordPress.
Note : si vous n’interdisez pas une URL, les moteurs de recherche supposeront qu’ils peuvent l’indexer.
Enfin, nous avons indiqué l’URL de notre sitemap XML.
Comment créer un fichier Robots.txt dans WordPress
La façon la plus simple de créer un fichier Robots.txt est d’utiliser All in One SEO. C’est la meilleure extension WordPress SEO sur le marché et elle est livrée avec un générateur de fichier robots.txt facile à utiliser.
Un autre outil que vous pouvez utiliser est WPCode, une puissante extension d’extraits de code qui vous permet d’ajouter du code personnalisé à votre site facilement et en toute sécurité. La version Pro comprend une fonctionnalité très pratique qui vous permet de modifier rapidement le fichier robots.txt.
Toutefois, si vous êtes familier avec le code, vous pouvez créer le fichier Robots.txt manuellement. Vous devrez utiliser un client FTP pour modifier le fichier robots.txt. Vous pouvez également utiliser le gestionnaire de fichiers fourni par votre hébergeur WordPress.
Pour plus de détails sur la création d’un fichier robots.txt, consultez notre guide sur l’optimisation de votre WordPress robots.txt pour le référencement.
Comment utiliser Robots.txt pour empêcher les moteurs de recherche d’explorer un site ?
Les moteurs de recherche constituent la principale source de trafic pour la plupart des sites web. Toutefois, il existe quelques raisons de décourager les moteurs de recherche d’indexer votre site.
Par exemple, si vous êtes encore en train de construire votre site, vous ne voudrez pas qu’il apparaisse dans les résultats de recherche. Il en va de même pour les blogs privés et les intranets d’entreprise.
Vous pouvez utiliser les règles disallow dans votre fichier Robots.txt pour demander aux moteurs de recherche de ne pas indexer l’ensemble de votre site ou seulement certaines pages. Vous trouverez des instructions détaillées dans notre guide sur la façon d’empêcher les moteurs de recherche d’explorer un site WordPress.
Vous pouvez utiliser des outils comme All in One SEO pour ajouter automatiquement ces règles à votre fichier Robots.txt.
Il est important de noter que tous les robots ne respectent pas un fichier Robots.txt. Certains robots malveillants lisent même le fichier Robots.txt pour trouver les fichiers et les répertoires qu’ils doivent cibler en priorité.
En outre, même si un fichier Robots.txt indique aux robots d’ignorer certaines pages du site, ces pages peuvent toujours apparaître dans les résultats de recherche si elles sont liées à d’autres pages explorées.
Nous espérons que cet article vous a aidé à en savoir plus sur Robots.txt dans WordPress. Vous pouvez également consulter notre liste de lectures complémentaires ci-dessous pour des articles liés à des astuces, des trucs et des idées utiles sur WordPress.
Si vous avez aimé cet article, veuillez alors vous abonner à notre chaîne YouTube pour obtenir des tutoriels vidéo sur WordPress. Vous pouvez également nous trouver sur Twitter et Facebook.
Lectures complémentaires
- Comment optimiser votre WordPress Robots.txt pour le référencement
- Comment masquer une page WordPress de Google (4 méthodes)
- LE RÉFÉRENCEMENT
- Comment ajouter votre site WordPress à Google Search Console
- Comment empêcher les moteurs de recherche d’explorer un site WordPress
- Qu’est-ce qu’un plan de site XML ? Comment créer un plan de site dans WordPress ?
