Robots.txt es un archivo de texto que permite a un sitio web proporcionar instrucciones a los robots de rastreo web.
Indica a los motores de búsqueda como Google a qué partes de su sitio web pueden y no pueden acceder cuando indexan su sitio.
Esto convierte al archivo robots.txt en una potente herramienta para la optimización de motores de búsqueda y también puede utilizarse para garantizar que determinadas páginas no aparezcan en los resultados de búsqueda de Google.
¿Cómo funciona Robots.txt?
Robots.txt es un archivo de texto que puede crear para indicar a los robots de los motores de búsqueda qué páginas deben rastrear e indexar en su sitio web. Normalmente se almacena en el directorio raíz de su sitio web.
Los motores de búsqueda como Google utilizan rastreadores web, a veces llamados robots web, para archivar y clasificar sitios web. La mayoría de los robots están configurados para buscar un archivo robots.txt en el servidor antes de leer cualquier otro archivo del sitio web. Un bot hace esto para ver si el propietario de un sitio web tiene instrucciones especiales para rastrear e indexar su sitio.
El archivo robots.txt contiene un conjunto de instrucciones que solicitan al robot que ignore determinados archivos o directorios. Esto puede ser por privacidad o porque el propietario del sitio web considera que el contenido de esos archivos y directorios es irrelevante para la categorización del sitio web en los motores de búsqueda.
Aquí tiene un ejemplo de archivo robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
En este ejemplo, el asterisco “*” después de “User-Agent” especifica que las instrucciones son para todos los motores de búsqueda.
A continuación, permitimos que los motores de búsqueda rastreen e indexen los archivos de nuestra carpeta de subidas de WordPress. A continuación, les impedimos rastrear e indexar los plugins y las carpetas de administrador de WordPress.
Tenga en cuenta que si no desautoriza una URL, los robots de los motores de búsqueda asumirán que pueden indexarla.
Por último, hemos proporcionado la URL de nuestro mapa del sitio XML.
Cómo crear un archivo Robots.txt en WordPress
La forma más sencilla de crear un archivo robots.txt es utilizar All in One SEO. Es el mejor plugin SEO para WordPress del mercado y viene con un generador de archivos robots.txt fácil de usar.
Otra herramienta que puede utilizar es WPCode, un potente plugin de fragmentos de código que le permite añadir código personalizado a su sitio web de forma fácil y segura. La versión Pro incluye una práctica característica que te permite editar rápidamente el archivo robots.txt.
Sin embargo, si está familiarizado con el código, puede crear el archivo robots.txt manualmente. Deberá utilizar un cliente FTP para editar el archivo robots.txt. También puede utilizar el gestor de archivos de su alojamiento de WordPress.
Para obtener más información sobre la creación de un archivo robots.txt, consulte nuestra guía sobre cómo optimizar el archivo robots.txt de WordPress para SEO.
Cómo utilizar Robots.txt para impedir que los motores de búsqueda rastreen un sitio
Los motores de búsqueda son la mayor fuente de tráfico para la mayoría de los sitios web. Sin embargo, hay algunas razones por las que puede que desee disuadir a los motores de búsqueda de indexar su sitio.
Por ejemplo, si todavía está construyendo su sitio web, no querrá que aparezca en los resultados de búsqueda. Lo mismo ocurre con los blogs privados y las intranets empresariales.
Puede utilizar reglas de denegación en su archivo robots.txt para pedir a los motores de búsqueda que no indexen todo su sitio web o sólo determinadas páginas. Encontrará instrucciones detalladas en nuestra guía sobre cómo impedir que los motores de búsqueda rastreen un sitio WordPress.
Puede utilizar herramientas como All in One SEO para añadir automáticamente estas reglas a su archivo robots.txt.
Es importante tener en cuenta que no todos los robots respetan un archivo robots.txt. Algunos robots malintencionados incluso leen el archivo robots.txt para saber a qué archivos y directorios deben dirigirse en primer lugar.
Además, aunque un archivo robots.txt indique a los robots que ignoren determinadas páginas del sitio, esas páginas pueden seguir apareciendo en los resultados de búsqueda si están enlazadas a otras páginas rastreadas.
Esperamos que este artículo le haya ayudado a aprender más acerca de robots.txt en WordPress. También puede consultar nuestra lista de lecturas adicionales a continuación para ver artículos relacionados sobre consejos, trucos e ideas útiles para WordPress.
If you liked this article, then please subscribe to our YouTube Channel for WordPress video tutorials. You can also find us on Twitter and Facebook.
Lecturas adicionales
- Cómo impedir que los motores de búsqueda rastreen un sitio WordPress
- Cómo añadir su sitio WordPress a Google Search Console
- Cómo optimizar su WordPress Robots.txt para SEO
- ¿Qué es un mapa del sitio XML? Cómo crear un mapa del sitio en WordPress
- SEO
- Cómo ocultar una página de WordPress de Google (4 métodos)
