Cómo optimizar tu WordPress Robots.txt para SEO

Recientemente, uno de nuestros lectores nos pidió consejos sobre cómo optimizar el archivo robots.txt para mejorar el SEO. El archivo Robots.txt le dice a los motores de búsqueda cómo rastrear su sitio web, lo que lo convierte en una herramienta de SEO increíblemente poderosa. En este artículo, le mostraremos cómo crear un archivo robots.txt perfecto para SEO.


Usando el archivo robots.txt de WordPress para mejorar el SEO

¿Qué es el archivo robots.txt??

Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para indicar a los robots de los motores de búsqueda cómo rastrear e indexar páginas en su sitio.

Por lo general, se almacena en el directorio raíz, también conocido como la carpeta principal de su sitio web. El formato básico para un archivo robots.txt se ve así:

Agente de usuario: [nombre de agente de usuario]
No permitir: [la cadena de URL no se debe rastrear]

Agente de usuario: [nombre de agente de usuario]
Permitir: [Cadena de URL para rastrear]

Mapa del sitio: [URL de su mapa del sitio XML]

Puede tener varias líneas de instrucciones para permitir o rechazar URL específicas y agregar múltiples mapas de sitio. Si no rechaza una URL, los robots de los motores de búsqueda suponen que pueden rastrearla..

Así es como puede verse un archivo de ejemplo robots.txt:

Agente de usuario: *
Permitir: / wp-content / uploads /
No permitir: / wp-content / plugins /
No permitir: / wp-admin /

Mapa del sitio: https://example.com/sitemap_index.xml

En el ejemplo anterior de robots.txt, hemos permitido que los motores de búsqueda rastreen e indexen archivos en nuestra carpeta de cargas de WordPress.

Después de eso, no permitimos que los robots de búsqueda rastreen e indexen complementos y carpetas de administración de WordPress.

Por último, hemos proporcionado la URL de nuestro mapa del sitio XML.

¿Necesita un archivo Robots.txt para su sitio de WordPress??

Si no tiene un archivo robots.txt, los motores de búsqueda seguirán rastreando e indexando su sitio web. Sin embargo, no podrá decirle a los motores de búsqueda qué páginas o carpetas no deben rastrear.

Esto no tendrá un gran impacto cuando comiences un blog por primera vez y no tengas mucho contenido.

Sin embargo, a medida que su sitio web crezca y tenga mucho contenido, es probable que desee tener un mejor control sobre cómo se rastrea e indexa su sitio web.

Aqui es por que.

Los robots de búsqueda tienen una cuota de rastreo para cada sitio web.

Esto significa que rastrean un cierto número de páginas durante una sesión de rastreo. Si no terminan de rastrear todas las páginas de su sitio, volverán y reanudarán el rastreo en la próxima sesión.

Esto puede ralentizar la tasa de indexación de su sitio web.

Puede solucionar esto evitando que los robots de búsqueda intenten rastrear páginas innecesarias como las páginas de administración de WordPress, los archivos de complementos y la carpeta de temas.

Al no permitir páginas innecesarias, guarda su cuota de rastreo. Esto ayuda a los motores de búsqueda a rastrear aún más páginas en su sitio e indexarlas lo más rápido posible.

Otra buena razón para usar el archivo robots.txt es cuando quieres evitar que los motores de búsqueda indexen una publicación o página en tu sitio web.

No es la forma más segura de ocultar contenido del público en general, pero le ayudará a evitar que aparezca en los resultados de búsqueda..

¿Qué aspecto debería tener un archivo Robots.txt ideal??

Muchos blogs populares usan un archivo robots.txt muy simple. Su contenido puede variar, dependiendo de las necesidades del sitio específico:

Agente de usuario: *
Rechazar:

Mapa del sitio: http://www.example.com/post-sitemap.xml
Mapa del sitio: http://www.example.com/page-sitemap.xml

Este archivo robots.txt permite que todos los bots indexen todo el contenido y les proporciona un enlace a los mapas de sitio XML del sitio web.

Para los sitios de WordPress, recomendamos las siguientes reglas en el archivo robots.txt:

Agente de usuario: *
Permitir: / wp-content / uploads /
No permitir: / wp-content / plugins /
No permitir: / wp-admin /
No permitir: /readme.html
No permitir: / referir /

Mapa del sitio: http://www.example.com/post-sitemap.xml
Mapa del sitio: http://www.example.com/page-sitemap.xml

Esto le dice a los bots de búsqueda que indexen todas las imágenes y archivos de WordPress. No permite que los robots de búsqueda indexen archivos de plugins de WordPress, el área de administración de WordPress, el archivo léame de WordPress y enlaces de afiliados.

Al agregar mapas de sitio al archivo robots.txt, facilita a los robots de Google encontrar todas las páginas de su sitio.

Ahora que sabe cómo es un archivo robots.txt ideal, echemos un vistazo a cómo puede crear un archivo robots.txt en WordPress.

Cómo crear un archivo Robots.txt en WordPress?

Hay dos formas de crear un archivo robots.txt en WordPress. Puedes elegir el método que mejor funcione para ti.

Método 1: Edición del archivo Robots.txt usando Yoast SEO

Si está utilizando el complemento Yoast SEO, entonces viene con un generador de archivos robots.txt.

Puede usarlo para crear y editar un archivo robots.txt directamente desde su área de administración de WordPress.

Simplemente ve a SEO »Herramientas página en su administrador de WordPress y haga clic en el enlace Editor de archivos.

Herramienta de edición de archivos en Yoast SEO

En la página siguiente, la página de Yoast SEO mostrará su archivo robots.txt existente.

Si no tiene un archivo robots.txt, Yoast SEO generará un archivo robots.txt para usted.

Crear archivo robots.txt con Yoast SEO

De manera predeterminada, el generador de archivos robots.txt de Yoast SEO agregará las siguientes reglas a su archivo robots.txt:

Agente de usuario: *
No permitir: /

Está importante que elimine este texto porque impide que todos los motores de búsqueda rastreen su sitio web.

Después de eliminar el texto predeterminado, puede continuar y agregar sus propias reglas de robots.txt. Recomendamos utilizar el formato robots.txt ideal que compartimos anteriormente.

Una vez que haya terminado, no olvide hacer clic en el botón “Guardar archivo robots.txt” para almacenar sus cambios.

Método 2. Edite el archivo Robots.txt manualmente mediante FTP

Para este método, deberá utilizar un cliente FTP para editar el archivo robots.txt.

Simplemente conéctese a su cuenta de alojamiento de WordPress usando un cliente FTP.

Una vez dentro, podrá ver el archivo robots.txt en la carpeta raíz de su sitio web.

Edición del archivo robots.txt de WordPress usando FTP

Si no ve uno, es probable que no tenga un archivo robots.txt. En ese caso, puedes seguir adelante y crear uno.

Crear archivo robots.txt usando FTP

Robots.txt es un archivo de texto sin formato, lo que significa que puede descargarlo a su computadora y editarlo usando cualquier editor de texto sin formato como Notepad o TextEdit.

Después de guardar los cambios, puede volver a cargarlos en la carpeta raíz de su sitio web.

Cómo probar su archivo Robots.txt?

Una vez que haya creado su archivo robots.txt, siempre es una buena idea probarlo utilizando una herramienta de prueba de robots.txt.

Existen muchas herramientas de prueba de robots.txt, pero recomendamos usar la que está dentro de Google Search Console.

Simplemente inicie sesión en su cuenta de Google Search Console y luego cambie al antiguo sitio web de la consola de búsqueda de Google.

Cambiar a la antigua Consola de búsqueda de Google

Esto lo llevará a la antigua interfaz de Google Search Console. Desde aquí, debe iniciar la herramienta de prueba de robots.txt ubicada en el menú “Rastrear”.

Herramienta de prueba Robots.txt

La herramienta buscará automáticamente el archivo robots.txt de su sitio web y resaltará los errores y advertencias si encuentra alguna..

Pensamientos finales

El objetivo de optimizar su archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, páginas en su carpeta wp-plugins o páginas en su carpeta de administrador de WordPress.

Un mito común entre los expertos en SEO es que bloquear la categoría, las etiquetas y las páginas de archivo de WordPress mejorará la velocidad de rastreo y dará como resultado una indexación más rápida y clasificaciones más altas.

Esto no es verdad. También va en contra de las pautas para webmasters de Google.

Recomendamos que siga el formato de robots.txt anterior para crear un archivo robots.txt para su sitio web.

Esperamos que este artículo te haya ayudado a aprender cómo optimizar tu archivo robots.txt de WordPress para SEO. También es posible que desee ver nuestra última guía de SEO de WordPress y las mejores herramientas de SEO de WordPress para hacer crecer su sitio web.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map