Como Probar el Archivo robots.txt - Consultoria SEO

Buscar

Ruta de Navegación


Como Probar el Archivo robots.txt

Las herramientas para webmaster de Google, conocidas ahora como la Consola de búsqueda de Google cuenta con una función que permite probar si el archivo robots.txt bloquea el acceso de los rastreadores web de Google a URL concretas del sitio debido a la importancia del archivo robots.txt para la seguridad y el SEO.

Puedes probar si el rastreador Googlebot-Video puede rastrear la url de un video que quieres bloquear en la búsqueda de videos de Google o si el rastreador Adsbot-Google  puede rastrear la url de un anuncio que quieres bloquearle.

Estos son los rastreadores de Google:

Veamos el siguiente ejemplo: si quieres que todas tus páginas aparezcan en la Búsqueda de Google, pero no quieres que se rastreen imágenes de tu directorio images, puedes configurar el archivo robots.txt del siguiente modo para evitar que el agente de usuario Googlebot-image rastree los archivos de tu directorio /images (pero permitir que Googlebot rastree todos los archivos):

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /images

Puedes enviar una URL al Probador de robots.txt
También puedes enviar la URL del robots.txt de tu sitio a este comprobador de robots.txt

Como Probar el Archivo robots.txt

1. Desde la página de inicio de Search Console, elige el sitio cuyo archivo robots.txt quieras probar.

2. Despliega el título Rastreo que hay en el panel de la izquierda y selecciona la herramienta Probador de robots.txt.

3. Haz cambios en el archivo robots.txt publicado en el editor de texto.

4. Desplázate por el código del archivo robots.txt para localizar las advertencias de sintaxis y los errores de lógica. El número de advertencias de sintaxis y de errores de lógica se muestra inmediatamente en la parte inferior del editor. 

5. Escribe una extensión de la URL o la ruta en el cuadro de texto, en la parte inferior de la página.

6. Selecciona el agente de usuario que quieras simular en la lista desplegable que hay a la derecha del cuadro de texto.

agentes de usuario de Google

7. Haz clic en el botón PROBAR que hay junto a la lista desplegable de agentes de usuario para ejecutar la simulación.

8. Comprueba si en el botón PROBAR ahora pone ACEPTADA o BLOQUEADA para averiguar si la URL que ha introducido es bloqueado y rastreadores web de Google.

Resulta muy útil probar el archivo robots.txt para todos los agentes de usuario. Muy aconsejable.

Sobre la autora
Author: Estela Silva
Estela Silva es fundadora y desarrollador principal en Tu Consultora Seo, su función principal es el diseño y desarrollo de sitios web Joomla. Ella también es apasionada del posicionamiento en buscadores y especialista Adwords certificada. Estela ha construido sitios web basados ​​en CMS Joomla desde el año 2000, así como tiendas en línea, cuando no está escribiendo PHP, Javascript o CSS.

Contenido Especial Para Ti SEO

Clientes

Marketing digital Marketing digital Marketing digital Marketing digital Marketing digital