Como Probar el Archivo robots.txt - Consultoria SEO

Buscar

Ruta de Navegación

Post patrocinados

Post patrocinados

 

Seo

SEO

El posicionamiento en buscadores,  search engine optimization (SEO) es el proceso que afecta la visibilidad en línea de un sitio web en los resultados impagos de un motor de búsqueda web. Nos dedicamos a mejorar significativamente su visibilidad en los resultados de búsqueda, para atraer visitas y posteriormente convertirlos en clientes. Saber más.

 

Keywords

Investigación Profunda de KeyWords

El análisis de palabras clave es de hecho un asunto muy complejo. La visibilidad de su website comienza con una investigación profunda de palabras clave. Promover su sitio  es vital para su negocio, por lo tanto investigar palabras clave pertinentes, relevantes a su nicho de mercado es muy importante.


 

Facebook Marketing

Facebook Marketing

  Facebook Marketing

El dinero gastado en marketing de Facebook es felicidad y negocios creciendo a pasos agigantados. Saber más.

Auditoría SEO

Auditoría SEO

La auditoría SEO es una de las herramientas de marketing en Internet más importantes que se implementan para proporcionar a un sitio web una visión detallada y general sobre cómo mejorar su visibilidad en línea. Problemas relacionados con el dominio del sitio web, análisis de enlaces entrantes y salientes, problemas de navegación del sitio web, configuración del servidor web, atribuciones de etiquetas y más son los asuntos que nos ocupan con el fin de optimizar su presencia en línea.

Email marketing

Email Marketing

Cuando se trata de la adquisición de clientes, una excelente forma de llegar a clientes potenciales es hacer Email Marketing sin embargo; un aspecto vital es la planificación. Saber más.

Anuncios de Google

Google Ads Certificado

 Anuncios de Google

Ya sea que lo haga con texto solo o use imágenes, con la galería de anuncios incluida en su cuenta, decida cuándo se mostrarán sus anuncios y oriente su campaña específicamente en función de los intereses o la demografía de los clientes que desea atraer. Saber más.

Marketing de Contenidos

Marketing de Contenidos

En la búsqueda del ‘contenido de oro’, los proveedores de servicios de marketing se dirigen hacia la creación y dominio del marketing de contenidos. Creamos y ofrecemos servicios de contenido que atrae, vende y ayude a retener clientes. Saber más.

Desarrollo web

Desarrollo Web

El desarrollo de su sitio web es importante para su negocio, definir los objetivos del sitio, idealmente la apariencia de su sitio debe ser hermosa y debe coincidir con el tema de su negocio y los servicios que ofrece. El desarrollo de un sitio web es el componente más importante para cualquier empresa que aspire a mantener una sólida presencia en línea.


Como Probar el Archivo robots.txt

Las herramientas para webmaster de Google, conocidas ahora como la Consola de búsqueda de Google cuenta con una función que permite probar si el archivo robots.txt bloquea el acceso de los rastreadores web de Google a URL concretas del sitio debido a la importancia del archivo robots.txt para la seguridad y el SEO.

Puedes probar si el rastreador Googlebot-Video puede rastrear la url de un video que quieres bloquear en la búsqueda de videos de Google o si el rastreador Adsbot-Google  puede rastrear la url de un anuncio que quieres bloquearle.

Estos son los rastreadores de Google:

Veamos el siguiente ejemplo: si quieres que todas tus páginas aparezcan en la Búsqueda de Google, pero no quieres que se rastreen imágenes de tu directorio images, puedes configurar el archivo robots.txt del siguiente modo para evitar que el agente de usuario Googlebot-image rastree los archivos de tu directorio /images (pero permitir que Googlebot rastree todos los archivos):

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /images

Puedes enviar una URL al Probador de robots.txt
También puedes enviar la URL del robots.txt de tu sitio a este comprobador de robots.txt

Como Probar el Archivo robots.txt

1. Desde la página de inicio de Search Console, elige el sitio cuyo archivo robots.txt quieras probar.

2. Despliega el título Rastreo que hay en el panel de la izquierda y selecciona la herramienta Probador de robots.txt.

3. Haz cambios en el archivo robots.txt publicado en el editor de texto.

4. Desplázate por el código del archivo robots.txt para localizar las advertencias de sintaxis y los errores de lógica. El número de advertencias de sintaxis y de errores de lógica se muestra inmediatamente en la parte inferior del editor. 

5. Escribe una extensión de la URL o la ruta en el cuadro de texto, en la parte inferior de la página.

6. Selecciona el agente de usuario que quieras simular en la lista desplegable que hay a la derecha del cuadro de texto.

agentes de usuario de Google

7. Haz clic en el botón PROBAR que hay junto a la lista desplegable de agentes de usuario para ejecutar la simulación.

8. Comprueba si en el botón PROBAR ahora pone ACEPTADA o BLOQUEADA para averiguar si la URL que ha introducido es bloqueado y rastreadores web de Google.

Resulta muy útil probar el archivo robots.txt para todos los agentes de usuario. Muy aconsejable.

Sobre la autora
Author: Estela Silva
Estela Silva es fundadora y desarrollador principal en Tu Consultora Seo, su función principal es el diseño y desarrollo de sitios web Joomla. Ella también es apasionada del posicionamiento en buscadores y especialista Adwords certificada. Estela ha construido sitios web basados ​​en CMS Joomla desde el año 2000, así como tiendas en línea, cuando no está escribiendo PHP, Javascript o CSS.

Clientes

Marketing digital Marketing digital Marketing digital Marketing digital Marketing digital