Sintaxis de robots.txt en posicionamiento

A continuación vamos a ver algunas de las directrices que podemos utilizar en el archivo:

User-Agent: En esta parte escribimos el nombre del robot del Google al que va dirigida esta restricción.

Directiva: Escribiremos si queremos permitir o denegar un dominio o web.

Sitemap: Este punto puede ser clave para el posicionamiento. Lo que estamos haciendo en él es ofrecerle a los rastreadores la posibilidad de interactuar directamente con la URL de nuestro sitemap (es decir, un página que actuará como índice o mapa que ayudará a los usuarios a encontrar fácilmente lo que desean)

Noindex: Esta normativa es algo polémica ya que, aunque la soporta Google, no lo hace de forma oficial. La idea es que evitar que algunos ficheros o directorios completos se indexen.

<h2> ¿Cómo puede afectar este archivo al posicionamiento de mi web? </h2>

Por ejemplo, cuando un programador web está creando tu página, lo primero que hace es generar un subdominio en donde la subirá para hacer pruebas. Sabe que puede ser nocivo que Google la empiece a indexar desde ese momento (más que nada porque luego, en el momento en el que la subamos al dominio principal, pueden haber problemas de contenido duplicado).

Por esta razón, el programador colocará un archivo robots.txt en el subdominio indicando que este no sea indexado.

Uno de los mayores problemas, ya sea por la falta de experiencia o por prisas, es copiar toda la web tal cual al dominio principal una vez que esté lista. Sin embargo, si copia tal cual el archivo robots.txt, este no se indexará nunca. En otras palabras, que por mucho que hagamos, la web jamás será indexada por Google.

Un error muy típico que nos puede costar nuestro negocio.

También es común utilizar este archivo cuando se quiere ocultar algún tipo de contenido como descargas ilegales, películas o cualquier otro tipo de recurso similar.

 

Leave a Reply

Your email address will not be published. Required fields are marked *