Robots.txt. Qué es y cómo usarlo

Robots.txt. Qué es y cómo usarlo

Robots.txt. Qué es y cómo usarlo

 

El robots.txt es un archivo que indica a los robots de los buscadores los límites a la hora de rastrear las páginas de un site. ue existe dicho archivo y cuáles son las páginas que tiene restringidas
Google recomienda hacer un uso efectivo del robots.txt y restringir los accesos al rastreador allí donde no sea necesario. Si tienes, por ejemplo, páginas que no van a ser útiles a los usuarios en los resultados de búsqueda o páginas con contenido confidencial que no quieres que se indexe  
Recuerda que el robots.txt:

1. Se ubica en el directorio raíz del sitev

2. Puedes crearlo con el generador de robots.txt desde la webmasters tools

3. Si se trata de material confidencial el robots.txt no es suficiente. Se trata sólo de una recomendación, no de una obligación y podrían mostrar las url en los resultados de búsqueda

4. Si no tienes ninguna restricción no es necesario que lo uses, ni siquiera vacio .

5. Puedes complementar su restricción añadiendo la metaetiqueta “noindex

Robots.txt. Qué es y cómo usarlo

#RobotstxtQueesycomousarlo

¿Empezamos?

¿Estás en la búsqueda de una estrategia integral de marketing digital? Nuestros servicios de SEO Web están diseñados para transformar tus metas de contenido más audaces en resultados concretos. Permítenos llevarte por el camino hacia el éxito en línea. ¡Conversemos sobre cómo podemos impulsar tu presencia digital!

Abrir chat
Hola 👋
¿En qué podemos ayudarte?