Robots.txt. Qué es y cómo usarlo

El robots.txt es un archivo que indica a los robots de los buscadores los límites a la hora de rastrear las páginas de un site. ue existe dicho archivo y cuáles son las páginas que tiene restringidas
Google recomienda hacer un uso efectivo del robots.txt y restringir los accesos al rastreador allí donde no sea necesario. Si tienes, por ejemplo, páginas que no van a ser útiles a los usuarios en los resultados de búsqueda o páginas con contenido confidencial que no quieres que se indexe  
Recuerda que el robots.txt:

1. Se ubica en el directorio raíz del sitev

2. Puedes crearlo con el generador de robots.txt desde la webmasters tools

3. Si se trata de material confidencial el robots.txt no es suficiente. Se trata sólo de una recomendación, no de una obligación y podrían mostrar las url en los resultados de búsqueda

4. Si no tienes ninguna restricción no es necesario que lo uses, ni siquiera vacio .

5. Puedes complementar su restricción añadiendo la metaetiqueta “noindex”

Robots.txt. Qué es y cómo usarlo

#RobotstxtQueesycomousarlo