Robots.txt. Qué es y cómo usarlo El robots.txt es un archivo que indica a los robots de los buscadores los límites a la hora de rastrear las páginas de un site. ue existe dicho archivo y cuáles son las páginas que tiene restringidas Google recomienda hacer un uso efectivo del robots.txt y restringir los accesos al rastreador […]
