Robots.txt

Lenguaje PHP

Bloquear a los buscadores mediante robots.txt

Bloquear a los buscadores mediante robots.txt. En ocasiones no queremos que los motores de búsqueda en general no indexen nuestro sitio web porque está en fase de desarrollo y podemos modificar el archivo robots.txt que se encuentra en la raíz del sitio web y/o crearlo. Además, debemos de agregar las siguientes líneas de código. User-agent: * Disallow: / Bloquear a…