Bloquear a los buscadores mediante robots.txt. En ocasiones no queremos que los motores de búsqueda en general no indexen nuestro sitio web porque está en fase de desarrollo y podemos modificar el archivo robots.txt que se encuentra en la raíz del sitio web y/o crearlo.
Además, debemos de agregar las siguientes líneas de código.
User-agent: *
Disallow: /Bloquear a los buscadores mediante robots.txt
Con esta integración todo nuestro sitio web estará fuera de los buscadores.
En inicios de una página web puede interesarnos que los buscadores no indexen nuestro sitio web en páginas o directorios, porque están en desarrollo.
¿Cómo podemos decirle a Google que no indexe mi sitio web?
Lo podemos hacer mediante el fichero robots.txt
Nota.- Todos los motores de búsqueda en primera instancia buscan el fichero
robots.txten la raíz de tu sitio para obedecer las reglas que el usuario indique.
Tipos de bloqueo con robots.txt
Existen varias formas de bloqueo de nuestro sitio web para que no aparezcan en los resultados de los buscadores, a continuación, veremos varias formas de implementación.
Bloquear todo el sitio web
Al momento de iniciar el desarrollo de nuestro sitio web es importante decir a los buscadores que aun no indexen nuestro sitio web y podemos hacerlo de la siguiente manera. Además, no olvidar de quitar estas líneas de código cuando nuestro sitio web este terminada,
Contenido de /robots.txt
User-agent: *
Disallow: /Bloquear un fichero o página del sitio web
Si deseamos bloquear algún archivo en específico debemos de indicarle a nuestro fichero robots.txt para que bloquee tal fichero como en el siguiente ejemplo.
strong>Contenido de /robots.txt
User-agent: *
Disallow: /download.phpBloquear un directorio del sitio web
En ocasiones deseamos mantener al margen de los buscadores alguna carpeta, por ejemplo, la carpeta descargas de nuestro sitio web.
Para bloquear a los buscadores sol
Contenido de /robots.txt
User-agent: *
Disallow: /backend/WordPress: bloquear página web
Las integraciones vistas en líneas superiores también funcionan con el CMS WordPress y en ajustes de WordPress también posee la opción de bloquear a los buscadores web o en todo caso podemos usar algún plugin para tal objetivo.
En resumen
Hay que saber que estas integraciones influyen en todos los buscadores y están en ellos acatar o no estas indicaciones. En general, todos acatan estas solicitudes y serán bloqueados
Por lo tanto, tu página no será indexada por los motores de búsqueda y no será visible en los buscadores de resultados.
