Me encontré con este artículo en mis noticias de SEO hoy. Parece implicar que puede usar Noindex:
directivas además de las Disallow:
directivas estándar en robots.txt .
Disallow: /page-one.html
Noindex: /page-two.html
Parece que evitaría que los motores de búsqueda rastreen la página uno y que no indexen la página dos.
¿Esta directiva robots.txt es compatible con Google y otros motores de búsqueda? ¿Funciona? ¿Está documentado?
web-crawlers
robots.txt
googlebot
noindex
Stephen Ostermiller
fuente
fuente
disallow
Google deja de descubrir enlaces en las páginas principales y secundarias, si es que existen. Si biennoindex
simplemente detiene la página que se enumera, no detiene el descubrimiento mientras que no lo hace.nofollow
funcionan las metaetiquetas. Sería bueno saber si ese también es el caso de robots.txt .<a rel="no-follow">
. No veo ninguna razón por la que se trataría de manera diferente. Obviamente, esto no es oficial e incluso John Muller me recomienda que no lo use en el archivo robots.txt, pero aparte de su tweet, no he logrado encontrar mucha información al respecto.Noindex
directiva dentro de losrobots.txt
archivos como un error.Respuestas:
Google solía admitir de forma no oficial una
Noindex
directiva en robots.txt, sin embargo, en 2019, anunciaron que la directiva ya no funcionará.Esto es lo que dice John Mueller de
Noindex:
Google en robots.txt :Antes de que Google anunciara la suspensión de la función, deepcrawl.com hizo algunas pruebas de la función y descubrió que:
Dado que Google suspendió la función, ya no debería usarse.
En su lugar, use metaetiquetas de robots que estén bien soportadas y documentadas para evitar la indexación:
fuente