Cuando mueve un sitio a través de una redirección 301, ¿debe configurar un archivo robots.txt que no permita que los robots rastreen la dirección anterior?

8

Un sitio en el que estoy trabajando movió un subdominio a otro subdominio a través de una redirección 301. Sin embargo, cuando se verifica el archivo robots.txt del antiguo subdominio, tiene un archivo robots.txt que no permite que los rastreadores web de los motores de búsqueda lo rastreen.

¿Es este el movimiento correcto? Creo que no porque los rastreadores no podrán rastrear el sitio anterior para ver los códigos de estado 301.

seo redirects robots.txt chico mat
fuente
3
¿Estaba el rechazo ya en su lugar antes de la mudanza? Algunos sitios web no desean estar en motores de búsqueda. No está claro de qué manera se desarrolló la situación.
user64742

Respuestas:

11

Sus sospechas son correctas, con el razonamiento exacto que mencionó. Si no permite que los robots accedan al sitio anterior, no podrán ver la redirección 301.

Theo van der Zee
fuente
¿También significaría que el jugo de enlace que apuntaba al dominio anterior no se transferirá al nuevo dominio porque el robots.txt no permite que Gbot se arrastre?
mat boy
1
Sí, eso es exactamente lo que sucedería si el robots.txt bloquea el acceso a los bots.
Theo van der Zee
5

Creo que no porque los rastreadores no podrán rastrear el sitio anterior para ver los códigos de estado 301.

Sí, exactamente, este no es el "movimiento correcto". Si implementa una redirección 301, presumiblemente para preservar el SEO, el bloqueo de las URL que se redirigen evitará que los motores de búsqueda vean la redirección e indexen el nuevo contenido.

DocRoot
fuente
¿También significaría que el jugo de enlace que apuntaba al dominio anterior no se transferirá al nuevo dominio porque el robots.txt no permite que Gbot se arrastre?
mat boy
@mat boy, "link juice" rara vez se actualiza si alguna vez. Es probable que nunca se actualice al nuevo dominio con o sin el archivo robots.txt, pero mantener el 301 en su lugar indefinidamente asegura que los enlaces terminarán en el lugar correcto.
Octopus
1
@ Octopus ¿Parece que estás describiendo "PageRank", no "link juice"? "link juice" es solo un término común / jerga que describe el beneficio SEO de vincular de una página a otra.
DocRoot
1
@matboy Sí, es cierto, no se transferirá ningún "enlace de jugo" a la nueva URL. Como el bot no puede ver la redirección, el bot (motor de búsqueda) no sabe que la página se ha movido a una ubicación diferente. Las viejas URL caerán en las SERPs y eventualmente desaparecerán, mientras que las nuevas URL deberán construir su SEO desde cero.
DocRoot
0

Mantendría el archivo robots.txt como está, pero asegúrese de que las páginas antiguas y nuevas tengan la versión adecuada de las etiquetas canónicas. Esto ayudará al motor de búsqueda a entender lo que ha sucedido.

Jason
fuente
2
¿Cómo podrían los rastreadores leer las etiquetas canónicas en la página web si les está diciendo que no rastreen la página web?
mat boy