¿Hay alguna diferencia entre un archivo robots.txt vacío y ningún archivo robots.txt?

28

En un servidor web ahora tengo que administrar, noté que el archivo robots.txt está vacío. Me preguntaba si hay una diferencia entre un archivo robots.txt vacío y ningún archivo.

¿Los rastreadores se comportan de manera diferente en estos dos casos? Entonces, ¿es seguro eliminar un archivo robots.txt vacío?

Foo Bar
fuente

Respuestas:

30

¿Los rastreadores se comportan de manera diferente en estos dos casos?

Un archivo robots.txt que está vacío no es realmente diferente de uno que no se encuentra, ambos no permiten el rastreo.

Sin embargo, es posible que reciba muchos 404errores en los registros de su servidor cuando los rastreadores solicitan el archivo robots.txt , como se indica en esta pregunta aquí .

Entonces, ¿es seguro eliminar un archivo robots.txt vacío?

Sí, con la advertencia anterior.

dan
fuente
13

No. No hay diferencia.

Obtendría 404 errores en el registro de su servidor, y si está suscrito a herramientas como Google Web Master, podría decirle que no tiene uno, pero en términos del comportamiento del robot rastreador, son los mismos para cualquier robot que te interese.

TZHX
fuente