Si no quiero establecer ningún comportamiento especial, ¿está bien si no me molesto en tener un archivo robots.txt?
¿O puede la falta de uno ser perjudicial?
La falta de un archivo robots.txt no será perjudicial. Desde el sitio web robotstxt.org :
Para permitir que todos los robots tengan acceso completo
Usuario-agente: *
No permitir:(o simplemente cree un archivo "/robots.txt" vacío, o no use ninguno)
Sin embargo, incluso si no está especificando nada en su archivo robots.txt, es una buena manera de informar a los motores de búsqueda de la ubicación de su XML Sitemap . Puede hacer esto agregando una línea en la parte superior de su archivo robots.txt que se parece a:
Mapa del sitio: http://www.example.com/sitemap-host1.xml
También debe tener en cuenta que no tenerlo creará una gran cantidad de 404 entradas en sus registros web.
Si no tiene un "robots.txt", su registro de errores obtendrá un montón de 404 en el archivo, lo que podría ser una molestia, similar a si no tiene un favicon.
fuente
robots.txtarchivo simple , que además se descargará con menos frecuencia debido a que los motores de búsqueda aplican el control de caché HTTP adecuado .Creo que sería tiene que estar bien, de lo contrario los grandes sectores de la web serían no-indexable por las arañas web.
No
robots.txtes lo mismo que "permitir la indexación de todos"robots.txtcasi por definición.fuente
La falta de un archivo robots.txt le deja al rastreador decidir qué puede y qué no puede hacer. Dado que solo lleva unos segundos evitar cualquier tipo de ambigüedad, ¿por qué no hacer una que permita a todos los agentes acceder a todo?
fuente
Bueno, dado que
robots.txtcontiene la dirección de su mapa del sitio , no tener uno es potencialmente dañino.fuente
Dependiendo de su contenido, no debería haber problemas al no tener un archivo de robots, siempre y cuando tenga la esperanza de que todas las páginas de su sitio sean indexadas por los motores de búsqueda.
fuente