¿Dónde se almacena el archivo robots.txt para una instalación multisitio de WordPress?

9

Las Herramientas para webmasters de Google pueden verlo, pero no puedo encontrarlo. ¿Alguna idea de cómo se genera o dónde está la estructura del archivo? No veo el archivo en mi raíz. Mi sitio web está en http://mikewills.me y la URL del archivo robots.txt es http://mikewills.me/robots.txt .

Al final, Google no está indexando mi sitio y estoy tratando de descubrir cómo editar el robots.txt para permitir la indexación. He cambiado la opción de privacidad para permitir la indexación, pero eso no ha actualizado el archivo robots.txt.

multisite Mike Wills
fuente
Enlace del sitio? Es poco probable que robots.txt tenga algo que ver con WP ...
Rarst el

Respuestas:

11

Es generado dinámicamente por la función do_robots(), que tiene una acción ( do_robotstxt) y un filtro ( robots_txt). Si crea un robots.txtarchivo en su raíz de WordPress, (probablemente) se servirá cuando /robots.txtse solicite, de lo contrario, el procesamiento caerá en WordPress.

Su archivo actual se ve así:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Las dos primeras configuraciones son apropiadas para un blog indexable. Por lo tanto, es posible que esté esperando a Google en este momento. Quizás necesite solicitar una reconsideración de su sitio .

Annika Backstrom
fuente
Gracias por la información. Estaba bajo esta suposición. Tenía miedo de ver el Disallow. ¿Entonces eso está bien?
Mike Wills
2
@ Mike: Sí, esto está bien. Lo que dices ahora es: "Hola robots cuya User-agentcoincidencia *(por lo que todos los robots), la lista de páginas a las que no puedes acceder es [empty]". Lo que significa que pueden acceder a todas las páginas.
Jan Fabry
Agregar robots.txt a la raíz no parece funcionar, todavía sirve el generado por WordPress. ¿No hay forma de agregar o modificar el archivo robots.txt sin instalar un complemento?
Nick
3

robots.txt se crea dinámicamente. No hay archivo robots.txt. Instalar un complemento robot.txt resolverá su problema. Espero que esto ayude

usuario1167
fuente