Mi robots.txt
en las Herramientas para webmasters de Google muestra los siguientes valores:
User-agent: *
Allow: /
Qué significa eso? No tengo suficiente conocimiento al respecto, así que busco tu ayuda. Quiero permitir que todos los robots rastreen mi sitio web, ¿es esta la configuración correcta?
robots.txt
Raajpoot
fuente
fuente
Respuestas:
Ese archivo permitirá el acceso de todos los rastreadores
Esto básicamente permite que todos los agentes de usuario (el *) accedan a todas las partes del sitio (el /).
fuente
Si desea permitir que cada bot rastree todo, esta es la mejor manera de especificarlo en su robots.txt:
Tenga en cuenta que el
Disallow
campo tiene un valor vacío, lo que significa de acuerdo con la especificación :Tu forma (con en
Allow: /
lugar deDisallow:
) también funciona, peroAllow
no es parte de la especificación original de robots.txt , por lo que no es compatible con todos los bots (aunque muchos de los más populares lo admiten, como el robot de Google ). Dicho esto, los campos no reconocidos deben ignorarse, y para los bots que no reconocenAllow
, el resultado sería el mismo en este caso de todos modos: si no se prohíbe rastrear nada (conDisallow
), se permite rastrear todo.Sin embargo, formalmente (según la especificación original) es un registro no válido, porque
Disallow
se requiere al menos un campo:fuente
Entiendo que esta es una pregunta bastante antigua y tiene algunas respuestas bastante buenas. Pero, aquí están mis dos centavos en aras de la integridad.
Según la documentación oficial , hay cuatro formas en las que puede permitir el acceso completo para que los robots accedan a su sitio.
Limpiar:
Especifique un comparador global con un segmento no permitido como lo menciona @unor. Entonces tu se
/robots.txt
ve así.El truco:
Cree un
/robots.txt
archivo sin contenido. Que permitirá por defecto todo para todo tipo deBots
.No me importa la manera:
No cree un
/robots.txt
archivo completo. Lo que debería producir exactamente los mismos resultados que los dos anteriores.El feo:
De la documentación de robots para metaetiquetas , puede usar la siguiente metaetiqueta en todas las páginas de su sitio para informar
Bots
que estas páginas no deben indexarse.Para que esto se aplique a todo su sitio, deberá agregar esta metaetiqueta para todas sus páginas. Y esta etiqueta debe colocarse estrictamente debajo de su
HEAD
etiqueta de la página. Más sobre esta metaetiqueta aquí .fuente
Significa que permite que cada (
*
) agente de usuario / rastreador acceda a la raíz (/
) de su sitio. Estas bien.fuente