¿Cómo rechazo un directorio completo con robots.txt?

19

Tengo dos sitios en los que estoy trabajando actualmente, que es un carrito de compras y otro comprador. Ambos están bajo el mismo nombre de dominio, por ejemplo

http://example.com/first_url 
http://example.com/second_url

Ambas URL tienen toneladas de páginas debajo de ellas. 

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

¿Cómo rechazo la URL principal /first_urly /second_urltambién todas las subpáginas y subdirectorios? Estaba pensando en algo como esto, pero no sé si esto funciona o no y si era la sintaxis correcta

Disallow: /first_url/*/
Disallow: /second_url/*/
seo robots.txt Stephen Ostermiller
fuente
1
Creo que su sintaxis es correcta pero no estoy seguro sobre el extra /

Respuestas:

-1

Puede usar esto como predeterminado robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

La estrella permitirá que todo lo que se encuentre en esa categoría no se permita. Incluso puede rechazar una cosa específica en esa categoría escribiendo esa url específica.

SAF
fuente
44
Esto no es diferente a la respuesta aceptada, aparte de que falta la barra diagonal inicial. Las reglas de rechazo en robots.txt deberían comenzar con una barra diagonal. Así es como todos los ejemplos están en la documentación
Stephen Ostermiller