¿Podemos usar expresiones regulares en el archivo robots.txt para bloquear las URL?
Tengo algunas URL dinámicas generadas. ¿Puedo usar regex para bloquear estas URL en un archivo