Preguntas etiquetadas con internet-archive

¿Control sobre el archivo de Internet además de "No permitir /"?

¿Existen mecanismos para controlar lo que archiva Internet Archive en un sitio? Sé no permitir todas las páginas que podría agregar : User-agent: ia_archiver Disallow: / ¿Puedo decirle al bot que quiero que rastree mi sitio una vez al mes o una vez al año? Tengo un sitio / páginas que no / no...

¿Cómo (des) permitir correctamente el bot archive.org? ¿Cambiaron las cosas, si es así cuándo?

Tengo un sitio web que en su mayoría no quiero que los motores de búsqueda indexen, pero sí quiero conservarlo para la eternidad en archive.org. Entonces mi robots.txtcomienzo con esto: User-agent: * Disallow: / Hoy, de acuerdo con archive.org, debo agregar lo siguiente en mi robots.txtpara...