Preguntas etiquetadas con web-scraping

83
¿Cómo ser un buen ciudadano al rastrear sitios web?

Voy a desarrollar algunas funciones que rastrearán varios sitios web públicos y procesarán / agregarán los datos en ellos. Nada siniestro como buscar direcciones de correo electrónico; de hecho, es algo que en realidad podría generar tráfico adicional a sus sitios. Pero yo divago. Además de honrar...