¿Las características de disolución mejoran la eficiencia del geoprocesamiento?

Tengo un gran conjunto de datos de línea (> 140,000 características). ¿Existe alguna ventaja de procesamiento, ya sea en el tiempo requerido o (más importante) en la memoria utilizada:

• ejecutar Dissolve en los datos antes de ejecutar Buffer ?
• ejecutar Dissolve en las entradas de dos operaciones de identidad ?

En general, simplemente esperaría hasta que todo el geoprocesamiento haya terminado y luego haga una Disolución al final. Sin embargo, estoy depurando el guión muy antiguo de otra persona, y no tengo claro si estaba disolviendo todo repetidamente por alguna razón (en Arc 9.3), o simplemente no pensaba en las alternativas. (El mismo script proyecta datos repetidamente entre herramientas de geoprocesamiento, por lo que la lógica ya es cuestionable).

Si el uso de la memoria es su principal preocupación, entonces muchas características pequeñas (bajo conteo de vértices) probablemente serán más de su agrado que algunas características muy grandes (alto conteo de vértices). Pero es posible que "demasiadas funciones" eventualmente abrumen incluso "demasiados vértices" para la velocidad de procesamiento.

Si piensa en cómo deben estructurarse los algoritmos para procesar todas las entidades contra todas las entidades entre dos clases de entidad, está trabajando con bucles anidados múltiples (para entidades en FC1 y FC2, y para los vértices en Feature1 y Feature2). En operaciones como el dibujo, el número de solicitudes de dibujo suele ser más preocupante que los vértices en cada solicitud, pero con las operaciones tema por tema, es probable que los algoritmos clave se basen en los recuentos de vértices en cada par F1 / F2 , con una " notación O grande " de "O (N * M)" (el tiempo para completar la operación está relacionado con el factor de la cantidad de vértices involucrados), que, para grandes características en ambos conjuntos de datos, está lo suficientemente cerca de O (N ^ 2) para que te preocupes por el trabajo que se completa.

He tenido éxito al superponer características masivas (como Rusia, Canadá, EE. UU., Australia, Brasil, Noruega) con una cuadrícula de 5 grados (red de pesca) para reducir la complejidad de las características para el procesamiento intermedio. He visto operaciones de punto en el polígono en una capa COUNTRIES de 1: 15m restringida por vértices que se ejecutan 100-1000 veces más rápido que la tabla original (con solo un aumento de 20x en el recuento de características). Sin embargo, debe tener cuidado en su lógica de procesamiento para manejar correctamente las relaciones uno a muchos y muchos a muchos, especialmente en los casos en que existe un límite falso.

También hay un aspecto de "rendimientos decrecientes" en los ahorros de trabajar con características más pequeñas: me instalé en una cuadrícula de 5 grados al probar el rendimiento de la intersección con 90, 45, 30, 20, 15, 10, 5, 3, 2 y Cuadrículas de 1 grado, que mostraron un aumento alarmante en el tiempo de procesamiento a medida que aumentaba el número de características totales.

No son tiempos en los que un menor número de características con más vértices son más eficientes, por lo que es probable que vale la pena el esfuerzo para hacer algunas pruebas en el orden de la operación con datos reales (no simplificado subconjuntos de prueba) antes de comprometerse con un enfoque sobre el otro (la utilización de RAM equilibrio con tiempo de ejecución).

NOTA: volví a ejecutar el ejercicio de cuadrícula con hardware moderno y obtuve un rendimiento óptimo con una superposición de 30 grados, de modo que aumenta el riesgo de características demasiado pequeñas y aumenta la importancia de la evaluación con datos de producción.

Una operación de disolución generalmente reducirá el número de entidades, arcos y nodos dentro de una capa, particularmente para capas con longitudes significativas de límites compartidos. Dado que el tiempo empleado durante una operación de almacenamiento en búfer depende en gran medida del número de nodos, el procesamiento previo con Disolución puede reducir significativamente el tiempo de ejecución (y los requisitos de memoria). Si vale la pena o no en su caso dependerá de la medida en que podrá reducir el número de nodos (dependiendo de su capa de datos) y la eficiencia de la operación Disolver en comparación con el almacenamiento en búfer . En mi experiencia, usando Java Topology Suite, una operación de disolución puede ser bastante rápida en comparación conAlmacenamiento en búfer , aunque el rendimiento de Dissolve varía significativamente según la biblioteca. La otra consideración es que Disolver está fuertemente afectado por errores topológicos. Si la capa contiene errores, deberá realizar una limpieza vectorial antes de la operación Disolver, lo que aumentará el tiempo de ejecución del flujo de trabajo.