Estoy tratando de recortar un conjunto de datos poligonales grandes (~ 5 gb, miles de características) por un conjunto de datos poligonales mucho más pequeño (~ 40 características). ¿Existe una mejor práctica o la ruta más eficiente para realizar esta tarea?
El clip de geoprocesador estándar se ejecuta indefinidamente en un conjunto de datos de este tamaño. ¿Sería más eficiente alguna forma de selección y exportación espacial?
EDITAR : Algunas excelentes respuestas a continuación. Seleccioné lo que considero que es la respuesta más completa, pero cada respuesta proporciona una visión única del problema. ¡Gracias!
arcgis-10.0
Radar
fuente
fuente
Respuestas:
Como siempre cuando se trata con problemas de escalabilidad, es mejor comenzar de manera pequeña y simple y progresar de manera constante hasta llegar a ser grande y complejo.
En el caso de clip, debería ser lo suficientemente inteligente como para manejar grandes conjuntos de datos porque los enlosa internamente . Pero como no funciona, intente ejecutar Clip con el conjunto de datos de entrada (los datos que se van a recortar) y el conjunto de datos de clip (los datos con los que se realiza el clip) con muchas, muchas menos funciones . Al igual que una función de clip, con solo el área a su alrededor en el conjunto de datos de entrada (use consultas de definición para reducirlas). Asegúrese de que funciona correctamente y luego aumente constantemente el alcance de la operación de geoprocesamiento hasta que el rendimiento disminuya.
Un par de ideas específicas:
Disuelva las entidades de clip en una única clase de entidad de varias partes.
Reduzca el tamaño del archivo de las características de entrada usando Simplificar polígono . Un conjunto de datos vectoriales de 5 GB es enorme: incluso un archivo de forma de todos los 250,000 grupos de bloque del Censo de los EE. UU. Es de solo 1 GB.
Divide las características de entrada en partes. Teóricamente, las rutinas internas de mosaico dentro de la herramienta de geoprocesamiento ya deberían estar haciendo esto, pero nunca se sabe. Puede haber algún problema de limitación de tamaño de archivo de 32 bits en el que no puede tener un archivo de forma superior a 2 32 bytes = 4,29 GB.
Algunos otros consejos de rendimiento de geoprocesamiento más generales:
Asegúrese de que ambos conjuntos de datos tengan el mismo sistema de coordenadas. Si es posible, es más rápido tener ambos en un sistema de coordenadas geográficas sin proyección.
Asegúrese de no estar ejecutando una unidad de red. Use el disco duro local más rápido o, si es posible, un SSD.
Cargue el conjunto de datos de clip en la memoria .
Elimine los campos de atributos innecesarios (y vuelva a unirlos más tarde si es necesario).
Otros consejos de rendimiento de geoprocesamiento .
fuente
Algunas funciones de ArcGIS como Union e Intersect utilizan el procesamiento de subdivisión adaptativa como se describe en el procesamiento en mosaico de grandes conjuntos de datos . Desafortunadamente, parece que Clip no tiene una herramienta de geoprocesamiento grande.
Parece que podría replicar este concepto a través de un script ModelBuilder o Python que utiliza la herramienta Split (ArcInfo) para ayudar a procesar conjuntos de datos de gran tamaño.
fuente
O bien, puede renunciar a ArcGIS e intentar hacer el clip en OGR. Vea una explicación aquí . ¡He encontrado que esto funciona cuando nada más lo hace!
fuente
Creo que incluso seleccionar por ubicación funcionará para usted, primero selecciona todos los polígonos que se cruzan con su archivo de forma más pequeño y luego los elimina. Esperemos que esto sea más rápido. déjame saber si te funciona. Gracias.
fuente