Mi pregunta es similar a la importación lenta a través de osm2pgsql a la base de datos postgresql y la optimización de las importaciones de osm2pgsql para datos OSM, pero como actualmente tenemos algunos problemas para importar un gran conjunto de datos OSM, abro uno nuevo.
¿Cuál es la mejor manera de importar un gran conjunto de datos (OSM Export of Europe) en una base de datos postgres?
Nuestra computadora tiene 32 GB de RAM ... así que podría usar todo eso.
Probamos un par de parámetros, pero no tuvimos éxito ... el último intento usamos el
osm2pgsql -c -S /usr/share/osm2pgsql/default.style --slim -d osm-europe -U postgres -C 25000 europe-latest.osm.pbf
Pero nos quedamos sin memoria a pesar de que nuestro servidor tiene 32 GB de RAM disponibles.
pending_ways failed: out of memory for query result
(7)
Error occurred, cleaning up
¿Cómo mejoramos nuestro comando de importación?
Incluso si lleva más tiempo ... Pero necesitamos tener los datos importados en nuestra base de datos postgres.
¿Recomendaría usar un EC2 para la tarea o nuestra configuración debería funcionar con diferentes parámetros?
Importé un archivo Planet en una máquina de 24 Gb (Ubuntu Trusty) con lo siguiente ...
Tomó aproximadamente 5 días, la última mitad en el lado de la base de datos ... en lugar de la importación real
Ajusté Postgres con lo siguiente para la importación
fuente