Mehr

Osm2pgsql -- extrem langsam anhängen


Ich habe planet.osm in eine Datenbank importiert. Jetzt versuche ich, stündliche Updates einzurichten.

Ich habe eine Datei erstelltänderungen.osc.gzOsmose verwenden. Diese Datei enthält Updates für 1 Stunde - die EXTREM langsam zu laufen scheinen. Ich sollte aus Verzweiflung hinzufügen, dass ich jetzt einen Amazon-Rechner mit 16 Prozessoren und 122 GB Arbeitsspeicher verwende - wobei alles über interne SSD-Laufwerke läuft (keine EBS-Volumes).

Ich versuche dann, diese Änderungen mit osm2pgsql mit dem folgenden Befehl anzufügen:

osm2pgsql --append -s -H db.host -d osm -U Benutzer -C 64000 --number-processes 16 --cache-strategy dense --hstore --hstore-add-index -K -G -W -p osm --extra-attributes -v changes.osc.gz

Die von mir verwendeten Optionen sind die gleichen wie beim ersten Import.

Ich erhalte Statistiken wie folgt:

Verarbeitung: Knoten (120k 0,4k/s) Weg (15k 0,17k/s) Beziehung (431 3,65/s) Parse-Zeit: 521s

Das sieht extrem langsam aus – aber dann verschlimmert sich die Situation… insgesamt habe ich mehr als 1 Stunde gewartet und der Vorgang war noch lange nicht abgeschlossen.

Dann sind die ausstehenden Wege etwa 32 Millionen… ist das normal für ein stündliches Update?

Ich hoffe wirklich, dass ich etwas sehr falsch mache. Hat jemand ein Setup, das mit Updates machbar ist? Welche Parameter benutzt ihr?

Weiß jemand, ob es überhaupt möglich ist, eine OSM-Datenbank mit Updates zu führen?


Schau das Video: Vector Tiles mit PostGIS und QGIS, Astrid Emde, FOSSGIS Update 2021 (Oktober 2021).