PostgreSQL
 sql >> Database >  >> RDS >> PostgreSQL

Come importare file XML di grandi dimensioni (~10 GB) in PostgreSQL

  1. Converti file XML in file CSV. Inoltre, durante la conversione, dividilo in parti da 100 Mb-1 Gb per semplificare il batching.

  2. Crea la tabella con le colonne che hai definito nel file CSV.

  3. Carica i file in Postgres con COPIA comando. È il modo più veloce per caricare una grande quantità di dati che conosco. A proposito, potrebbe essere fatto anche da Java, con CopyManager classe.

A seconda del tipo di query che eseguirai, ti piacerà creare indici:

  1. Sarà la parte che richiede più tempo. Tuttavia, puoi utilizzare CREA INDICE CONTEMPORANEAMENTE . Ti permetterà di lavorare con la tua tabella mentre l'indice viene creato in background.

  2. Se ripeti il ​​processo di importazione e hai già creato la tabella e gli indici, elimina gli indici prima di emettere il comando COPY e ricreali in un secondo momento. Ti farà risparmiare molto tempo.

  3. Se non sei ancora soddisfatto della velocità delle tue query o della velocità di creazione degli indici, forse sarà una buona idea utilizzare Clickhouse invece. Tuttavia, dipende dal tipo di query che esegui.