MongoDB
 sql >> Database >  >> NoSQL >> MongoDB

MongoDB:mongoimport perde la connessione durante l'importazione di file di grandi dimensioni

Immagino che il problema riguardi le prestazioni, in qualsiasi modo tu possa risolvere usato:

puoi usare opzione mongoimport -j . Prova l'incremento se non funziona con 4. cioè 4,8,16, dipende dal numero di core che hai nella tua cpu.

mongoimport --help

-j, --numInsertionWorkers=numero di operazioni di inserimento da eseguire contemporaneamente (il valore predefinito è 1)

mongoimport -d mietscraping -c mails -j 4

oppure puoi dividere il file e importare tutti i file.

Spero che questo ti aiuti.

guardando un po' di più, c'è un bug in alcune versionihttps://jira.mongodb.org/browse/TOOLS-939qui un'altra soluzione è possibile modificare batchSize, per impostazione predefinita è 10000, ridurre il valore e testare:

mongoimport -d mietscraping -c mails