Come caricare 100 milioni di record in MongoDB con Scala per i test delle prestazioni?

Alcuni consigli :

1. Non indicizzare la tua raccolta prima di averla inserita , poiché gli inserti modificano l'indice che è un sovraccarico. Inserisci tutto, quindi crea index .

2. invece di "save" , usa mongoDB "batchinsert" che può inserire molti record in 1 operazione. Quindi hai inserito circa 5000 documenti per batch. Vedrai un notevole miglioramento delle prestazioni.

   vedi il metodo n. 2 di inserimento qui, ci vuole una serie di documenti da inserire invece di un singolo documento. Vedi anche la discussione in questo thread

   E se vuoi fare più benchmark -

3. Questa è solo un'ipotesi, prova a utilizzare una raccolta limitata di una dimensione grande predefinita per memorizzare tutti i tuoi dati. La raccolta limitata senza indice ha prestazioni di inserimento molto buone.