Mysql
 sql >> Database >  >> RDS >> Mysql

Accelera l'inserimento di set di dati di grandi dimensioni da file txt a MySQL usando python

Due opzioni da considerare:

1) il modo più semplice consiste nell'includere più righe di valori su un inserto. Questo è molto, molto più veloce che fare più inserti.

Insetad di fare INSERT INTO tbl ( cols ) VALUES ( vals ) , fai qualcosa come INSERT INTO tbl ( cols ) VALUES ( vals ), ( vals ), ( vals )

La quantità di righe che puoi inserire contemporaneamente dipende dalla dimensione massima del pacchetto del server MySQL, ma probabilmente puoi fare 100, 1000, forse 10000 righe in sicurezza e dovrebbe darti un aumento delle prestazioni di un ordine di grandezza o più.

Vedi http://dev.mysql.com/doc/ refman/5.5/en/insert-speed.html

2) CARICA FILE DATI è un po' diverso, richiede più lavoro e ha i suoi requisiti, ma è molto molto veloce.