Mysql
 sql >> Database >  >> RDS >> Mysql

File dati di caricamento MySQL - accelerazione?

se stai utilizzando innodb e il caricamento collettivo, ecco alcuni suggerimenti:

ordina il tuo file CSV nell'ordine della chiave primaria della tabella di destinazione:ricorda che innodb usa le chiavi primarie raggruppate in modo che si carichi più velocemente se è ordinato!

tipico file di caricamento dei dati che uso:

truncate <table>;

set autocommit = 0;

load data infile <path> into table <table>...

commit;

altre ottimizzazioni che puoi utilizzare per aumentare i tempi di caricamento:

set unique_checks = 0;
set foreign_key_checks = 0;
set sql_log_bin=0;

dividere il file CSV in blocchi più piccoli

statistiche di importazione tipiche che ho osservato durante i carichi all'ingrosso:

3.5 - 6.5 million rows imported per min
210 - 400 million rows per hour