Mysql
 sql >> Database >  >> RDS >> Mysql

Caricamento di 5 milioni di righe in Panda da MySQL

Il modo migliore per caricare tutto i dati da una tabella fuori da qualsiasi database SQL in panda sono:

  1. Estrarre i dati dal database utilizzando COPIA per PostgreSQL, SELEZIONARE IN OUTFILE per MySQL o simili per altri dialetti.
  2. Lettura del file CSV con i panda utilizzando il pandas.read_csv funzione

Utilizza il connettore solo per leggere alcune righe . Il potere di un database SQL è la sua capacità di fornire piccoli blocchi di dati basati su indici.

La consegna di intere tabelle è qualcosa che fai con i dump.