PostgreSQL
 sql >> Database >  >> RDS >> PostgreSQL

Scrivi un dataframe panda veloce su Postgres

Il tuo secondo approccio dovrebbe essere molto veloce.

Ci sono due problemi con il tuo codice:

  1. Dopo aver scritto il csv in f sei posizionato alla fine del file. Devi riportare la tua posizione all'inizio prima di iniziare a leggere.
  2. Quando scrivi un CSV, devi omettere l'intestazione e l'indice

Ecco come dovrebbe essere il tuo codice finale:

import io
f = io.StringIO()
pd.DataFrame({'a':[1,2], 'b':[3,4]}).to_csv(f, index=False, header=False)  # removed header
f.seek(0)  # move position to beginning of file before reading
cursor = conn.cursor()
cursor.execute('create table bbbb (a int, b int);COMMIT; ')
cursor.copy_from(f, 'bbbb', columns=('a', 'b'), sep=',')
cursor.execute("select * from bbbb;")
a = cursor.fetchall()
print(a)
cursor.close()