PostgreSQL
 sql >> Database >  >> RDS >> PostgreSQL

Come caricare i dati nei panda da un database di grandi dimensioni?

pd.read_sql() ha anche il parametro chunksize , così puoi leggere i dati dalla tabella/query SQL in blocchi:

for df in pd.read_sql("Select * from timeseries", conn, chunksize=10**4):
    # process `df` chunk here...