Sono d'accordo con Remon, ma menzioni lotti di 1000, che la sua risposta in realtà non copre. Puoi impostare una dimensione batch sul cursore:
cursor.batch_size(1000);
Puoi anche saltare i record, ad esempio:
cursor.skip(4000);
È questo quello che stai cercando? Questo è effettivamente un modello di impaginazione. Tuttavia, se stai solo cercando di evitare l'esaurimento della memoria, non è necessario impostare la dimensione del batch o saltare.