Il termine che stai cercando è "impaginazione". Sfortunatamente, questo viene fatto in modo diverso a seconda del motore SQL.
Per MS SQL Server, vedere questo Domanda sull'overflow dello stack .
Dato che hai menzionato MySQL, in realtà è abbastanza semplice:
SELECT [columns] FROM [a table] LIMIT 10000
SELECT [columns] FROM [a table] LIMIT 10000 OFFSET 10000
La prima istruzione recupera i risultati 1-10.000 e la seconda istruzione recupera i risultati 10.001-20.000.