La tua idea iniziale è assolutamente fattibile. Basta avviare 10 thread di lavoro che attendono l'input su una stessa coda. Quindi il tuo processo di posta inserisce gli URL in questa coda. Il bilanciamento del carico avverrà automaticamente.
Se i tuoi collegamenti SQL sono thread-safe, puoi eseguire le operazioni INSERT o UPDATE nei thread di lavoro. Altrimenti, aggiungerei un altro thread per le cose SQL, in attesa di input su una coda diversa. Quindi i tuoi thread di lavoro metterebbero la query in questa coda e il thread SQL la eseguirebbe.
Se cerchi su Google "coda di thread di lavoro python", troverai alcuni esempi.
