Ho appena trovato un modo! Era più semplice di quanto pensassi! Senza scrivere alcun TestRunner personalizzato ecc.
La risposta è in pytest-django docs nel Capitolo 5 -> Esempi -> Usa un database di sola lettura.
Dai un'occhiata ad altri esempi, che sono davvero utili in tali situazioni.
Grazie!