La tua chiamata di rete dovrebbe essere simile a questa:
config.vm.network :forwarded_port, guest: [db port x, e.g. 3306 for MySQL], host: [unused host port y]
Nella configurazione di Django, lascia vuoto l'host (predefinito su localhost) e specifica la stessa porta y dall'alto. VirtualBox inoltrerà la tua richiesta a localhost:y a [guest]:x.