Leggendo https://hub.docker.com/_/postgres/, la sezione "Estendi questa immagine" spiega che qualsiasi .sql in /docker-entrypoint-initdb.d verrà eseguito dopo la compilazione.
Avevo solo bisogno di cambiare il mio Dockerfile.db in:
FROM postgres
ADD ./devops/db/dummy_dump.sql /docker-entrypoint-initdb.d
E funziona!