Da alcuni googling e da questo thread reddit , ho stabilito che devi impostare la locale predefinita.
Quindi il comando che ha funzionato per me era:
mysqldump --default-character-set=latin1 --lock-tables=false --single-transaction=TRUE --host=$HOST --user=$USER --password=$PASSWORD $DB
Ho usato sia le tabelle di blocco che la transazione singola perché ho un mix di tabelle myisam e innodb.