Due problemi:
- lo spazio tra -p e la password
- lo spazio all'interno del percorso dell'eseguibile
Preferisci questo :
runtime.exec(new String[]{"C:\\Program Files\\MySql\\MySql Server 5.5\\bin\\mysqldump", "-u", "root", "-pmyDatabase" "> D:\\backup.sql"});
Nota che se hai un problema con runtime.exec, dovresti guardare gli stream che puoi ottenere dal Elaborazione . Non guardare quei flussi in caso di errore è un po' come non guardare l'eccezione quando ne viene lanciata una.