I filesystem sono pensati per i file, perché non lo farebbero lo conservi lì?
In MySQL sarà molto più lento; stai dicendo 'non è stato terribilmente veloce'. Questo aumenterà in modo esponenziale se il carico aumenta. Probabilmente dovrai anche caricare l'intero BLOB in memoria in PHP (se questo è il linguaggio front-end che stai utilizzando), il che causa anche problemi.
Dopo averlo fatto, noterai in particolare che aumenta l'utilizzo della memoria e il tempo necessario prima che l'mp3 inizi a scaricare/riprodurre.