No, puoi ereditare solo da un'immagine.
Probabilmente non vuoi Java e MySQL nella stessa immagine poiché è più idiomatico avere un singolo componente in un contenitore, ad esempio creare un contenitore MySQL separato e collegarlo al contenitore Java piuttosto che metterli entrambi nello stesso contenitore.
Tuttavia, se devi davvero averli nella stessa immagine, scrivi un Dockerfile con Java come immagine di base (istruzione FROM) e installa MySQL nel Dockerfile. Dovresti essere in grado di copiare in gran parte le istruzioni dal Dockerfile MySQL ufficiale.