Il modo più semplice per farlo, se non sei legato a un framework particolare, è con un file delle proprietà. Dai un'occhiata all'ultima parte della risposta accettata per questa domanda (non il bit XML per il tuo caso).
A seconda che tu stia utilizzando un contenitore servlet o simile (ad es. Tomcat, Glassfish e così via), potresti anche prendere in considerazione l'utilizzo delle impostazioni di connessione e del pool di connessioni di quel contenitore, che potrebbero essere più semplici del riciclo delle tue connessioni.
Ma se stai solo cercando di entrare in Java e questo è per te per conoscere JDBC, mantienilo inizialmente semplice e leggi le tue proprietà da un file db.properties sul tuo percorso di classe.