Dovresti considerare la creazione di un ConnectionPool e ottenere la connessione da questo pool per il tuo lavoro relativo al database.
I seguenti due link potrebbero interessarti:
Collegamento in pool
Apache Commons DBCP
Modifica Grazie a @MJB per averlo segnalato :
c3p0
è un altro che è abbastanza buono.
BoneCP
è un altro
Ma alla fine, il punto semplice è questo:è necessario implementare il pool di connessioni. Quale scegli è totalmente una tua decisione e in base alle tue esigenze.