Vai a http://dev.mysql.com/downloads/connector/j e con nel menu a discesa seleziona "Indipendente dalla piattaforma", quindi ti mostrerà le opzioni per scaricare il file tar.gz o il file zip.
Scarica il file zip ed estrailo, con in esso troverai mysql-connector-XXX.jar
file
Se stai usando Maven, puoi aggiungere la dipendenza dal link http://mvnrepository .com/artifact/mysql/mysql-connector-java
Seleziona la versione che desideri utilizzare e aggiungi la dipendenza nel tuo pom.xml
file