Il driver jtds non ha la stessa sintassi del driver ms. Dovresti inviare il nome dell'istanza come una proprietà, ad esempio in questo modo:
"jdbc:jtds:sqlserver://localhost/master;instance=TESTDATA;..."
Si noti inoltre che il nome del database viene inviato come /master
invece che come proprietà. Buona fortuna!