Con 110 milioni di record, non riesco a immaginare che ci siano molte voci con l'ID traccia in questione. Avrei indici come
(trackID1, sim )
(trackID2, sim )
(tracksimID, sim)
ed esegui una PREQUERY tramite unione e unisciti a quel risultato
select STRAIGHT_JOIN
TS2.*
from
( select ts.tracksimID
from tracksim ts
where ts.trackID1 = 168123
and ts.sim > 0.5
UNION
select ts.trackSimID
from tracksim ts
where ts.trackid2 = 168123
and ts.sim > 0.5
) PreQuery
JOIN TrackSim TS2
on PreQuery.TrackSimID = TS2.TrackSimID
order by
TS2.SIM DESC
LIMIT 0, 100