Puoi usare il ISNUMERIC
funzione:
select * from table where isnumeric(mycolumn) = 0
Se consenti valori NULL nella tua colonna, dovrai anche aggiungere un controllo per NULL poiché ISNUMERIC(NULL)
restituisce anche 0
select * from table where isnumeric(mycolumn) = 0 or mycolumn is not null