Puoi usare il ISNUMERIC funzione:
select * from table where isnumeric(mycolumn) = 0
Se consenti valori NULL nella tua colonna, dovrai anche aggiungere un controllo per NULL poiché ISNUMERIC(NULL) restituisce anche 0
select * from table where isnumeric(mycolumn) = 0 or mycolumn is not null