Il punto di Martin Smith è eccellente --> Se ci sono solo dati numerici che entrano e farai sempre operazioni come questa, ti farà risparmiare tempo e fatica non dover eseguire questo lavoro di conversione.
Detto questo puoi farlo -
update Fields
set ColumnName = cast( (cast(ColumnName as int) - 1) as varchar(nn))
from Fields f, FTypes ft
where ft.Name = 'Field Count'
and ft.ID = f.ID_FT
and f.ID_Project = 186
dove nn è la definizione originale della tua colonna varchar