SELECT column1 FROM table WHERE ISNUMERIC(column1) = 1
Nota, come ha sottolineato Damien_The_Unbeliever, questo includerà qualsiasi tipo numerico valido.
Per filtrare le colonne contenenti caratteri non numerici (e stringhe vuote), potresti usare
SELECT column1 FROM table WHERE column1 not like '%[^0-9]%' and column1 != ''