La condizione SQL WHERE non è uguale a?

Puoi fare così

DELETE FROM table WHERE id NOT IN ( 2 )

O

DELETE FROM table WHERE id <>  2 

Come ha notato @Frank Schmitt, potresti voler stare attento anche ai valori NULL. Se vuoi eliminare tutto ciò che non è 2 (inclusi i NULL), quindi aggiungi OR id IS NULL alla clausola WHERE.