Penso che tu abbia solo bisogno di COUNT(DISTINCT post_id) FROM votes
.
Vedere la sezione "4.2.7. Espressioni aggregate" in http://www.postgresql.org/docs/current/static/sql-expressions.html.
EDIT:corretto il mio errore negligente per il commento di Erwin.