Perché non salvi i voti totali per ogni commento? Aumenta/diminuisci questo valore quando si verifica una nuova votazione.
Quindi devi controllare se l'utente ha votato specificamente per questo commento per consentire un solo voto per commento per utente.