Da primario controlla se sei in grado di connetterti al secondario
mongo --host repset1.com --port 27017
Quando quanto sopra fallisce potrebbe essere un problema di firewall o BindIP.
Controlla bind_ip (dovrebbe essere 0.0.0.0, la modifica in mongodb.conf è 127.0.0.1):
netstat -plunt | grep :27017 | grep LISTEN
Guarda i file di registro dei secondari, perché sono bloccati. Hanno ricevuto i dettagli di configurazione?
Prova a riconfigurare, vedi mongo replicaset reconfigure