Probabilmente hai sbagliato percorso per --with-pg-config , controlla se è effettivamente presente.
Puoi trovare il percorso corretto per pg_config con:
find /Applications -name pg_config
Nell'ultima versione di Postgres.app il percorso è:
gem install pg -- --with-pg-config=/Applications/Postgres.app/Contents/Versions/9.5/bin/pg_config
