Ho riscontrato questo errore quando ho provato a installare rails by gem su CentOS 6.3.
Dopo aver cercato un po' su Google, ho trovato una soluzione rapida:installare il pacchetto ruby-devel.
sudo yum install ruby-devel
Dopodiché, tutto ha funzionato bene.