Sembra che tu debba ancora installare le librerie di sviluppo di MySQL. Questi sono necessari affinché la gemma possa essere compilata correttamente sul tuo sistema.
[Modifica] Sembra che il RoR Wiki non sia più disponibile. Tuttavia, Ubuntu ha offerto la propria procedura dettagliata che suggerisce:
sudo apt-get install mysql-server mysql-client
sudo apt-get install libmysql-ruby libmysqlclient-dev
sudo gem install mysql
Vedi http://wiki.rubyonrails.org/database-support/mysql #installazione
per maggiori dettagli.
Esempio:Ubuntu
sudo apt-get install mysql-server mysql-server-5.0 libmysqlclient15off \
libmysqlclient15-dev mysql-client-5.0 mysql-common
sudo apt-get install libmysql++-dev
sudo gem install mysql