per qualche motivo (forse perché sto usando rubygems 1.3.7 o installando mysql-2.8.1)
sudo gem install mysql -- --with-mysql-config=/usr/local/mysql/bin/mysql_config
non ha funzionato per me, quindi dopo aver dato un'occhiata a gems/mysql-2.8.1/ext/mysql_api/extconf.rb ho scoperto che extconf.rb cerca nel PERCORSO mysql_config quindi ho provato
export PATH=$PATH:/usr/local/mysql/bin
sudo gem install mysql
e ha fatto il lavoro