MySQL Errore duplicato con ALTER IGNORE TABLE

È perché usi INNO DB,

Un semplice trucco :

set session old_alter_table=1;
ALTER IGNORE TABLE `user_server`  
ADD UNIQUE INDEX (`user_id`, `server_id`);
set session old_alter_table=0;

Questo fa il lavoro