Oops, quindi ho trovato la risposta al mio problema:
Tutte le colonne di un indice FULLTEXT devono avere non solo lo stesso set di caratteri ma anche stesse regole di confronto .
Il mio indice FULLTEXT aveva utf8_unicode_ci su una delle sue colonne e utf8_general_ci sulle sue altre colonne.
