Come rimuovere elementi duplicati in MySQL con un set di dati di 20 milioni di righe?

Puoi provare questo:

ALTER IGNORE TABLE my_tablename ADD UNIQUE INDEX idx_name (text1 , text2);

cioè, prova ad aggiungere UNIQUE INDEX alle tue colonne e alter il tavolo

Questo ha un vantaggio che anche in futuro non ci saranno righe duplicate che potrai inserire nella tua tabella