Prova ad aggiungere un indice a (DUEDATE_, REVERSEPRIORITY_)
in questo ordine. Userà ancora filesort (credo) ma su molte meno righe.
Prova anche a OPTIMIZE TABLE table_name
la tua tabella e CHECK TABLE table_name
la tua tabella (quindi mysql ricalcolerà i valori dell'indice).
Questa è solo un'ipotesi plausibile.