Prova ad aggiungere un indice a (DUEDATE_, REVERSEPRIORITY_) in questo ordine. Userà ancora filesort (credo) ma su molte meno righe.
Prova anche a OPTIMIZE TABLE table_name la tua tabella e CHECK TABLE table_name la tua tabella (quindi mysql ricalcolerà i valori dell'indice).
Questa è solo un'ipotesi plausibile.