Perché l'ordine esterno di non funziona correttamente?

Non sto dicendo che questo sia il modo migliore per fare le cose, ma è la minima modifica ai tuoi tentativi esistenti.

(
  SELECT IF(aye IN ("10"), 0, 1) AS sortGroup
     , IF(aye IN ("10"), @rank := @rank + 3, @rank1 := @rank1 + 3) AS `rank`
     , id, subject, name
  FROM quran
     , (select @rank := -2) AS rq, (select @rank1 := -1) AS r1q  
  WHERE MATCH (subject, name) AGAINST ('anything') 
)
UNION ALL
(
  SELECT 2 AS sortGroup
     , @rank2 := @rank2 + 2 `rank`
     , id, subject, byA
  FROM hadith
     , (select @rank2 := 0) AS q 
  WHERE MATCH (subject) AGAINST ('anything')
)
ORDER BY sortGroup, rank 
LIMIT 0, 11

In realtà, non sono sicuro che tu possa unire le prime due query unite e ottenere gli stessi risultati. Nella query originale, con UNION DISTINCT e il calcolo separato del grado nell'originale, record che soddisfano il aye IN ("10") i criteri probabilmente appariranno spesso due volte (ma con valori di classificazione diversi).