Vedo cosa c'era che non andava. Devi effettuare l'ordine entro alla fine della query e solo alla fine. Mi ha dato un errore perché pensava che la query fosse terminata.
Select <column1>
,<column2>
,<aggregate column3>
From <Table1>
<Some joins in there>
Where <conditions>
group by <column2>, <column1>
union
select <column2>
,<column3>
,<aggregate column4>
From <Table2>
<Some more joins here>
Where <conditions>
group by <column2>, <column3>
order by <column2>
Questo ha funzionato.