È possibile utilizzare un'espressione in un ORDER BY. Prova questo:
SELECT *
FROM comments
ORDER BY IF(ParentId = 0, Id, ParentId), Id
Questo prima ordinerà per Id, se ParentId =0, o per ParentId altrimenti. Il secondo criterio di ordinamento è l'Id, per garantire che le risposte vengano restituite in ordine.