Ti chiederei prima di tutto perché hai una colonna varchar che deve essere trattata come numerica, ma non importa.
Puoi usare il extra
metodo queryset per convertire la tua stringa:
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])