Per riferimento, a partire da Django 2.0 è possibile utilizzare la Window funzione per ottenere questo risultato:
AModel.objects.annotate(cumsum=Window(Sum('a_number'), order_by=F('id').asc()))\
.values('id', 'cumsum').order_by('id', 'cumsum')
