Copiato dal commento poiché apparentemente ha portato alla soluzione:
Stai perdendo qualcosa di diverso dalla memoria, secondo me, forse descrittori di file. Prova a usare netstat o lsof per vedere se ci sono molte più connessioni o file aperti di quanto ti aspetti.