Quello che stai cercando è launchctl limit maxfiles .
Per cambiarlo devi eseguire il comando launchctl limit maxfiles 1024 2048 per esempio.
Per modificare permanentemente quei valori devi creare /etc/launchctl.conf e impostare i valori che ti servono (vedi qui
per i dettagli) o aggiungi il comando menzionato sopra al tuo ~/.bash_profile.
Oppure puoi creare uno script che imposterà il limite e quindi avvierà mongo
