$unset è vuoto. Devi specificare un campo in questo modo:{$unset:{:...}}

Non sono stato in grado di riprodurre quel messaggio di errore, ma come hai visto, Mongoose aggiornerà solo i campi definiti nello schema. Tuttavia, puoi ignorare quel comportamento predefinito includendo strict: false opzione:

groupsModel.update(
    {_id: group._id},
    {$unset: {"moderators": ""}, $set:{"admins": newAdmins}},
    {strict: false}
)