Come popolare l'oggetto con una matrice di oggetti in mangusta?

non credo ci siano problemi con .populate('adminInfo.adminId') metodo.

sei sicuro che rif il campo è in CamelCase .

In caso contrario, prova a modificare il campo di riferimento ->

adminInfo: {
  _id: false,
  adminId: [{
    type: Schema.Types.ObjectId,
    ref: 'user'
  }]
}