Sembra il ref errato nello userSchema , dovrebbe fare riferimento a book schema anziché user schema stesso.
var book = mongoose.model('Book', bookSchema);
...
books: [{type: Schema.Types.ObjectId, ref: 'book'}]
Sembra il ref errato nello userSchema , dovrebbe fare riferimento a book schema anziché user schema stesso.
var book = mongoose.model('Book', bookSchema);
...
books: [{type: Schema.Types.ObjectId, ref: 'book'}]