Hai l'idea giusta, ma nell'ultimo passaggio dell'aggregazione quello che vuoi fare è raggruppare tutti i punteggi per studente e trovare il valore $min.
Modifica l'ultima operazione della pipeline in:
{ $group: {
_id: "$_id",
minScore: {$min: "$scores.score"}
}}
