Come posso restituire un aggregato di sottoarray con un filtro sull'array più in alto?

Puoi provare sotto l'aggregazione:

ChoreChart.aggregate([
    { "$match": { "affiliation": affiliation, "year": week.year, "weekNumber": week.number } },
    {
        $addFields: {
            chart: {
                $filter: {
                    input: "$chart",
                    cond: { $eq: [ "$$this.ordinal", 2 ] }
                }
            }
        }
    }
])

$addFields sostituisce il campo esistente e $filter filtri matrice interna. Inoltre dal tuo ordinal è un numero che devi anche specificare numero non stringa nella tua query.