MongoDB
 sql >> Database >  >> NoSQL >> MongoDB

Perché il connettore Spark Mongo non spinge i filtri verso il basso?

Non è il GreaterThan questo sta causando il tuo problema, è il fatto che il filtro si trova su un campo nidificato. Il tuo filtro su doc_type funziona perché non è nidificato. Questo, a quanto pare, è un problema con il motore Catalyst in Spark, non con il connettore Mongo. Influisce anche sui pushdown dei predicati, ad es. Parquet.

Vedi le discussioni seguenti in Spark Jira per maggiori dettagli.

Spark 19638

Spark 17636