Non è il GreaterThan
questo sta causando il tuo problema, è il fatto che il filtro si trova su un campo nidificato. Il tuo filtro su doc_type
funziona perché non è nidificato. Questo, a quanto pare, è un problema con il motore Catalyst in Spark, non con il connettore Mongo. Influisce anche sui pushdown dei predicati, ad es. Parquet.
Vedi le discussioni seguenti in Spark Jira per maggiori dettagli.