Ho capito la risposta alla mia domanda. Si trattava di un problema di compatibilità con il connettore Mongo-Spark e la versione di Spark a cui ho eseguito l'aggiornamento. In particolare, il valore findTightestCommonTypeOfTwo è stato rinominato in PR:
https://github.com/apache/spark/pull/16786/files
Per Spark 2.2.0 anche il connettore Mongo-Spark compatibile è 2.2.0, quindi nel mio esempio il pacchetto verrebbe caricato in questo modo:
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\
Questo potrebbe cambiare in futuro, quindi quando si utilizza il connettore, è necessario verificare la compatibilità con la versione di Spark in uso.
