Spark - Come creare una variabile diversa per ogni contesto dell'esecutore?

Dovresti usare MongoConnector .

Gestirà la creazione di una raccolta ed è supportato da una cache che gestisce in modo efficiente l'arresto di qualsiasi MongoClients. È serializzabile, quindi può essere una trasmissione e può richiedere opzioni, readConfig o il contesto Spark per configurare dove connettersi.

MongoConnector utilizza il modello di prestito per gestire la gestione dei riferimenti della connessione sottostante a MongoDB e consente l'accesso al MongoClient , MongoDatabase o la MongoCollection livello.