Penso che non sia necessario copiare postgres jar negli slave poiché il programma del driver e il gestore del cluster si occupano di tutto. Ho creato dataframe da una fonte esterna di Postgres nel modo seguente:
Scarica il file jar del driver Postgres :
cd $HOME && wget https://jdbc.postgresql.org/download/postgresql-42.2.5.jar
Crea frame di dati :
atrribute = {'url' : 'jdbc:postgresql://{host}:{port}/{db}?user={user}&password={password}' \
.format(host=<host>, port=<port>, db=<db>, user=<user>, password=<password>),
'database' : <db>,
'dbtable' : <select * from table>}
df=spark.read.format('jdbc').options(**attribute).load()
Invia per avviare un lavoro: Aggiungi il file jar scaricato al percorso della classe del driver durante l'invio del lavoro spark.
--properties spark.driver.extraClassPath=$HOME/postgresql-42.2.5.jar,spark.jars.packages=org.postgresql:postgresql:42.2.5
