Ho avuto questo problema esatto con mysql/mariadb e ho avuto un GRANDE indizio da questa domanda
Quindi il tuo comando pyspark dovrebbe essere:
pyspark --conf spark.executor.extraClassPath=<jdbc.jar> --driver-class-path <jdbc.jar> --jars <jdbc.jar> --master <master-URL>
Controlla anche gli errori quando pyspark inizia come "Attenzione:jar locale... non esiste, sto saltando". e "ERROR SparkContext:Jar not found at ...", probabilmente significano che hai sbagliato a scrivere il percorso.
