Il tuo utilizzo dei --packages l'argomento è sbagliato:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Deve essere sotto forma di groupId:artifactId:version come suggerisce l'output. Non puoi utilizzare un URL con esso.
Un esempio per utilizzo di mongoDB con spark con il supporto del repository integrato:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Se insisti nell'usare il tuo jar, puoi fornirlo tramite --repositories . Il valore dell'argomento è
Ad esempio, nel tuo caso, potrebbe essere
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
