Il problema potrebbe essere in diverse versioni di Avro in Hadoop (Avro 1.7.7) e Sqoop 1.4.7 (Avro 1.8.1) di Dataproc.
Potresti provare a eseguire il downgrade di Sqoop alla 1.4.6 che dipende da Avro 1.7 e utilizzare avro-tools-1.7.7.jar durante l'invio del lavoro.
Modificato:
Per risolvere il problema di caricamento della classe, devi impostare mapreduce.job.classloader=true quando si invia un lavoro Dataproc:
gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
--class=org.apache.sqoop.Sqoop \
--jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
--properties=mapreduce.job.classloader=true \
-- \
. . .
