- Non puoi assolutamente mescolare le versioni di Hadoop-common, hadoop-aws, aws-s3-sdk e jackson da ciò che tutto si aspetta, altrimenti vedrai tracce di stack.
- Ed è tutto open source, quindi se esegui il D/L di tutti i JAR di origine localmente, il tuo IDE ti aiuterà a trovare la causa della traccia dello stack. Questo è ciò che facciamo tutti . Non è magico, gli IDE moderni (intellij IDEA) hanno persino uno speciale debug dello stack.
Questo sta arrivando perché il valore di fs.s3a.multipart.size impostato in /core-default.xml di hadoop-common la risorsa è 100 milioni, che è arrivata con HADOOP-13680
e i numeri di gestione dell'analisi dell'intervallo come "100M" anziché 104857600 . Questa traccia dello stack dice "Configurazione Hadoop 2.8+"
Potresti provare a impostare la proprietà nelle tue configurazioni su quel valore numerico, ma è un segnale di avvertimento che le versioni dei JAR non sono sincronizzate e probabilmente otterrai solo poche righe prima che qualcos'altro si interrompa.
Correzione:assicurati che hadoop-common.jar e hadoop-aws.jar sono sincronizzati. Sembra che tu abbia messo in fila Jackson e Aws, anche se Jackson è abbastanza complesso che non puoi mai darlo per scontato.
