- Hadoop-common、hadoop-aws、aws-s3-sdk、jacksonの各バージョンを、すべてが期待するものと混合することは絶対にできません。そうしないと、スタックトレースが表示されます。
- そしてそのすべてがオープンソースであるため、すべてのソースJARをローカルでD / Lする場合、IDEはスタックトレースの原因を見つけるのに役立ちます。 これは私たち全員が行うことです 。これは魔法ではありません。最新のIDE（intellij IDEA）には、特別なスタックデバッグさえあります。
これは、fs.s3a.multipart.sizeの値が原因で発生します。 hadoop-commonの/core-default.xmlで設定 リソースは1億で、HADOOP-13680
が付属しています。 そして、104857600の代わりに「100M」のような範囲解析処理番号。このスタックトレースには、「Hadoop2.8以降の構成」と記載されています
構成のプロパティをその数値に設定してみることができますが、JARのバージョンが同期しておらず、他の何かが壊れる前に数行しか表示されないという警告サインです。
修正：hadoop-common.jarを確認してください およびhadoop-aws.jar 同期しています。ジャクソンとawsが並んでいるように見えますが、ジャクソンは非常に複雑なので、当然のこととは言えません。