Amazon EMR3.xまたはEMR4.xでSparkジョブを実行する場合は、次のことを行う必要があります。
1） spark-defaults.confについて言及できます ブートストラップ中のプロパティ。つまり、ドライバークラスパスの構成を変更できます。 およびエグゼキュータクラスパス プロパティとmaximizeResourceAllocation （必要に応じて、コメントで詳細を確認してください。）ドキュメント
2）必要なすべてのjar（mysql-connector.jarおよびmariadb-connector.jar）をダウンロードする必要があります。MariaDBおよびMySQLコネクタのJDBC jarを、すべてのノードのSpark、Yarn、Hadoopなどのすべてのクラスパスの場所にダウンロードします。 MASTER、CORE、またはTASK （Spark On Yarnシナリオが最もカバーします）ブートストラップスクリプトのドキュメント
3）また、Sparkジョブがドライバーノードからデータベースにのみ通信している場合は、-jarsを使用するだけでよい場合があります。 例外は発生せず、正常に機能します。
4）マスターを糸クラスターとして試すこともお勧めします ローカルの代わりに またはyarn-client
あなたの場合、MariaDBまたはMySQLを使用している場合は、jarファイルを $ SPARK_HOME / libにコピーしてください。 、 $ HADOOP_HOME / lib クラスタのすべてのノードでなどを実行してから、試してみてください。
後で、ブートストラップアクションを使用できます クラスタの作成時にすべてのノードにjarファイルをコピーします。
詳細については、以下にコメントしてください。