スクリプトをMySQLに書き込もうとしたときに、「java.sql.SQLException:適切なドライバーがありません」というメッセージが表示されました。
これを修正するために私がしたことです。
script.py
df.write.jdbc(url="jdbc:mysql://localhost:3333/my_database"
"?user=my_user&password=my_password",
table="my_table",
mode="append",
properties={"driver": 'com.mysql.jdbc.Driver'})
次に、sparkを実行しました-この方法で送信します
SPARK_HOME=/usr/local/Cellar/apache-spark/1.6.1/libexec spark-submit --packages mysql:mysql-connector-java:5.1.39 ./script.py
SPARK_HOMEは、sparkがインストールされている場所に固有であることに注意してください。ご使用の環境では、この https://github.com/sequenceiq/docker -spark / blob / master / README.md 役立つかもしれません。
上記のすべてが混乱する場合は、これを試してください:
t.pyreplaceで
sqlContext.read.format("jdbc").option("url",url).option("dbtable","people").load()
sqlContext.read.format("jdbc").option("dbtable","people").option("driver", 'com.mysql.jdbc.Driver').load()
そしてそれを実行します
spark-submit --packages mysql:mysql-connector-java:5.1.39 --master local[4] t.py