driver
を追加する必要がありました sparkSession
を使用する場合のオプション のread
働き。
.option("driver", "org.postgresql.Driver")
var jdbcDF - sparkSession.read
.option("driver", "org.postgresql.Driver")
.option("url", "jdbc:postgresql://<host>:<port>/<DBName>")
.option("dbtable", "<tableName>")
.option("user", "<user>")
.option("password", "<password>")
.load()
依存関係の設定方法に応じて、compile group: 'org.postgresql', name: 'postgresql', version: '42.2.8'
のようなものを含めると気付くでしょう。 たとえば、Gradleでは、これにはorg/postgresql/Driver.class
のDriverクラスが含まれます。 、そしてそれはあなたがスパークにロードするように指示したいものです。