--packages
の使用 議論が間違っている:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
groupId:artifactId:version
の形式である必要があります 出力が示唆するように。 URLを使用することはできません。
mongoDBをsparkで使用する例 組み込みのリポジトリサポート付き:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
独自のjarを使用することを主張する場合は、--repositories
を介して提供できます。 。引数の値は
たとえば、あなたの場合、それは
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0