sql >> データベース >  >> NoSQL >> MongoDB

Spark-submit構成の使用方法:jar、packages:クラスターモード?

    --packagesの使用 議論が間違っている:

    --packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
    

    groupId:artifactId:versionの形式である必要があります 出力が示唆するように。 URLを使用することはできません。

    mongoDBをsparkで使用する例 組み込みのリポジトリサポート付き:

    $SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
    

    独自のjarを使用することを主張する場合は、--repositoriesを介して提供できます。 。引数の値は

    です。

    たとえば、あなたの場合、それは

    --repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
    



    1. (クライアント側の)javascriptを使用してRedisに直接接続しますか?

    2. 現在および次のドキュメントから値を減算して値を取得するためのクエリ

    3. MongoDB-レコードの挿入中に引用符をエスケープする

    4. RedisSentinel