sql >> データベース >  >> RDS >> PostgreSQL

Apache Spark:JDBC接続が機能しない

    私はmysql/mariadbでこの正確な問題を抱えており、この質問から大きな手がかりを得ました

    したがって、pysparkコマンドは次のようになります。

    pyspark --conf spark.executor.extraClassPath=<jdbc.jar> --driver-class-path <jdbc.jar> --jars <jdbc.jar> --master <master-URL>
    

    また、pysparkが「警告:ローカルjar ...が存在しません、スキップします」のように起動するときのエラーにも注意してください。および「ERRORSparkContext:Jar not found at ...」、これらはおそらくパスのスペルが間違っていることを意味します。



    1. 主キーにignore_dup_keyをオンに設定できますか?

    2. SQLServerでクラスター化インデックスまたは非クラスター化インデックスを使用する場合

    3. Oracleは、select句で定義されたデータチャンクのチェックサム値を取得します

    4. mysqldb.escape_stringと同等のpsycopg2?