sql >> データベース >  >> RDS >> PostgreSQL

DataprocのSqoopはデータをAvro形式にエクスポートできません

    この問題は、DataprocのHadoop(Avro 1.7.7)とSqoop 1.4.7(Avro 1.8.1)の異なるAvroバージョンで発生する可能性があります。

    SqoopをAvro1.7に依存する1.4.6にダウングレードして、avro-tools-1.7.7.jarを使用することをお勧めします。 仕事の提出中。

    編集:

    クラス読み込みの問題を解決するには、mapreduce.job.classloader=trueを設定する必要があります Dataprocジョブを送信する場合:

    gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
        --class=org.apache.sqoop.Sqoop \
        --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
        --properties=mapreduce.job.classloader=true \
        -- \
        . . .
    



    1. SQLエラー私はこれを理解することはできません

    2. 日と月の保存(年なし)

    3. 関数の作成時に構文エラーが発生する

    4. MySqlクエリからデータを取得する方法がわかりません