sql >> データベース >  >> RDS >> Mysql

500GBのSQLテーブルをApacheParquetに変換する方法は?

    Apache Sparkを使用してこれを行うことができます:

    1.load your table from mysql via jdbc
    2.save it as a parquet file
    

    例:

    from pyspark.sql import SparkSession
    spark = SparkSession.builder.getOrCreate()
    df = spark.read.jdbc("YOUR_MYSQL_JDBC_CONN_STRING",  "YOUR_TABLE",properties={"user": "YOUR_USER", "password": "YOUR_PASSWORD"})
    df.write.parquet("YOUR_HDFS_FILE")
    


    1. pg-promiseを使用した複数行の挿入

    2. ORA-00054:リソースがビジーで、NOWAITが指定されているか、タイムアウトが期限切れになっています。

    3. Alibaba Cloud

    4. mysqlでミリ秒またはマイクロ秒でロード時間を取得する方法