sql >> データベース >  >> RDS >> PostgreSQL

map_partitionsとpd.df.to_sqlを使用してdaskデータフレームからSQLテーブルを作成します

    簡単に言うと、実行する作業の処方箋であるデータフレームを作成しましたが、実行していません。実行するには、.compute()を呼び出す必要があります 結果について。

    ここでの出力は実際にはデータフレームではないことに注意してください。各パーティションはNoneと評価されます。 (to_sqlのため 出力がないため)、これをdf.to_delayedで表現する方がクリーンな場合があります。 、

    のようなもの
    dto_sql = dask.delayed(pd.DataFrame.to_sql)
    out = [dto_sql(d, 'table_name', db_url, if_exists='append', index=True)
           for d in ddf.to_delayed()]
    dask.compute(*out)
    

    また、良好な並列処理が得られるかどうかは、データベースドライバーとデータシステム自体に依存することに注意してください。



    1. OracleでINSERTINTOと組み合わせると、有効なGROUPBYクエリが機能しません

    2. 多対多のクエリの問題を続編する

    3. mysqliクエリは最初の行のみを返します

    4. セルのデータ型を数値のテキストとして明示的に設定します