sql >> データベース >  >> RDS >> Mysql

Parallel Insertステートメントを使用してMySQLテーブルに巨大なパンダデータフレームを挿入する方法は?

    それを達成するためにいくつかのことができます。

    1つの方法は、SQLへの書き込み中に追加の引数を使用することです。

    df.to_sql(method = 'multi')
    

    このドキュメント によると 、'multi'をメソッド引数に渡すと、一括挿入が可能になります。

    別の解決策は、multiprocessing.dummyを使用してカスタム挿入関数を構築することです。ドキュメントへのリンクは次のとおりです: https://docs.python.org/2/library/multiprocessing.html#module-multiprocessing.dummy

    import math
    from multiprocessing.dummy import Pool as ThreadPool
    
    ...
    
    def insert_df(df, *args, **kwargs):
        nworkers = 4 # number of workers that executes insert in parallel fashion
    
        chunk = math.floor(df.shape[0] / nworkers) # number of chunks
        chunks = [(chunk * i, (chunk * i) + chunk) for i in range(nworkers)]
        chunks.append((chunk * nworkers, df.shape[0]))
        pool = ThreadPool(nworkers)
    
        def worker(chunk):
            i, j = chunk
            df.iloc[i:j, :].to_sql(*args, **kwargs)
    
        pool.map(worker, chunks)
        pool.close()
        pool.join()
    
    ....
    
    insert_df(df, "foo_bar", engine, if_exists='append')
    

    2番目の方法は、https://stackoverflow.com/a/42164138/5614132 で提案されました。 。




    1. ORA-28001:パスワードの有効期限が切れています

    2. ピボットテーブルmySQLを使用して特定の値をクエリする

    3. プロシージャMySQL5.5.xでSQLEXCEPTIONメッセージを取得する

    4. データを2回注文する方法。しかし、最初のorderByを無効にします