oraclesqlからpandasdfへのデータのロードを高速化する方法

cur.arraysizeに適切な値を設定する フェッチパフォーマンスの調整に役立つ可能性があります。それに最適な値を決定する必要があります。デフォルト値は100 。

などの値を決定するために、配列サイズが異なるコードが実行される場合があります。

arr=[100,1000,10000,100000,1000000]
for size in arr:
        try:
            cur.prefetchrows = 0
            cur.arraysize = size
            start = datetime.now()
            cur.execute("SELECT * FROM mytable").fetchall()
            elapsed = datetime.now() - start
            print("Process duration for arraysize ", size," is ", elapsed, " seconds")
        except Exception as err:
            print("Memory Error ", err," for arraysize ", size)

次に、 cur.arraysize =10000のように設定します db_selectを呼び出す前 元のコードから