-
XMLファイルをCSVファイルに変換します。また、変換するときは、バッチ処理を簡単にするために100Mb〜1Gbの部分に分割します。
-
CSVファイルで定義した列を使用してテーブルを作成します。
-
コピー を使用してファイルをPostgresにアップロードします コマンド。これは、私が知っている大量のデータをアップロードするための最速の方法です。ところで、Javaからも、 CopyManager クラス。
実行するクエリの種類に応じて、インデックスを作成します。
-
それは最も時間のかかる部分になります。ただし、インデックスを同時に作成 することはできます。 。インデックスがバックグラウンドで作成されている間、テーブルを操作できるようになります。
-
インポートプロセスを繰り返し、すでにテーブルとインデックスが作成されている場合は、COPYコマンドを発行する前にインデックスを削除し、後で再作成してください。時間を大幅に節約できます。
-
それでもクエリの速度やインデックス作成の速度に不満がある場合は、クリックハウス<を使用することをお勧めします。 / a> 代わりは。ただし、実行するクエリの種類によって異なります。