PostgreSQLへの移行に最適なETLツール

ETLとは何ですか？

ETLは、抽出、変換、および読み込みを指します。これは、さまざまなソース（さまざまな形式で存在する可能性があります）からデータを抽出し、クレンジングして、分析のためにターゲットデータベースに読み込むために適用される3ステップのプロセスです。 ETLは、データウェアハウスの世界で人気のあるプロセスであり、さまざまなデータソースからのデータが統合され、ビジネスの分析とレポートを実行するためにターゲットデータベースにロードされます。簡単に言うと、ETLは、データベースやファイルなどのデータソースからデータを抽出し、クレンジングし、ビジネス要件に従って変換してから、ターゲットデータベースにロードするために使用されます。

ETLプロセスは、さまざまなツールの形で存在します。さまざまなデータ移行要件に対応するために企業で広く使用されている、人気のあるETLツールがかなりあります。これらのツールは存在しますが、データ移行の要件がすぐに満たされる保証はありません。そのため、DBAと開発者は、リアルタイムの複雑なデータ移行の課題を乗り越えるためにカスタムETLを構築することを選択することがよくあります。

なぜETLなのか

データ移行の要件がある場合は常に、DBAまたは開発者が最初に探すのはETLツールです。データはさまざまな形式で存在できます。 RDBMSデータベース、フラットファイル、CSVなどでは、移行する必要があり、このすべてのデータを1つのデータベースに統合するか、ターゲットデータベースが異なる場合は、データ変換プロセスが重要になります。これらの課題は、コストとビジネス時間を節約できるETLツールによって対処できます。今日の世界では、ETL固有のツールがないため、データ移行のための効率的な自動化プロセスを構築するために、組織に多大な開発努力と費用がかかる可能性があります。オープンソースの世界のおかげで、複雑なリアルタイムのデータ移行の課題に対処できる人気のあるオープンソースETLツールがいくつかあります。

データを移行する理由はさまざまですが、データ移行の2つの一般的な要件に焦点を当てたいと思います...

• さまざまなソース（データベース、フラットファイル、CSV）のデータを、データウェアハウス環境の単一のデータベースに移行します。おそらくオープンソースデータベースであるため、構築のTCOが大幅に削減されます。 DWH環境。リアルタイムアプリケーションは既存の商用データベースを使用し、DWHはオープンソースデータベースでデータをホストするため、これは実行可能なオプションです。
• リアルタイムデータベースとアプリケーションを商用データベースからPostgreSQLなどのオープンソースデータベースに移行して、企業のデータ運用コストを大幅に削減します。

このブログでの私の焦点は、PostgreSQLデータベースへのデータ移行の実行に役立つETLツールを特定することです。

PostgreSQLに移行する理由

PostgreSQLは、機能が豊富なエンタープライズクラスのオープンソースデータベースであり、企業がさまざまなリアルタイムデータ操作要件を選択する最初のオプションであり、さまざまなミッションクリティカルな環境に実装されています。この信頼性が高く効率的なRDBMSデータベースの可能性を認識した後、ますます多くの企業がデータベースとアプリケーションをデータベースに移行することを選択しています。既存のデータベースをPostgreSQLに移行すると、ITコストが大幅に削減されます。そのため、「PostgreSQLへの移行」は最近非常に一般的な要件であり、ETLツールの探索が始まるデータ移行の要件があります。

上で述べたように、かなりの数の商用およびオープンソースのETLツールが存在し、ほとんどすべてのツールがPostgreSQLをサポートしています。

上位のETLツールは何ですか？

Ora2pg

OracleデータベースからPostgreSQLにデータを移行する場合は、Ora2pgがオプションです。これは、スキーマ、データをOracleデータベースからPostgreSQLに移行するために特別に開発された、Perlベースのオープンソースツールであり、両方のデータベースを十分に理解し、任意のサイズのデータ​​を移行できます。大きなサイズの大きなオブジェクトを移行すると、時間とハードウェアの面でコストがかかる可能性があります。

長所： Ora2pgは、特にOracleデータベースをPostgreSQLに移行するために使用される非常に人気のあるツールです。 WindowsおよびLinuxオペレーティングシステムをサポートし、テキストインターフェイスを使用します。このツールは両方のデータベースを非常によく理解しており、機能の観点からは非常に信頼性があります。実稼働環境でデータを移行した場合、データ分析（またはデータの健全性）の実行により、「0」のデータ欠陥が発生しました。これは非常に顕著です。日付/タイムスタンプやラージオブジェクトなどのデータ型の移行には非常に効率的です。バックグラウンドでシェルスクリプトを使用してジョブを簡単にスケジュールできます。 githubの問題に対する開発者の対応は良好です。

短所： Perlモジュール、OracleおよびPostgresクライアントのインストールを含むOra2pgのインストール手順は、OSのバージョンによっては複雑になり、WindowsOSで同じことを行うとさらに複雑になる可能性があります。 「ラージオブジェクト」を使用して大きなサイズのテーブルを並列に移行する場合（つまり、複数のスレッドを使用する1つのora2pgジョブ）、パフォーマンスに重大な問題が発生する可能性があります。これにより、データ移行戦略が大幅に変更される可能性があります。

Talend

Talendは、任意のソース（データベースまたはファイル）から任意のデータベースにデータを移行するために使用される非常に人気のあるETLツールです。このツールはPostgreSQLデータベースをサポートしており、多くの企業がこのツールを使用してデータをPostgreSQLに移行しています。このツールには商用バージョンとオープンソースバージョンの両方があり、オープンソースバージョンはデータ移行に役立つはずです。

長所： Talendは、データ統合に使用されるJavaベースのETLツールであり、PostgreSQLをサポートしています。インストールが簡単なツールには、オープンソースバージョンと商用バージョンの両方を備えたGUIが付属しています。 Javaをサポートする任意のプラットフォームで実行できます。開発者は、Talendに統合できるカスタムJavaコードを作成できます。開発者またはDBAに、このツールを使用してデータをPostgreSQLに移行するように指示する必要がある場合は、大したことではありません。データベースやファイルなどの複数のソースからのデータを移行または統合できます。

短所： 仕事のスケジュールを立てるのは難しいかもしれません。ほとんどの場合、パフォーマンスの向上に関する最適化オプションがあまりない状態で、妥当なサイズのテーブルを移行するために使用できます。数百万行の巨大なサイズのテーブルを移行するための優れたオプションではない場合があります。基本的な運用上の課題をもたらす可能性があります。特にカスタムコードを統合する場合、このツールを処理するにはJavaの専門知識が必要です。このツールで短時間で快適レベルを獲得するのは簡単ではありません。データ移行ジョブのスクリプトを作成してスケジュールすることはできません。

SQLINES

Sqlinesは、任意のデータベースとの間でデータを移行できるもう1つのオープンソースETLツールです。これは、ほとんどすべての商用データベースまたはオープンソースデータベースからPostgreSQLデータベースにデータを移行するためのもう1つの優れたオプションです。私はこのツールに個人的に感銘を受けました。これはC/C ++を使用して開発されており、インストールプロセスを複雑にすることなく、非常に簡単に使用できます（インストーラーをダウンロードして解凍するだけで完了です！）。これはC/C ++ベースのツールであるため、大規模なデータベースを移行すると、パフォーマンスが大幅に向上する可能性があります。このツールは進化しており、サポートのサブスクリプションコストは非常にリーズナブルだと思います。

長所： 前述のように、このツールがC /C++に基づいて構築されているという事実に感銘を受けました。これは大きなプラスです。インストールとセットアップは非常に簡単で簡単です。テキストインターフェイスを使用して、bashスクリプトを介してジョブをスケジュールするのを非常に簡単にします。大きなサイズのデータ​​ボリュームを処理できます。開発者からのサポートは非​​常にリーズナブルなコストで良いです。開発者はあなたのアイデアを受け入れて実装することができ、それがさらに優れたオプションになります。

短所： このツールについて知っている人は多くなく、進化しています。いろいろと試してみる構成オプションは多くありません。このツールを競争力のあるものにする方法はいくつかありますが、そう遠くはありません。基本的な運用上の課題に遭遇する可能性があります。

ペンタホ

Pentahoは、別のデータ移行および統合ツールであり、任意のデータソースから任意のデータベースにデータを移行できる商用バージョンとオープンソースバージョンがあります。これは、データをPostgreSQLに移行するためのオプションでもあります。このツールは、さまざまなデータベースをサポートし、データ視覚化機能を備えたより広いスペースで動作します。

長所： PentahoはJavaベースのツールであり、GUIモードで動作し、Windows、Unix、Linuxなどのオペレーティングシステムで実行できます。はるかに広いスペースで動作し、データ変換と視覚化の目的に非常に優れています。上記のように、幅広いデータストアをサポートします。

短所： は、データを抽出してターゲットデータベースにロードするだけの単純なツールではありません。データ移行プロセスは複雑で時間がかかる場合があります。データ変換、クレンジング、統合、視覚化に重点を置いています。このツールは、データ変換やクレンジングの演習を行わずに、あるデータベースから別のデータベースにデータを移行するだけの良い選択ではありません。大量のデータを移行する場合、パフォーマンスが課題になる可能性があります。

カスタムビルドのETL： カスタムETLは、エンドツーエンドの効率的で高性能なETLプロセスを実現するための最も一般的な方法の1つであると言っても過言ではありません。 DBA、開発者がこの状況に陥るのは驚くことではありません。単一のETLがデータの複雑さ、データの形状、環境の課題を理解することは不可能です。例：複雑なデータモデルを備えたデータセンター内の複数の異なるデータベースから、別のデータセンターまたはパブリッククラウドでホストされているPostgreSQLデータベースにデータを移行する場合。このような状況では、最高のETLを探すだけで、ガチョウを追いかけることになります。したがって、環境固有およびデータ固有のETLプロセスを構築する場合は、カスタムETLを使用するのが最善の方法です。

長所： 複雑な環境と複雑なデータを抱える組織にとって非常に優れた代替手段であり、データ移行に関するすべての懸念に対処するETLを見つけることが不可能です。機能性とパフォーマンスの点で非常に有益です。ツールのバグや欠陥を修正することになると、時間とコストを削減できます。開発者がツールを完全に制御できるため、重要で複雑でヘビーバウンドのETL操作を高いパフォーマンスと信頼性で実現できます。柔軟性には限界がありません。 ETLツール以外の機能を検討している場合に適したオプションであり、あらゆるレベルの複雑さに対処できます。カスタムETLを構築するためにJavaやPythonなどのテクノロジーを選択した場合、それらはPostgreSQLと非常によく調和します。

短所： カスタムETLの構築には、非常に時間がかかる場合があります。すべてのデータ移行要件およびその他のデータの課題に対処するには、設計と開発に多大な労力が必要です。以下は、カスタムETLが対応しなければならないいくつかの課題であり、拡張のために多大な開発努力と時間を必要とする可能性があります。

• 環境の変化
• ETL操作に影響を与えるインフラストラクチャとデータベースのアーキテクチャの変更
• データ型の変更
• データ移行のパフォーマンスに大きな影響を与えるデータ量の増加
• スキームの構造または設計の変更
• ETLに対する重要なコード変更は、本番環境に移行する前に開発とテストを行う必要があります。これにはかなりの時間がかかる可能性があります

一般に、ETL開発は、通常のビジネスアプリケーションやデータベース開発プロセスの一部ではないため、プロジェクト予算の重要な部分とは見なされません。予算、リソース、または時間の課題が発生するため、企業がカスタムETLの構築を選択しなくても驚くことではありません。

最高のETLツールとは何ですか？

まあ、簡単な答えはありません。それはすべてあなたの要件と環境に依存します。データをPostgreSQLに移行するためのETLの選択はさまざまな要因に依存するため、データ移行に影響を与える要因を理解する必要があります。以下はそれらのほとんどです...

• データを理解する
• データの複雑さ
• データ型
• データソース
• データサイズ
• ソースデータはどうですか？データベースで？フラットファイルで？構造化または非構造化？などなど。
• データ移行の演習にはどのような手順が含まれますか？ツールからの期待。

上記を知っていれば、ETLツールを選択できるようになります。上記の要因を分析すると、各ETLツールの特性と機能を評価するのに役立ちます。データ移行を実行する技術専門家は、通常、効率的で柔軟性があり、パフォーマンスの高いETLツールを検討します。

結局のところ、複数のETLツールを選択したり、カスタムツールを自分で開発したりしても、驚くことではありません。

正直なところ、データ要件を知らずに1つのETLツールだけを推奨することは困難です。代わりに、効率的でパフォーマンスの高いデータ移行プロセスを設計するには、ツールに次の特性が必要であることをお勧めします...

• 十分な構成オプションを備えたテキストインターフェースを使用している必要があります
• 複数のCPUとメモリを効果的に利用して、大量のデータを効率的に移行できる必要があります
• ツールを複数のオペレーティングシステムにインストールできると便利です。一部のPostgreSQL固有のツールは、コスト、効率、パフォーマンスの観点から課題をもたらす可能性のあるWindowsのみをサポートします
• ソースデータとターゲットデータベースを理解できる必要があります
• ツールをbashまたはpythonスクリプトにプラグインし、複数のジョブを並行してカスタマイズおよびスケジュールするための十分な制御を備えた柔軟な構成オプションが必要です。
• ツールのデータ移行機能を理解するには、最適なテストプロセスを設計する必要があります

ワンクリックでデータを簡単にセットアップおよび移行できるGUIツールがあります。これらのツールは、クラウド以外の環境で適切なサイズのデータ​​を移行するのに適しており、インフラストラクチャとハードウェアの容量に大きく依存します。データ移行を高速化するためのインフラ機能を増やす以外に多くのオプションはなく、複数のジョブを実行するためのオプションも暗いです。

データをPostgreSQLに移行するとき、私はTalendまたはSQLinesを見始めます。 Oracleからデータを移行する必要がある場合は、Ora2pgを調べます。