Cloudera Data Platform（CDP）は、Clouderaが提供する最新のビッグデータです。プラットフォームの一部としてApacheHBaseとPhoenixが含まれています。これらの2つのコンポーネントは、次の3つのフォームファクタで提供されます。
- オンプレミス展開の場合、CDHおよびHDP（CDPプライベートクラウドオファリング内）と同様の方法で利用できます
- AWSとAzureでデータベースを自分で管理したいお客様は、CDP Public Cloud DataHubオファリングの一部として（オペレーショナルデータベーステンプレートを使用して、またはカスタムで）利用できます。 DataHubのデプロイ）
- 近日中にCloudera Operational Database（COD）の一部として利用できるようになります。これは、HBaseデプロイメントの運用による管理オーバーヘッドを排除するフルマネージドオファリングです。
ClouderaのApacheHBaseのお客様は通常、ダウンタイムを許容できないミッションクリティカルなアプリケーションを実行しています。彼らは、本番環境の停止なしで、または少なくとも小さな停止なしで、新しい展開に移行する方法を必要としています。これらのアップグレードの考慮事項を念頭に置いて、特にCDH5とHDP 2のサポートが間もなく終了することを考慮して、ClouderaOpDBレプリケーションプラグインを開発しました。 。
多くの企業は、CDH 6、HDP 3、およびEMRベースのHBaseクラスターも展開していますが、HBaseクラスターを維持するための運用上のオーバーヘッドを削減または排除しようとしています。彼らにとっては、ClouderaOpDBレプリケーションプラグイン ダウンタイムや本番環境の停止を発生させることなく、DataHubまたはCODに移行できるようになります。
レプリケーションプラグインは、次のソースHBaseクラスターからのレプリケーションをサポートします。
- CDH 5.14
- CDH 6.3
- HDP 2.6.5
- HDP 3.1.5
- EMR 5.28
HBaseレプリケーション
HBaseは、ほぼ10年間、成熟した機能豊富なレプリケーション機能を提供してきました。レプリケーションは、自動ディザスタリカバリ（DR）ソリューションを提供し、データ移行をサポートし、ワークロードパーティショニングをサポートし、Apache Solrとの統合を通じて検索ベースのセカンダリインデックスをサポートするため、HBaseの最も人気のある機能の1つです。 HBaseレプリケーションの仕組みとレプリケーションの構成方法の詳細については、HBaseリファレンスガイドで説明されており、Clouderaブログの多くの記事で説明されています。現在、次のような多くのトポロジをサポートしています。
- ファンイン
- ファンアウト
- サイクリック
- 双方向
HBaseレプリケーションは、名前空間（つまり、データベース）またはテーブルレベルのいずれかで構成できます。本質的にほぼリアルタイムですが、結果整合性またはタイムライン整合性を保つように構成できます。
Cloudera OpDBレプリケーションプラグインは、CDPDataHubクラスターまたはAWSまたはAzureのいずれかにデプロイされたCODデータベースによって提供される宛先クラスターのみをサポートします。
信頼の確立
これまでのHBaseレプリケーションでは、参加しているすべてのクラスターが同じセキュリティ定義を持っている必要があります。つまり、すべてのクラスターでセキュリティが有効になっていない（認証構成がシンプルに設定されている）必要があります。 、またはすべてのクラスターで kerberosを使用してセキュリティを有効にする必要があります （認証構成は kerberosに設定されています） 。
Kerberosを使用する場合、すべてのクラスターのkerberosプリンシパルは同じレルムに属している必要があります。 または、異なる領域にある場合は、信頼できる必要があります 相互に（一般にクロスレルムとして知られています） 認証）。
Kerberosを使用したレルム間信頼の構成 企業のセキュリティポリシーでは通常、それが禁止されているため、ほとんどの組織で問題が発生します。この問題に対処するには、ClouderaOpDBレプリケーションプラグイン HBaseレプリケーションを拡張して、代替の認証方法を使用し、セキュリティドメイン間でのレプリケーションを可能にします。レプリケーションプラグインはレプリケーションを可能にします
- レルム間の信頼を必要とせずに複数のKerberosドメイン間で
- 安全なクラスターから安全でないクラスターへのレプリケーション、および
- 安全でないクラスターから安全なクラスターへのレプリケーション。
セキュリティ構成がないか、Kerberosを使用して保護されているクラスターに対して、CDPクラスターからの信頼を確立するために、レプリケーションプラグインは、提供されたツールを使用して作成され、ソースクラスターと宛先クラスターの両方に保存される共有シークレットを使用して新しい認証メカニズムを実装します。
結論
レプリケーションは、HBaseのDRおよびデータセンター（DC）移行ソリューションを実装するための貴重なツールです。ここにクラスターのセキュリティ構成を扱うときに示すように、いくつかの注意点があります。 CDH5とHDP2の寿命が差し迫っているため、これらのレガシープラットフォームからCDPにデータを移行する機能が不可欠です。
HDP3、CDH6、およびEMR 5.28ベースのHBaseデプロイメントを使用しているお客様の場合、このプラグインを使用すると、これらのお客様はフルマネージドHBaseソリューションをシームレスに採用し、HBase管理の運用オーバーヘッドを大幅に削減できます。
ご使用の環境にClouderaOpDBレプリケーションプラグインをデプロイすることに関心がある場合は、Clouderaアカウントチームに連絡してください。