Cloudera Data Platformオペレーショナルデータベース（COD）入門

コンセプト

Cloudera Operational Database（COD）とは何ですか？

オペレーショナルデータベースは、Apache HBase上に構築されたリレーショナルおよび非リレーショナルデータベースであり、ビッグデータを使用するOLTPアプリケーションをサポートするように設計されています。

Cloudera Data Platformの運用データベースには、次のコンポーネントがあります。

Apache Phoenixは、大規模なスケーラビリティを促進するリレーショナルモデルを提供します。 ApacheHBaseのスケーラビリティと復元力を活用します。
Apache HBaseは、大規模なスケーラビリティー向けに設計された非リレーショナルモデルを提供するため、単一のプラットフォームに無制限の量のデータを保存し、データを提供するための高まる需要に対応できます。
Apache ZooKeeperは、分散構成サービス、同期サービス、およびネーミングレジストリを提供します。
Apache Knox Gatewayは境界セキュリティを提供するため、企業は自信を持って新しいユーザーにアクセスを拡張できます。
Apache HDFSは、Apache HBase WAL（場合によってはHBase HFiles）を作成するために使用されます。
AmazonS3やMicrosoftADLSGen2などのオブジェクトストアは、ApacheHBaseHFilesを保存するために使用されます。
共有データエクスペリエンス（SDX）は、セキュリティおよびガバナンス機能に使用されます。セキュリティとガバナンスのポリシーは一度設定され、すべてのデータとワークロードに適用されます。 CDP自体と同様に、SDXはコミュニティのオープンソースプロジェクトに基づいて構築されており、ApacheRangerとApacheAtlasが誇りを持っています。

Atlasは、すべての資産のカタログを作成し、これらの資産を分類および管理するためのオープンなメタデータ管理およびガバナンス機能を提供します。 CDPのSDXレイヤーは、Atlasの全範囲を活用して、すべてのデータ資産を自動的に追跡および制御します。

Rangerは、Ranger KMSサービスを使用するキー管理者に個別のログインを使用して、セキュリティキー管理を提供します。 Apache Rangerは、列のマスキングや行のフィルタリングなど、非常に必要なセキュリティ機能も提供します。もう1つの重要な要素は、レンジャーのアクセスポリシーを、「地理的地域」や「時刻」などのさまざまな属性を使用して動的なコンテキストでカスタマイズできることです。

IDBrokerは、ApacheKnoxの認証サービスの一部として構築されたRESTAPIです。これにより、認証および承認されたユーザーは、一連の資格情報またはトークンをクラウドベンダーのアクセストークンと交換できます。

CDPオペレーショナルデータベースデータサービス

CDPオペレーショナルデータベース（COD）は、ApacheHBaseとApachePhoenixを利用したリアルタイムの自動スケーリングオペレーショナルデータベースです。これは、Cloudera Data Platform（CDP）で実行されるデータサービスです。 CDPコンソールから直接CODにアクセスできます。 CODを使用すると、シングルクリックで新しい運用データベースを作成し、ワークロードに基づいて自動スケーリングできます。

代金引換を開始するための主な手順は次のとおりです。

シングルクリックを使用して環境内にデータベースを作成すると、データベースが数分以内に起動して利用可能になります。
ワークロードパスワードを設定します。詳細については、ここをクリックしてください。
Apache Maven、Java、Python3.8をダウンロードしてインストールします。
マシンにCDPクライアントをインストールします。詳細については、ここをクリックしてください。
サンプルリポジトリの指示に従って、Mavenの設定（security.xml、settings.xml、pom.xml）を変更します。
アプリケーションを構築して実行します。

Apache HBase

HBaseは、制限を克服するためにHDFS上に形成される列指向のデータストレージアーキテクチャです。 HDFSの基本機能を活用し、HDFSに基づいて構築されており、大量の読み取りおよび書き込み要求をリアルタイムで処理することでスケーラビリティを提供します。 HBaseアーキテクチャはNoSQLデータベースですが、データをクラスター全体に均等に分散することで、データを維持するプロセスを容易にします。これにより、HBaseデータモデルのデータへのアクセスと変更が迅速になります。 ApacheHBaseの詳細をご覧ください。

アパッチフェニックス

Apache Phoenixは、RDBMSおよびANSISQLインターフェイスです。 Apache Phoenixは、ベストプラクティスの最適化を実装して、ソフトウェアエンジニアがHBaseに基づく次世代のデータ駆動型アプリケーションを開発できるようにします。 Phoenixを使用すると、標準のJDBC API、ODBC、およびPhoenix DB APIを使用して、一般的なDDL/DMLステートメントの形式でテーブルを作成および操作できます。

フェニックスが提供するもの：

SQLおよびJDBCAPIのサポート
レイトバウンドのschema-on-readのサポート
ApacheSparkやApacheHiveなどの他のコンポーネントに保存および生成されたデータへのアクセス

ApachePhoenixの詳細をご覧ください。

手順

運用データベースの作成方法

CDPオペレーショナルデータベース（COD）を使用して、登録済みの環境にオペレーショナルデータベースを作成できます。

前提条件

ODAdminとしてCOD環境にログインする必要があります。
データベースの作成が許可されていることを確認してください。

ステップ

CDPWebインターフェースにログインします。たとえば、CDPコンソール。
運用データベースを選択します。
COD Webインターフェースで、「データベースの作成」をクリックします。
データベースを作成する環境をリストから選択します。
データベース名フィールドにデータベースの名前を入力します。
データベースの作成をクリックします。

結果

データベースのステータスを示す情報ページが表示されます。ステータスが利用可能になると、新しいデータベースを使用できるようになります。

デモ

データベース接続を管理する方法

運用データベースを作成して利用可能になったら、データベース接続を管理できます。

前提条件

データベースが稼働していて利用可能であることを確認してください。
データベースに変更を加える権限があります。

ステップ

COD Webインターフェースで、接続を管理するデータベースを選択します。
[接続]で、各タブ内に移動し、パラメータを変更します。

参照

CODデータベースの作成に関するClouderaのドキュメント
CDPの運用データベース

CDPパブリッククラウドとオペレーショナルデータベースの試用に興味がある場合は、を試してください。 テストドライブ 。