Cloudera Data Platform(CDP)データセンターは、最新のオープンソース分析(Spark、Impala、Hive、HBase、Kafka、Hadoopなど)を次の機能を備えた多機能分析およびデータ管理システムに統合する完全なデータプラットフォームです。
- より高性能なSQL分析
- リアルタイムのストリーム処理と管理
- 詳細な属性ベースのアクセス制御
- 動的な列フィルタリングと行マスキング
- ファイルとオブジェクトのスケーラビリティが10倍に向上
CDPデータセンターをOracleCloudInfrastructure(OCI)にデプロイするTerraform(v0.12)モジュールを使用しました。
このテンプレートは、クラスター展開の既存のVCN/サブネットをターゲットにすることをサポートしています。この機能を利用するには、スキーマメニューシステムを使用して既存のVCNターゲットを選択し、クラスターホストタイプごとに適切なサブネットを選択します。
1. Resource Managerを使用してClouderaTerraformデプロイメントのzipファイルをダウンロードします 。
2. Oracle Cloud Infrastructure(OCI)にサインインします
3.リソースマネージャーを選択します スタックをクリックします
4.スタックの作成をクリックします 。
5.スタック情報について 手順1でダウンロードしたzipファイルをページにアップロードし、[次へ]をクリックします。 。
6.変数の構成 ページに、「SSH提供キー」(オプション)の内容を入力します。注:Cloudera Managerをプライベートサブネットにデプロイする場合は、エッジノードを介したVPNまたはSSHトンネルが必要になります クラスタ管理にアクセスします。 VPCを作成するときは、VPCのIPv4アドレスの範囲をClassless Inter-Domain Routing(CIDR)ブロックの形式で指定する必要があります(例:10.0.0.0/16)。 次へをクリックします 。
7.構成を確認し、[作成]をクリックします。
9. Terraform Actionsから メニューで計画を選択します
10.計画をクリックします
11.このジョブが完了するまでしばらく待ちます。
12.Terraformは正常に初期化されました。
13.ジョブの完了が成功しました
14.このテンプレートを使用して通常展開されるものを示す図。そのリソースは、フォールトトレランスを確保するために、「可用性ドメイン」の「フォールトドメイン」に自動的に分散されます。
参考資料
OracleCloudInfrastructureへのHadoopのデプロイについて学習します。 https://docs.oracle.com/en/solutions/learn-deploy-hadoop-oci/index.html#GUID-6BC025FF-829B-4BBD-9C80-69044F61F35Bで入手可能
ResourceManagerを使用してOracleCloudInfrastructureにHadoopを簡単にデプロイします。 https://blogs.oracle.com/cloud-infrastructure/deploy-hadoop-easily-on-oracle-cloud-infrastructure-using-resource-manager
で入手可能Cloudera on Oracle Cloud Infrastructure(Terraformデプロイメントテンプレート)。 https://github.com/oracle-quickstart/oci-cloudera
で入手可能リソースマネージャーの概要。 https://docs.cloud.oracle.com/en-us/iaas/Content/ResourceManager/Concepts/resourcemanager.htm
で入手可能CDPデータセンター。 https://docs.cloudera.com/cdp/latest/overview/topics/cdpdc-overview.html
で入手可能