EMRの外部ハイブメタストア

クラスターの作成時にアプリケーションの構成オブジェクトを提供することにより、アプリケーションのデフォルト構成をオーバーライドできます。構成オブジェクトはJSONファイルとして参照されます。構成オブジェクトは、分類、プロパティ、およびオプションのネストされた構成で構成されます。プロパティは、そのファイルで変更する設定です。 1つのJSONオブジェクトで、複数のアプリケーションに複数の分類を指定できます。

hive-site.xmlを外部のmysqlメタストア情報でオーバーライドするには、hive-site.xmlの編集を含むhiveConfiguration.jsonという構成ファイルを作成します。

[
    {
      "Classification": "hive-site",
      "Properties": {
        "javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
      }
    }
]

次のAWSCLIコマンドでhiveConfiguration.jsonを使用して、クラスターを作成します。

aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles

参照：

https://docs.aws.amazon .com / emr / latest / ReleaseGuide / emr-hive-metastore-external.html