Puoi ignorare le configurazioni predefinite per le applicazioni fornendo un oggetto di configurazione per le applicazioni quando crei un cluster. L'oggetto di configurazione è referenziato come un file JSON. Gli oggetti di configurazione sono costituiti da una classificazione, proprietà e configurazioni nidificate facoltative. Le proprietà sono le impostazioni che vuoi modificare in quel file. Puoi specificare più classificazioni per più applicazioni in un singolo oggetto JSON.
Per sovrascrivere hive-site.xml con le informazioni del metastore mysql esterno, crea un file di configurazione chiamato hiveConfiguration.json contenente le modifiche a hive-site.xml:
[
{
"Classification": "hive-site",
"Properties": {
"javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
"javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
"javax.jdo.option.ConnectionUserName": "username",
"javax.jdo.option.ConnectionPassword": "password"
}
}
]
Utilizza hiveConfiguration.json con il seguente comando AWS CLI per creare il cluster:
aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles
Riferimento :
https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html
