Cloudera Data Platform (CDP) Data Center è una piattaforma completamente dati che unifica le più recenti analisi open source – Spark, Impala, Hive, HBase, Kafka, Hadoop e altre – in un sistema di analisi e gestione dei dati multifunzione che include:
- Analisi SQL a prestazioni più elevate
- Elaborazione e gestione del flusso in tempo reale
- Controllo granulare dell'accesso basato sugli attributi
- Filtraggio dinamico delle colonne e mascheramento delle righe
- Un aumento di 10 volte della scalabilità di file e oggetti
Ho utilizzato un modulo Terraform (v0.12) che distribuisce CDP Data Center su Oracle Cloud Infrastructure (OCI).
Questo modello ha il supporto per scegliere come target VCN/sottoreti esistenti per la distribuzione del cluster. Per attivare questa funzionalità, è sufficiente utilizzare il sistema di menu dello schema per selezionare una destinazione VCN esistente, quindi selezionare le sottoreti appropriate per ogni tipo di host del cluster.
1. Scarica il file zip per la distribuzione di Cloudera Terraform con Resource Manager .
2. Accedi a Oracle Cloud Infrastructure (OCI)
3. Seleziona Gestione risorse e fai clic su Pile
4. Fare clic su Crea stack .
5. Nelle Informazioni sullo stack carica il file zip che hai scaricato nel passaggio 1, quindi fai clic su Avanti .
6. In Configura variabili pagina, inserire il contenuto di una “Chiave fornita da SSH” (opzionale). Nota:se distribuisci Cloudera Manager in una sottorete privata, avrai bisogno di un tunnel VPN o SSH attraverso un Edge Node per accedere alla gestione del cluster. Quando crei un VPC, devi specificare un intervallo di indirizzi IPv4 per il VPC sotto forma di un blocco CIDR (Classless Inter-Domain Routing), ad esempio 10.0.0.0/16. Fai clic su Avanti .
7. Verifica la tua configurazione e fai clic su Crea.
9. Dalle Azioni Terraform dal menu seleziona Pianifica
10. Fai clic su Pianifica
11. Attendi qualche istante per il completamento di questo lavoro.
12. Terraform è stato inizializzato con successo.
13. Lavoro completato con successo
14. Diagramma che mostra ciò che viene generalmente distribuito utilizzando questo modello. Che le risorse siano distribuite automaticamente tra i "domini di errore" in un "dominio di disponibilità" per garantire la tolleranza agli errori.
Riferimenti
Scopri come distribuire Hadoop su Oracle Cloud Infrastructure. Disponibile su https://docs.oracle.com/en/solutions/learn-deploy-hadoop-oci/index.html#GUID-6BC025FF-829B-4BBD-9C80-69044F61F35B
Distribuisci facilmente Hadoop sull'infrastruttura Oracle Cloud utilizzando Resource Manager. Disponibile su https://blogs.oracle.com/cloud-infrastructure/deploy-hadoop-easily-on-oracle-cloud-infrastructure-using-resource-manager
Cloudera su Oracle Cloud Infrastructure (modello di distribuzione Terraform). Disponibile su https://github.com/oracle-quickstart/oci-cloudera
Panoramica di Gestione risorse. Disponibile su https://docs.cloud.oracle.com/en-us/iaas/Content/ResourceManager/Concepts/resourcemanager.htm
Centro dati CDP. Disponibile su https://docs.cloudera.com/cdp/latest/overview/topics/cdpdc-overview.html
