In questo tutorial Hadoop , discuteremo il concetto di failover automatico NameNode in Hadoop Prima di tutto, vedremo cos'è il failover e i tipi di failover. Quindi tratteremo HDFS failover automatico in Hadoop.
Componenti di Hadoop Automatic Failover in HDFS come ZooKeeper quorum, ZKFailoverController Process (ZKFC). Infine, discuteremo anche i ruoli di questi due componenti in Hadoop .
Cos'è il failover?
Il processo in cui il sistema trasferisce il proprio controllo al sistema secondario quando rileva un errore è noto come failover .
Il failover è di due tipi:
- Failover grazioso – L'amministratore avvia il Graceful Failover manualmente, ad esempio, in caso di manutenzione ordinaria. Il sistema non attiverà automaticamente un failover dal namenode attivo a quello standby, anche se il nodo attivo ha avuto esito negativo in Graceful Failover.
- Failover automatico – Il failover automatico è il processo in cui il sistema trasferisce automaticamente il proprio controllo al NameNode di standby quando il NameNode ha esito negativo. In Hadoop si verifica il failover automatico in caso di errori NameNode. Ma in caso di errore NameNode, il failover si avvierà automaticamente. Questo failover è un failover automatico.
Failover automatico di NameNode in Hadoop
Il failover automatico in Hadoop aggiunge i componenti seguenti a una distribuzione Hadoop HDFS:
- Quorum di ZooKeeper.
- Processo ZKFailoverController (ZKFC).
1. Quorum ZooKeeper
Zookeeper in Hadoop è un servizio centralizzato. Mantiene le informazioni di configurazione, la denominazione e fornisce la sincronizzazione distribuita. Fornisce anche servizi di gruppo. Zookeeper gestisce e coordina anche un grande gruppo di macchine.
Per i motivi seguenti, l'implementazione del failover HDFS automatico si basa su Zookeeper:
- Rilevamento errori- Zookeeper in Hadoop mantiene una sessione con i namenode. Durante un errore, la sessione scadrà. Quindi, Zookeeper informerà gli altri namenode per avviare il processo di failover.
- Elezione NameNode attiva- Un semplice meccanismo fornito da Zookeeper per eleggere solo un nodo come attivo. Al momento del fallimento del namenode attivo, un altro namenode può prendere un blocco esclusivo in Zookeeper affermando che vuole diventare il prossimo namenode attivo.
2. ZKFailoverController (ZKFC)
ZKFC è un client di Zookeeper in Hadoop che monitora e gestisce lo stato del namenode. Ciascuna delle macchine che eseguono il servizio namenode esegue anche uno ZKFS. Può gestire:
- Monitoraggio sanitario – Con un comando di controllo dello stato ZKFS esegue il ping del suo namenode locale. ZKFS considera il namenode sano, purché il namenode risponda alla volta. Il monitoraggio dello stato contrassegnerà un nodo come non integro, se il nodo si è arrestato in modo anomalo o è entrato in uno stato non integro.
- Gestione delle sessioni di Zookeeper – ZKFC tiene una sessione aperta in Zookeeper quando il namenode locale è integro. Contiene anche uno speciale znode di "blocco", se il namenode locale è attivo. Se la sessione scade, il blocco verrà automaticamente eliminato.
- Elezione basata su zookeeper – In HDFS, se il namenode locale è integro e ZKFC vede che nessun altro nodo detiene attualmente il lock znode, proverà esso stesso a ottenere il lock. E, se ha successo, allora ha vinto le elezioni" e gestisce l'esecuzione di un failover per rendere attivo il suo namenode locale.
Conclusione
Pertanto, il failover automatico in Hadoop si avvia automaticamente in caso di errore di NameNode. Il failover automatico aggiunge i componenti ZooKeeper quorum e ZKFailoverController Process (ZKFC) a una distribuzione HDFS.
Zookeeper in Hadoop è un servizio che fornisce la capacità di failover automatico in HDFS .
