In questo Hadoop esercitazione , Vi forniremo una descrizione dettagliata di Hadoop Combiner. Prima di tutto, vedremo che cosa è MapReduce combinatore, qual è il ruolo chiave di Combiner in MapReduce.
Poi si discuterà l'esempio di programma di MapReduce con e senza combinatore in Hadoop. Infine, vedremo anche alcuni vantaggi e svantaggi di Combiner in MapReduce.
Che cosa è Hadoop Combiner?
Combinatore è anche conosciuto come “ Mini-Reducer ”Che riassume il Mapper record di output con la stessa chiave prima di passare alla Reducer .
Su un grande insieme di dati quando si corre lavoro MapReduce. Così Mapper genera grandi quantità di dati intermedi. Poi il quadro passa questi dati intermedi sul riduttore per l'ulteriore elaborazione.
Questo porta a un enorme congestione della rete. Il framework Hadoop fornisce una funzione nota come Combinatore che svolge un ruolo chiave nel ridurre la congestione della rete.
Il compito principale di un combinatore “mini-riduttore è quello di elaborare i dati in uscita dal Mapper, prima di passarlo al riduttore. Si corre dopo il mapper e prima del riduttore. Il suo utilizzo è facoltativo.
Come funziona Combiner in Hadoop?
Ora impariamo come le cose cambiano quando usiamo il combinatore in MapReduce?
Come si vede nello schema di cui sopra non combinatore è lì. L'ingresso è diviso in due mapper. Il quadro genera 9 tasti dai mapper.
Così, ora abbiamo (9 chiave / valore) i dati intermedi. Ulteriori mapper invia questo chiave-valore direttamente al riduttore. Durante l'invio dei dati al riduttore, consuma una certa banda di rete. Ci vuole più tempo per trasferire i dati al riduttore se la dimensione dei dati è grande.
Ora dal diagramma sopra, se si usa un combinatore tra mappatore e riduttore. Poi combinatore provvederà a mischiare 9 chiave / valore prima di inviarlo al riduttore. E quindi genera 4 coppia chiave / valore come uscita.
Ora, riduttore deve elaborare solo 4 dati coppia chiave / valore che vengono generati da 2 combinatori. Pertanto riduttore viene eseguito solo 4 volte per produrre il risultato finale. Così, questo aumenta il rendimento complessivo.
Vantaggi del combinatore a MapReduce
Passiamo ora discutere i vantaggi di Hadoop MapReduce Combiner in.
- L'uso del combinatore riduce il tempo necessario per il trasferimento dati tra il mapper e riduttore.
- combinatore migliora le prestazioni complessive del riduttore.
- Si riduce la quantità di dati che deve riduttore processo.
Svantaggi di Combiner in MapReduce
Ci sono anche alcuni svantaggi di Hadoop combinatore. Passiamo ora discutere la stessa.
- Nel file system locale, quando Hadoop memorizza le coppie di valori-chiave ed eseguire il combinatore entro questo causerà costoso IO disco.
- lavori MapReduce non può dipendere l'esecuzione combinatore in quanto non v'è alcuna garanzia nella sua esecuzione.
Conclusione
Quindi, Hadoop combinatore svolge un ruolo chiave nel ridurre la congestione della rete. Migliora le prestazioni complessive del riduttore riassumendo l'uscita di mapping.
Spero che ora hanno una chiara comprensione di Hadoop Combiner. Se ancora avete tutta la domanda, quindi, fatecelo sapere essere lasciando un commento in una sezione di seguito.
