MongoDB
 sql >> Database >  >> NoSQL >> MongoDB

Hadoop HDFS MapReduce l'output in MongoDb

Vuoi «MongoDB Connector for Hadoop» . Gli esempi .

Si è tentati di aggiungere semplicemente del codice nel tuo Reducer che, come effetto collaterale, inserisce i dati nel tuo database. Evita questa tentazione. Uno dei motivi per utilizzare un connettore invece di inserire semplicemente i dati come effetto collaterale della classe del riduttore è l'esecuzione speculativa:Hadoop a volte può eseguire due delle stesse identiche attività di riduzione in parallelo, il che può portare a inserimenti estranei e dati duplicati.