Mysql
 sql >> Database >  >> RDS >> Mysql

Un modo per leggere i dati delle tabelle da Mysql a Pig

Come dici tu, DBStorage supporta solo il salvataggio dei risultati in un database.

Per caricare i dati da MySQL potresti esaminare un progetto chiamato sqoop (che copia i dati da un database in HDFS), oppure potresti eseguire un dump di mysql e quindi copiare il file in HDFS. Entrambi i modi richiedono una certa interazione e non possono essere utilizzati direttamente dall'interno di Pig.

Una terza opzione sarebbe quella di esaminare la scrittura di un Pig LoadFunc (dici di aver provato a scrivere un UDF). Non dovrebbe essere troppo difficile, dovrai passare più o meno le stesse opzioni di DBStorage (driver, credenziali di connessione e una query SQL da eseguire) e probabilmente puoi utilizzare anche un'ispezione dei metadati del set di risultati per generare automaticamente uno schema.