Mysql
 sql >> Database >  >> RDS >> Mysql

Come trasferire la tabella MySQL su hive?

  1. Prima di tutto scarica mysql-connector-java-5.0.8 e metti il ​​jar nella cartella lib e bin di Sqoop

  2. Crea la definizione della tabella in Hive con nomi e tipi esatti dei campi come in MySQL

    sqoop import --verbose --fields-terminated-by ',' --connect jdbc:mysql://localhost/test --table employee --hive-import --warehouse-dir /user/hive/warehouse --fields -terminated-by ',' --split-by id --hive-table employee

test - Nome database

dipendente - Nome tabella (presente nel test)

/user/hive/warehouse - Directory in HDFS in cui devono essere importati i dati

--split-by id - id può essere la chiave primaria della tabella 'employee'

--hive-table employee - tabella employee la cui definizione è presente in Hive

Guida per l'utente di Sqoop (Una delle migliori guide per l'apprendimento di Sqoop)