Leggi questa serie di post di Wepay, in cui descrivono in dettaglio come sincronizzano i loro database MySQL con BigQuery, utilizzando Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (il terzo riguarda BigQuery)
In sintesi (citando):
- Imposta autenticazione, connessioni, DAG.
- Definisci quali colonne estrarre da MySQL e caricare in BigQuery.
- Scegli come caricare i dati:in modo incrementale o completo.
- Deduplicazione.
