La replica dei dati significa copiare i dati da un luogo all'altro e di solito viene eseguita tra utenti di database diversi che devono condividere lo stesso livello di informazioni. La replica può coinvolgere anche altre origini dati e destinazioni e diventare più complessa in termini di trasformazione e temporali.
Questo è il primo di due articoli sulla replica del database nella GUI di IRI Workbench. IRI Workbench è l'IDE gratuito basato su Eclipse™ che supporta tutti i prodotti IRI, inclusi IRI NextForm (per la migrazione di dati e database) e IRI Voracity (una piattaforma di gestione dei dati totale che include NextForm et al.). IRI Workbench crea ed esegue processi di replica dei dati tramite procedure guidate, script e diagrammi di flusso di lavoro.
Ecco alcuni dei modi in cui si verificano le repliche:
- I dati in un database vengono copiati in un altro database sullo stesso server o su un altro.
- I dati di due o più database vengono combinati in un unico database.
- Gli utenti ottengono copie iniziali complete del database e quindi aggiornamenti periodici man mano che i dati cambiano.
- I dati vengono estratti selettivamente da un database e replicati in un file esterno.
La replica dei dati consente di replicare solo una parte del database; cioè, tabelle, colonne e/o righe selezionate. La replica di tutte le tabelle fa parte del mirroring del database. Tuttavia, le modifiche a schemi, vincoli, procedure e autorizzazioni di accesso non sono così facili da replicare e possono comportare processi separati.
Esempio di base in IRI Workbench
Utilizzeremo una procedura guidata per la creazione di lavori dal menu NextForm nella barra degli strumenti di IRI Workbench per questo primo esempio di replica dei dati. Copieremo i dati da una tabella Oracle sia in una tabella MySQL che in un file flat modificato. Questo secondo articolo illustra la replica dei dati solo aggiornati in una tabella valutando i valori delle colonne timestamp.
Il menu NextForm contiene tre procedure guidate per la creazione di lavori:
- Nuovo processo di riformattazione
- Nuovo processo di migrazione da un'unica fonte
- Nuovo processo di migrazione multitabella
Utilizzeremo la procedura guidata Nuovo processo di riformattazione per eseguire questa replica. Per un lavoro più complesso, utilizzeremo una procedura guidata NextForm diversa o una procedura guidata per i lavori ETL nel menu Voracity (o costruiremo manualmente un nuovo flusso di lavoro).
Ecco la struttura delle tabelle di origine e di destinazione:
Passaggio 1:specifica il nome e le opzioni del lavoro
Dal menu NextForm sulla barra degli strumenti in alto, selezionare la procedura guidata Nuovo processo di riformattazione. Per questo esempio, inserisci il nome del file di lavorodatareplication . NextForm aggiunge l'estensione .ncl. Puoi anche aggiungere tutte le informazioni rilevanti su questo lavoro che appariranno come commenti nello script.
Dall'elenco dei pulsanti di opzione, lascia la selezione predefinita di Crea script perché questo è un lavoro autonomo e non fa parte di un flusso più ampio o di un progetto batch.
Fase 2:identifica la fonte
Nella schermata successiva, Origini dati, fai clic su Aggiungi origine dati . L'origine in questo esempio è un database connesso a ODBC, quindi seleziona ODBC, quindi fai clic su Sfoglia per selezionare il nome dell'origine dati (DSN) e la tabella.
Passaggio 3:specifica i metadati di origine
Affinché il software IRI possa spostare e manipolare i dati nel suo motore (in questo caso, replicare in NextForm), sono necessari i metadati per l'origine e le destinazioni definite nello script del lavoro, nel formato DDF (Data Definition File) di IRI.
È possibile creare automaticamente i DDF per qualsiasi origine (o destinazione) in IRI Workbench. Questa funzionalità è incorporata qui, dove puoi scegliere di Scopri i metadati o Aggiungi metadati esistenti . In questo caso, aggiungeremo i metadati esistenti, che sono stati creati in un modo diverso. Quella scelta e i suoi risultati sono mostrati nella seguente finestra di dialogo:
Fai clic su Layout campo sorgente per vedere il layout dei dati.
Fai clic su OK per chiudere il layout del campo sorgente. Quindi fai clic su Avanti nella pagina Origini dati per aprire la pagina Destinazione dati.
Fase 4:definisci gli obiettivi
Stiamo inviando i dati Oracle replicati a due target:una tabella MySQL che stiamo chiamandocustomers_out e un file chiamato personout.csv .
Aggiungi una tabella di destinazione
Fai clic su Aggiungi destinazione dati . Seleziona ODBC e fai clic su Sfoglia . Quindi seleziona Nome origine dati (DSN) Oracle e la tabella CUSTOMERS_REP . Fai clic su OK per chiudere la finestra di dialogo.
Nella pagina Destinazioni dati, evidenzia il nome della tabella e fai clic su Aggiungi metadati esistenti . Seleziona cust.ddf (creato in precedenza) e fai clic su OK .
Vogliamo limitare il numero di record in questo file a 100. Fai clic su Modifica opzioni di destinazione per aprire l'editor e in Outcollect campo, inserisci 100 e fai clic su OK .
Aggiungi un file di destinazione
Di nuovo, fai clic su Aggiungi destinazione dati . Seleziona File e inserisci personout.csv e fai clic su OK . Vogliamo limitare il numero di record nel file a non più di 50 e dobbiamo anche cambiare il formato in CSV. Per fare entrambe le cose, fai clic su Modifica opzioni target per aprire l'editor. Modifica il Formato campo in CSV e in Outcollect campo, inserisci 50 e fai clic su OK .
Aggiungi una funzione di stringa al file di destinazione
Aggiungeremo anche una funzione di stringa per visualizzare solo le ultime quattro cifre del campo SSN. A tale scopo, fai clic su Layout campo di destinazione e fai clic sulla scheda personout.csv.
Seleziona il campo SSN, fai clic con il pulsante destro del mouse e seleziona Applica regola > Crea regola . Nella pagina Selezione guidata nuova regola campo, seleziona Funzioni di manipolazione delle stringhe . Nella pagina successiva – Funzioni di manipolazione delle stringhe – seleziona sub_string . Nella Offset campo, inserisci 6 per il numero di caratteri a sinistra del campo e nel campo Lunghezza campo, inserisci 4 per la lunghezza della sottostringa, quindi fai clic su Fine .
Aggiungi un filtro di inclusione
Per continuare a modificare il file CSV, aggiungeremo un filtro per limitare i dati a includere solo i record di CA. Fai clic su Filtro record per creare il filtro. Seleziona Includi per l'azione filtro e seleziona Nuova condizione per il tipo. Apri il Generatore di espressioni facendo clic sull'icona della funzione. 
In Expression Builder, seleziona la categoria Operatori relazionali e l'elemento EQ . Nell'Espressione campo in alto, inserisci STATE EQ "CA" utilizzando gli strumenti sulla barra degli strumenti e fai clic su Fine .
Tornati alla pagina Data Targets, decidiamo di riposizionare i campi cognome e nome dopo il campo zip. Seleziona COGNOME e fai clic su Giù finché il campo non si trova in fondo all'elenco, quindi seleziona FIRSTNAME e fai lo stesso.
Al termine dell'aggiunta di entrambi i target, i campi e le modifiche vengono visualizzati nella pagina Data Targets.
Fai clic su Fine per completare la creazione dello script, mostrato di seguito nella visualizzazione dell'editor con codice colore e sensibile alla sintassi di IRI Workbench:
Risultati
Esegui lo script del processo facendo clic con il pulsante destro del mouse sullo script e selezionandoEsegui come> Lavoro IRI . I dati di destinazione sono mostrati nelle schede aperte di seguito:
In caso di domande sulla replica dei dati in NextForm o Voracity, contatta il tuo rappresentante IRI.
- Da Esplora origine dati, fai clic con il pulsante destro del mouse sulla tabella, seleziona IRI > Genera DDF . Questo crea il DDF per la tabella nella cartella del progetto attivo e sarà referenziato dal motore di manipolazione dei dati di IRI in fase di esecuzione.
