Oracle
 sql >> Database >  >> RDS >> Oracle

Automatizza i lavori di integrazione dei dati IRI con Oracle Job Scheduler

I job scheduler sono programmi per computer che controllano l'esecuzione di altri programmi dietro le quinte o come parte di processi batch. Questa automazione del carico di lavoro è in genere coordinata in modo che l'elaborazione dei dati in background tradizionale possa essere integrata con le attività aziendali in tempo reale senza esaurire le risorse o interferire con altre applicazioni. L'utilità di pianificazione dei lavori automatizza le interfacce nei flussi di lavoro, invia e monitora le esecuzioni e mette in coda l'ordine di esecuzione dei lavori non correlati in modo che le operazioni vengano gestite nell'ordine corretto e soggette a condizioni specifiche.

Uno strumento popolare per l'automazione dei processi di database è lo scheduler di lavoro integrato di Oracle. Può essere utilizzato non solo per automatizzare le procedure SQL e le operazioni di utilità, ma anche per processi di terze parti che influiscono sull'efficienza di Oracle. I DBA Oracle utilizzano regolarmente IRI FACT, IRI CoSort e SQL*Loader per rimuovere il sovraccarico delle trasformazioni dal livello del database e migliorare il flusso di lavoro durante le operazioni di riorganizzazione offline e ETL ad alto volume. Questi strumenti possono ora essere combinati e programmati con Job Scheduler di Oracle in IRI Workbench, un ambiente GUI basato su Eclipse™.

Che si tratti della riga di comando, di un front-end Oracle o di IRI in Eclipse™, i DBA Oracle possono ora pianificare passaggi ETL interdipendenti o impostare operazioni di scarico/ordinamento/ricaricamento (riorganizzazione) utilizzando il software IRI. Con Oracle Job Scheduler, DBMS_SCHEDULER, i DBA e gli architetti del data warehouse possono specificare quando avviare estrazioni FACT, ordinare/trasformare/report con CoSort e/o caricare in blocco e specificare le dipendenze tra questi processi.

Oracle Job Scheduler aiuta l'utente a gestire e pianificare diverse attività, quindi non è necessario l'intervento manuale. Per utilizzare il job scheduler, sono necessari tre piccoli script:

• Procedura per assemblare il processo ETL

• Funzione per catturare tutti i messaggi dal programma Java

• Programma Java per gestire le chiamate della riga di comando ai passaggi ETL:FACT (E), CoSort SortCL (T) e Oracle SQL*Loader (L)

Una volta che gli script sono pronti, l'utente può quindi creare una procedura per automatizzare il lavoro desiderato. L'utente può specificare la data e l'ora di inizio della procedura. L'utente può anche specificare la frequenza con cui desidera eseguire il lavoro (settimanale, giornaliero, orario o a un'ora e una data specifiche fino a ogni 30 secondi).

Lo scheduler gestirà i passaggi in modo che vengano eseguiti nell'ordine corretto. È anche possibile definire controlli personalizzati per assicurarsi che il passaggio successivo non inizi a meno che il precedente non abbia avuto successo o abbia soddisfatto determinati criteri.

Nell'esempio di seguito l'utente ha selezionato la procedura "runFlow" per avviare i passaggi definiti ogni martedì alle 8:00 e ogni venerdì alle 15:00.


DECLARE
JobNo user_jobs.job%TYPE;
v_date1 date :=to_date('20130312 080000′,'yyyymmdd hh24miss');
v_date2 date :=to_date('20130315 150000 ′,'yyyymmdd hh24miss');
BEGIN
dbms_job.submit( JobNo,  –Job ID
'begin runFlow; end;', ​​— Procedura da eseguire
v_date1, — start in esecuzione a
'SYSDATE + 7' — intervallo di lavori
);
COMMIT;
dbms_job.submit(  JobNo,  –Job ID
'begin runFlow; end; ', — Procedura da eseguire
v_date2, — avviare l'esecuzione alle
'SYSDATE + 7' — intervallo di lavori
);
COMMIT;
END;

L'automazione dei processi ETL in questo modo offre vantaggi significativi, in particolare per i DBA Oracle che hanno già familiarità con DBMS_SCHEDULER. Il metodo consente di risparmiare la spesa di costosi ETL o pacchetti di pianificazione del lavoro, ridurre al minimo le possibilità di errore umano e precludere la necessità di un intervento manuale. È anche possibile utilizzare l'integrazione per automatizzare la riorganizzazione offline e i passaggi relativi all'ELT.

Se hai domande sull'implementazione delle fasi del lavoro IRI in Oracle Job Scheduler o se desideri l'esempio del white paper, contattaci.