Introduzione alla profilazione dei dati
Profilazione dei dati è il processo di documentazione sistematica della struttura e del contenuto dei dati in un file, una tabella o uno schema. Profilazione dei dati è un primo passo importante intrapreso quando un data warehouse è in fase di progettazione. È importante che gli architetti e i progettisti di data warehouse comprendano la qualità e la natura complessiva dei dati dei sistemi operativi sottostanti prima di intraprendere un importante progetto di data warehousing. Alcuni aspetti specifici dei dati di origine che la profilazione può rivelare includono:
- La dimensione complessiva (in byte) di ogni tabella o file di origine, comprese le specifiche su ciascun tipo di dati di campo/colonna.
- Conteggi, medie, intervalli ed esistenza di valori nulli per ogni colonna.
- Relazioni tra colonne di dati all'interno di tabelle (come le dipendenze funzionali).
- Relazioni tra tabelle (come le relazioni di chiave esterna).
I risultati della fase di profilazione dei dati possono essere ulteriormente utilizzati per sviluppare regole per verificare la qualità dei dati e regole per correggere i problemi relativi ai dati durante le prime fasi di una pipeline ETL.
Oracle Warehouse Builder fornisce una potente funzione di profilazione dei dati che può essere utilizzata per apprendere, in grande dettaglio, le estensioni e le caratteristiche dei dati in uno schema. La documentazione ufficiale di OWB sulla profilazione dei dati è disponibile a questo link. Oracle Warehouse Builder viene installato insieme alle versioni standard ed Enterprise di Oracle 11g Database. Di seguito sono riportate alcune istruzioni sull'installazione di Oracle 11g Release 2 su Windows.
Se disponi di un server Oracle 11g centrale, puoi utilizzare Oracle Warehouse Builder Client per accedere a tale repository centrale.
In questa dimostrazione vengono presentati i passaggi principali necessari per profilare uno schema di sistema OLTP. Lo schema di destinazione sarà lo schema Oracle "Order Entry" (OE) che può essere installato e abilitato sui database Oracle 11g. Tieni presente che l'utente Oracle Warehouse deve avere accesso (credenziali) allo schema OE per configurare il modulo appropriato in OWB.
Il primo passo importante nella profilazione consiste nel creare un modulo che punti allo schema del database di origine. OWB supporta un gran numero di origini database e file flat (di testo).
Impostazione di un nuovo modulo per lo schema di immissione ordini
In questa serie di passaggi, lo schema Order Entry (OE) verrà creato come nuovo modulo in Oracle Warehouse Builder.
- Inizia accedendo a Oracle Warehouse Builder. Apri la finestra Project Navigator e poi apri il MY_PROJECT
Apri i Banche dati cartella e quindi la cartella Oracle cartella.
Fai clic con il pulsante destro del mouse su Oracle cartella e selezionare Nuovo modulo Oracle come mostrato di seguito:
- Quando viene visualizzata la schermata di benvenuto, fare clic su Avanti> pulsante
- Fornire un nuovo nome e una nuova descrizione per il database. Tieni presente che non puoi utilizzare spazi nel nome del database.
Fai clic su Avanti> pulsante per continuare.
- Il prossimo passo principale sarà specificare la posizione del database. Molto probabilmente questa è la prima volta che si eseguono questi passaggi e quindi la posizione dello schema Oracle OE non è stata impostata. In questo caso, fare clic su Modifica... pulsante mostrato accanto a Posizione prompt
- Immettere il nome, la descrizione e le informazioni sulla connessione (nome host, nome utente, password, numero di porta, nome del servizio Oracle, ecc.) Fare clic su OK pulsante al termine.
- Conferma le informazioni di connessione e fai clic sull'opzione Importa dopo il completamento .
Quindi fare clic su Avanti> pulsante per continuare:
- Apparirà la schermata di riepilogo finale che indica che la creazione del modulo è andata a buon fine.
Fai clic su Fine per chiudere questa schermata.
Importazione di metadati per lo schema di immissione dell'ordine
- Selezionando Importa dopo il completamento opzione nel passaggio 6, la Importazione guidata metadati si avvierà automaticamente una volta creato il modulo database. Se hai saltato questa opzione, fai clic con il pulsante destro del mouse sul nuovo modulo Order_Entry e seleziona Importa metadati dal menu.
Una volta avviata la procedura guidata di importazione dei metadati, fare clic su Avanti> pulsante per continuare.
- Le Informazioni sul filtro lo schermo apparirà dopo. In questo caso vogliamo importare i metadati per tutti i contenuti dello schema, quindi fare clic su Tutto opzione e quindi fare clic su Avanti> pulsante per continuare.
- La schermata successiva che appare offre la possibilità di selezionare alcuni o tutti gli oggetti scoperti nello schema. Inizialmente la Selezione oggetto la schermata apparirà come segue:
- Fare clic sull'icona della doppia freccia a destra per spostare tutti gli oggetti dal Disponibile lato a Selezionato lato come mostrato di seguito. Quindi fare clic su Avanti> pulsante per continuare.
- Il Riepilogo e importazione lo schermo apparirà dopo. Esamina lo schermo per assicurarti che tutti gli oggetti siano stati selezionati e fai clic su Fine per completare l'importazione.
- Un Risultati dell'importazione apparirà la schermata di riepilogo. Fare clic su OK per chiuderlo.
- In Oracle Warehouse Builder Projects Navigator, il database ORDER_ENTRY verrà popolato con tutti i suoi oggetti, comprese le tabelle, come mostrato di seguito:
A questo punto è stato creato un nuovo modulo database per lo schema del database Oracle Order Entry e tutti i metadati dello schema sono stati importati in Oracle Warehouse Builder. Nella prossima serie di passaggi, un nuovo Profilo dati verrà creato.
Creazione di un profilo dati in Oracle Warehouse Builder
Il prossimo passo importante è creare un Profilo dati .
- In Oracle Warehouse Builder Projects Navigator, fare clic con il pulsante destro del mouse su Profili dati gruppo e seleziona Nuovo profilo dati
- Quando viene visualizzata la schermata di benvenuto, fare clic su Avanti> pulsante
- Fornire un nome e una descrizione del nuovo profilo dati. In questo esempio abbiamo chiamato il nuovo profilo:Order_Entry_Schema_Profile (notare che gli spazi non sono consentiti nel nome del profilo). Fare clic su Avanti> pulsante per continuare.
- La schermata successiva fornisce un elenco di oggetti dello schema. Apri le Tabelle cartella e aggiungi tutte le tabelle (ad eccezione di ORDINEACQUISTO tabella) elencati nel Database inserimento ordini al Selezionato lato dello schermo.
Non aggiungere nessuna vista.
Fare clic su Avanti> pulsante per continuare.
- A questo punto il Riepilogo verrà visualizzata la schermata e il profilo dati è stato impostato. Fare clic su Fine pulsante.
- Una volta impostato il nuovo profilo, l'Editor profilo dati apparirà la schermata.
Il passaggio successivo sarà eseguire il profiler sullo schema.
Utilizzo dell'editor di profili in Oracle Warehouse Builder
L'ultimo passaggio principale consiste nel lavorare nell'editor di profili per avviare un processo di profilatura dei dati e quindi visualizzare i risultati. Se hai seguito i passaggi precedenti per creare un nuovo profilo dati, allora OWB dovrebbe aver avviato l'Editor profilo dati . Tutte le istruzioni da questo momento in poi presuppongono che stiamo lavorando nell'editor del profilo di dati.
- Di seguito è riportata una vista dell'Editor profilo dati. Nota che il modulo database ORDER_ENTRY è aperto negli Oggetti profilo finestra e tutte le tabelle dovrebbero essere elencate qui.
- È possibile apportare modifiche ai passaggi di profilazione tramite le sezioni di Property Inspector come Carica configurazione e Configurazione aggregazione . Le descrizioni di queste impostazioni sono disponibili a questo link.
Per questo esempio assicurati che siano selezionate le seguenti impostazioni predefinite di profilatura:- Abilita il rilevamento di formati comuni
- Abilita rilevamento tipo
- Abilita rilevamento pattern
- Abilita rilevamento dominio
- Abilita il rilevamento della chiave univoca
- Abilita il rilevamento delle dipendenze funzionali
- Abilita il rilevamento delle colonne ridondanti
- Abilita la profilazione delle regole dei dati
- Per iniziare il lavoro di profilazione dei dati, apri il Profilo menu e seleziona Profilo
- Una volta avviato il processo del profilo, verrà visualizzata una finestra di dialogo che mostra lo stato di avanzamento della convalida del profilo. L'operazione può richiedere diversi minuti a seconda della velocità del server e del numero di oggetti di database nel profilo.
- Al termine della fase di convalida, verrà eseguito il lavoro del profilo effettivo. Si noti che questo lavoro viene eseguito in modo asincrono in background. Fare clic su OK per chiudere il Profilo avviato la finestra di dialogo.
- Una volta completato il lavoro del profilo, Recupera i risultati del profilo apparirà la schermata. Fare clic su Sì per recuperare i risultati del profilo nell'editor del profilo.
- I risultati del profilo appariranno nell'editor del profilo. Fai clic sul nome di una tabella per visualizzare i metadati nella tela dei risultati del profilo . Fai clic sul nome di una colonna per visualizzare le specifiche di una colonna nel Pannello Drill dati
Nella figura sottostante (clicca per ingrandirla), i CLIENTI è stata selezionata la tabella per la visualizzazione nel riquadro dei risultati del profilo e nel NLS_TERRITORY è stata selezionata la colonna da visualizzare nel pannello di analisi dei dati.
Ulteriori informazioni sulla profilazione dei dati Oracle OWB
Oltre alla documentazione, Oracle fornisce anche una serie di tutorial Oracle By Example (OBE) per OWB, tra cui:Oracle Warehouse Builder:Esame dei dati di origine utilizzando la profilazione dei dati.
