BI DQA - zawsze bądź pewien jakości swoich danych!

Wyzwania w zakresie utrzymania jakości

Jednym z największych wyzwań w Business Intelligence (BI) jest utrzymanie poprawnej jakości danych. W najlepszym przypadku zła jakość danych może zaowocować niechęcią użytkowników do używania systemu BI. W najgorszym przypadku skutkiem może być niepoprawna decyzja prowadząca do nieobliczalnych strat dla firmy.

Proces kontroli jakości danych musi zapewnić, że nieprawidłowe dane będą wykryte tak szybko, jak to możliwe, informacje o wykrytych nieprawidłowościach będą przekierowywane do odpowiedzialnych jednostek, a w krytycznych przypadkach dane te nie zostaną udostępnione końcowym użytkownikom systemu.

BI Insight oferuje - BI DQA - dedykowane narzędzie wspierające proces zapewnienia jakości danych w systemach Business Intelligence.

BI DQA - to rozwiązanie zapewniające, że Twoje dane w hurtowni są odpowiedniej jakości, a decyzje biznesowe mogą być pewnie podejmowane w oparciu o Twój system BI.

Głównym zadaniem BI DQA jest natychmiastowa identyfikacja oraz raportowanie występujących problemów jakości w określonych krytycznych punktach procesów zasilania hurtowni danymi źródłowymi, zabezpieczając docelowe dane systemu przed ich zniszczeniem.

Przyjęte rozwiązanie daje możliwość łatwego monitorowania wszystkich występujących problemów, nie wpływa na logikę biznesową istniejącego systemu oraz pozwala na szybkie dostawanie się do wdrożonego wcześniej procesu hurtowni danych.

BI DQA - podstawowe cechy rozwiązania

- Definiowanie testów z wykorzystaniem przyjaznego interfejsu użytkownika;
- W pełni zautomatyzowany proces zapewnienia jakości danych;
- Możliwość tworzenia nowych testów, bazując na szerokiej gamie predefiniowanych typów testów, adresujących podstawowe cechy danych o wysokiej jakości czyli ich spójność, kompletność, poprawność, dostępność, unikalność i wiarygodność;
- Wbudowany, dedykowany silnik do przeprowadzania testów w optymalny sposób;
- Różne metody powiadamiania o błędnych danych (SMS, e-mail, raporty);
- Monitorowanie jakości danych z wykorzystaniem zaawansowanych raportów prezentujących dane na różnym poziomie szczegółowości, z uwzględnieniem istotności danych oraz danych historycznych;
- Możliwość aktywacji metod automatycznego czyszczenia danych.

Główne komponenty systemu BI DQA

- Data Quality Repository - baza danych, która utrzymuje wszystkie definicje procesów zapewnienia jakości oraz dystrybucji informacji. W repozytorium przechowywane są dane stałe systemu oraz definicje wprowadzane przez interfejs użytkownika, tj. testy, typy testów, obszary testów, istotność testów, lista dystrybucyjna zgodnie z obszarami;

- Data Quality Job - proces, który zintegrowany z istniejącym rozwiązaniem ETL, realizuje następujące zadania: pobiera parametry z repozytorium, wykonuje testy zaprojektowane dla bieżących procesów oraz zapisuje wyniki testów w Data Qality Log;

- Data Quality Log - baza danych do przechowywania wszystkich rezultatów testów wykonywanych podczas sprawdzania jakości danych;

- Distribution Job - silnik dystrybucji informacji umożliwia określenie dla każdego indywidualnego odbiorcy systemu odpowiednich obszarów tematycznych, stosownego poziomu istotności oraz metody dystrybucji informacji (SMS, e-mail, raport). Istnieje możliwość raportowania wyników opisujących liczbę sprawdzonych rekordów źródłowych, liczbę błędnych rekordów wejściowych, liczbę błędnych wartości, analizę procentową oraz analizę istotności.

Podsumowanie

Systemy czyszczenia danych źródłowych są niezbędne w każdym projekcie DWH / BI. Użycie tych systemów wzmacnia zaufanie użytkowników do Hurtowni Danych, a także zmniejsza koszt i skraca czas wdrożenia względem manualnego sprawdzania jakości danych.

Pobierz ulotkę produktową BI DQA [ zobacz ]