Integracja i czyszczenie danych, zarządzanie metadanymi

W celu zwiększenia jakości podejmowanych decyzji systemy BI są często oparte o dedykowane duże zbiory danych zarządzane przez oprogramowanie hurtowni danych (ang. Data Warehouse). Funkcjonalność hurtowni danych zwykle obejmuje: migrację danych z operacyjnych systemów informatycznych, integrację danych pochodzących z niezależnych źródeł, czyszczenie danych rozumiane jako podnoszenie jakości danych poprzez ich weryfikację, uzupełnianie i korektę oraz wstępną agregację danych na potrzeby przetwarzania analitycznego. 

Bardzo ważnym elementem realizacji projektu jest implementacja odpowiednich mechanizmów do zarządzania metadanymi systemu, umożliwiających zarządzanie informacjami o strukturach danych oraz procesach zachodzących w hurtowni, w celu zapewnienia wysokiej dostępności, jednoznaczności i niezawodności w dostępie do danych systemu. BI Insight posiada bardzo duże kompetencje w niniejszym obszarze, będące wynikiem doświadczeń z realizacji wielu korporacyjnych hurtowni danych (ang. Enterprise Data Warehouse), w tym systemów realizowanych z wykorzystaniem najpopularniejszych na rynku narzędzi do integracji danych tj. IBM DataStage, Informatica czy Oracle i systemów gromadzących obecnie dziesiątki TB danych. W wyniku tych wdrożeń BI Insight wypracował własną metodykę oraz gotowe komponenty do budowy ETL, zarządzania metadanymi technicznymi, zarządzania wydajnością systemu oraz monitorowania jakości danych.