Česká zemědělská univerzita v Praze Provozně ekonomická fakulta Doktorská vědecká konference 6. února 2012 T T THINK TOGETHER Think Together 2012 Business Intelligence systémy Business Intelligence systems Martin Závodný 321
Abstrakt Business Intelligence systémy patří do skupiny systémů pro podporu rozhodování. Umožňují zpracovávat data z interních a externích informačních systémů podniků a ve vhodné formě je poskytovat uživatelům, kteří na jejich základě činí rozhodnutí strategického významu. Cílem článku je seznámit čtenáře s významem Business Intelligence systémů, s jejich základními principy, technologiemi a architekturami. Klíčová slova Business Intelligence, zdrojové informační systémy, datová integrace, dočasné úložiště dat, operativní úložiště, datový sklad, datová tržiště, OLAP, multidimenzionální databáze, data mining, reporting. Abstract Business Intelligence systems count among the group of decision support systems. The systems enable processing data that comes from internal and external enterprise information systems and provide this data in suitable form to users, who make decisions on the basis of this data. The purpose of the article is to familiarize readers with value of Business Intelligence systems, their basic principles, technologies and architectures. Key Words Business Intelligence, source systems, data integration, data staging area, operation data store, data warehouse, data mart, OLAP, multidimensional databases, data mining, reporting. Think Together 2012 Cíle Cílem článku je seznámit čtenáře s praktickým významem Business Intelligence systémů, s jejich základními stavebními prvky, technologiemi a architekturami a uvést specifika, jimiž se tyto systémy liší od běžných informačních systémů podniku. Tyto poznatky mohou čtenářům sloužit při návrhu architektury Business Intelligence systémů ve specifických podmínkách různých typů organizací. Význam Business Intelligence systémů Business Intelligence (BI) systémy slouží, na rozdíl od běžných transakčních systémů 1, primárně k podpoře rozhodovací činnosti. BI systémy poskytují ve vhodné formě agregovaná analytická data odvozená z dat podnikových informačních systémů a pomáhají jejich uživatelům proniknout do podstaty složitých ekonomických jevů, pro jejichž analýzu bylo BI nasazeno. BI systémy umožňují odhalit vztahy v ekonomické realitě a sledovat vývoj významných podnikových indikátorů (ukazatelů) z pohledu jejich relevantních dimenzí, např. indikátor vývoje podnikových tržeb z pohledu členění v jednotlivých regionech. Díky analytickému zaměření umožňují BI systémy podnikům výrazně zvýšit efektivnost svých procesů a pomoci jim při rozhodování o strategických otázkách. Komponenty a technologie BI V této kapitole jsou popsány základní stavební prvky a technologie Business Inteligence systémů a je nastíněna obecná architektura BI. Jednotlivé komponenty, které budou níže charakterizovány, jsou v rámci specifických BI řešení využívány 1 Jejich hlavním cílem je uchovávat a poskytovat evidenci transakcí, které se odehrávají v podnikových IS. Dostupné z: http://www.thinktogether.cz/
v různém rozsahu a uspořádání, a to zejména v závislosti na podmínkách daného projektu a požadavcích týkajících se nasazení aplikací pro podporu rozhodování do vybraných podnikových oblastí. Následující obrázek znázorňuje typické propojení a návaznost dílčích komponent BI řešení. Obrázek č. 1: Komponenty a technologie Business Intelligence Zdrojové systémy Zdrojové informační systémy jsou takové systémy, ze kterých BI čerpá data určená pro následné analytické zpracování. Jedná se především o klasické transakční systémy určené pro ukládání velkých objemů dat, které nejsou na rozdíl od BI zaměřeny na analytické úlohy. Jde jednak o interní systémy podniku (zejm. ERP, systémy pro řízení vztahů se zákazníky, systémy pro řízení dodavatelko-odběratelských vztahů, personální agenda, aj.), jednak o externí zdroje (např. databáze adres, ekonomických subjektů, aj.). Nástroje datové integrace Mezi nejvýznamnější komponenty BI řešení patří nástroje datové integrace, které jsou určeny pro získávání, případně také slučování a transformace dat z různých zdrojů a poskytování těchto integrovaných dat dalším systémům, zejm. dalším BI komponentám. Tyto nástroje lze členit na ETL 2 a EAI 3, viz např. (Inmon 2005: 403). Dočasné úložiště dat (DSA) DSA 4 je nepovinná komponenta BI řešení, která slouží k dočasnému uložení dat extrahovaných ze zdrojových systémů. Data v DSA odpovídají zdrojové předloze a nejsou transformována. V rámci ETL procesu 5 probíhá transformace dat určených pro další BI komponenty (pro datový sklad). Dočasné úložiště dat se proto uplatňuje především v případech, kdy transformace dat nemohou být prováděny nad permanentně zatíženými provozními systémy, neboť by přitom mohlo dojít k nežádoucímu omezení výkonu provozních systémů. Po zpracování a přenosu dat do dalších BI komponent se data z DSA odstraní. Operativní úložiště dat (ODS) Podle Billa Inmona je ODS 6 subjektově orientovaný, integrovaný, nestálý, časově aktuální a detailní soubor dat sloužící pro rychlou podporu rozhodovacích procesů v organizaci (Inmon: 2005). Následující interpretace pojmů 2 Extraction, Transformation and Loading 3 Enterprise Application Integration 4 Data Staging Area 5 Procesu přenosu, transformace a nahrání dat ze zdrojového do cílového systému. 6 Oparational data store ISBN: 978-80-213-2275-2 323
z uvedené definice vychází z (Novotný, Pour, Slánský 2004: 30 32): Subjektově orientovaný data jsou rozdělena podle jejich typu, ne podle zdroje odkud byla získána Integrovaný do ODS jsou ukládána celopodniková data, ne pouze data za určitá dílčí oddělení podniku Nestálý měnící se při každém nahrání Časové aktuální ODS neobsahuje historická data, pouze aktuální snímky zdrojových systémů Detailní zpravidla jsou ukládána pouze detailní data bez agregací. Vzhledem k neustálé změně a aktualizaci dat v ODS by nebylo příliš efektivní stále přepočítávat agregované hodnoty Na rozdíl od DSA slouží ODS jako databáze přímo podporující analytický proces. DSA je pouze dočasné úložiště dat před jejich zpracováním. ODS svoje data přímo poskytuje koncovým uživatelům a aplikacím pro podporu rozhodování, přičemž je kladen důraz především na aktuálnost poskytovaných dat. Typickým příkladem využití ODS je centrální databáze základních číselníků (zákazníci, dodavatelé, produkty) dostupná uživatelům napříč celým podnikem. Datový sklad (DW) Datový sklad je souhrn dat, která slouží především k naplňování potřeb aplikací Business Intelligence. DW integruje data z různých provozních systémů a obsahuje historické informace, nad kterými je možno provádět analýzy v čase. Podle Billa Inmona je datový sklad integrovaný, subjektově orientovaný, stálý a časově rozlišený souhrn dat, nad kterým je možno provádět rozsáhlé analýzy. Definice většiny pojmů již byla zmíněna v rámci popisu komponenty ODS, doplňme ještě zbývající podle (Novotný, Pour, Slánský, 2004: 30 32): Stálý data, která již jednou byla nahrána do datového skladu, v něm existují po celou dobu jeho života a nemění se. To však neznamená, že později již do datového skladu nejsou nahrávána data další, která teprve v budoucnu vzniknou Časové rozlišený data je možno rozlišit podle hlediska času a díky tomu lze provádět analýzy vývoje určité předmětné oblasti v čase Datová tržiště (Data Mart) Jsou specificky zaměřené datové sklady, určené pro pokrytí problematiky týkající se určitého omezeného okruhu uživatelů. Využívají se například jen v rámci konkrétního oddělení, divize, příp. pobočky podniku a umožňující ad hoc analýzy. Data marty jsou decentralizované datové sklady, které se postupně integrují do celopodnikového řešení. Uplatňují se především v architektuře nezávislých datových tržišť (viz kapitola Architektura BI řešení) a díky tomu, že je možno je řešit jako relativně samostatné celky, je možno dosáhnout poměrně rychlého zavedení požadovaných datových analytických aplikací, při relativně nízkých investičních nákladech a rizicích. OLAP a multidimenzionální databáze Jde o technologii založenou na multidimenzionální databázi. Hlavním principem OLAP je multidimenzionální tabulka umožňující flexibilně měnit jednotlivé dimenze a umožnit tak uživateli sledovat data týkající se ekonomické reality podniku z různých pohledů (resp. z pohledu různých zaměnitelných dimenzí). ISBN: 978-80-213-2275-2 324
OLAP se liší od běžných transakčních systémů (OLTP) především účelem svého použití. Zatímco běžné OLTP systémy pracují s operativními daty a mají za úkol napomáhat automatizaci a optimalizaci běžné činnosti firmy (např. ERP systémy, účetnictví, personalistika), OLAP pracují s analytickými informacemi, které vznikají na základě odvození z operativních dat transakčních systémů, a jsou určeny především pro podporu rozhodovacích činností managementu. Data pro OLTP jsou nejčastěji ukládána v relačních databázích v normalizované podobě (resp. 3. normální formě). Analytická data není vhodné ukládat tímto způsobem, neboť pokud je potřeba poskytnout uživateli možnost rychle nahlížet na data z pohledu různých dimenzí, lze to v případě normalizovaně uložených dat zajistit jen velmi obtížně. Data pro OLAP jsou proto ukládána v multidimenzionální struktuře 7, která je optimalizována pro uložení a interaktivní zpracování (analýzy) multidimenzionálních dat, podrobněji viz např. (Thomsen 2002: 262). OLAP obsahuje různé úrovně agregace dat (podle hierarchické struktury definovaných dimenzí) a zahrnuje také faktor času, díky čemuž lze sledovat historický vývoj definovaných ukazatelů. V rámci multidimenzionální analýzy, která probíhá nad OLAP kostkou, jde o to, získat hodnotu určitého vybraného ukazatele příslušejícího k uživatelem zvoleným dimenzím, viz obr. 2 (ukazatelem jsou tržby, dimenzemi čas a typ výrobku). Volbou určité kombinace dimenzí je určen prvek multidimenzionální databáze, který obsahuje hodnotu nebo algoritmus pro výpočet dané hodnoty. Standardním ukazatelem je obvykle ekonomická proměnná, která je sledována přes časovou dimenzi a současně 7 Technologie pro uložení OLAP kostek je možno rozčlenit na ROLAP, MOLAP, HOLAP a DOLAP. Rozdíly mezi těmito technologiemi jsou dány způsobem uložení multidimenzionálních (OLAP) kostek. přes několik dalších dimenzí (např. organizační jednotka, typ výrobku, zákaznické segmenty, dodavatelé, region, atd.). Obrázek č. 2: Multidimenzionální analýza vývoj tržeb u jednotlivých typů výrobků Dimenze jsou většinou uspořádány v hierarchické struktuře podle míry zachycovaného detailu, například dimenze týkající se výrobků může být členěna na kategorii výrobku (např. notebook) a typ výrobku (např. HP ProBook 6460b) nebo dimenze týkající se lokality prodeje na stát, region, apod. Systémy BI zajišťují automatické agregace hodnot (ekonomických proměnných) podle definovaných úrovní dimenzí. Pokud by totiž bylo nutné provádět součty mnoha hodnot až při zobrazování dat odpovídajících zvoleným pohledům, odezva systému by mohla být příliš velká. Předvypočítané a v OLAP kostkách uložené hodnoty agregovaných dat, odpovídající jednotlivým hierarchiím dimenzí, umožňují snadno měnit ISBN: 978-80-213-2275-2 325
detail zobrazovaných dat 8 a pružně zaměňovat dimenze, přes něž jsou data nahlížena. Data mining Nástroje data miningu slouží pro netriviální dobývání skrytých, předem neznámých a potenciálně užitečných informací z dat a využívají přitom četných matematických a statistických technik. Hlavním rozdílem mezi data miningem a OLAP analýzou je, že zatímco OLAP zkoumá vztahy známé a dobře strukturované a pracuje nad agregovanými daty (dimenze a ukazatele jsou pevně svázány), data mining pracuje zpravidla nad neagregovanými daty datového skladu (příp. primárního systému) a jeho cílem je nacházet nové skutečnosti a vztahy ve zkoumaných datech. Data mining může být využit například pro detekci podvodů (daňové úřady, pojišťovny, banky), analýzy nákupních košíků, profilace zákazníků (segmentace), udržení zákazníků (vytipování rizikových zákazníků a jejich udržení proaktivním přístupem), stanovení diagnózy (lékařství), analýzu chování návštěvníků webových stránek a mnohé další, viz např. (Ye, Nong, 2003). Data mining zpravidla pracuje se strukturovanými daty, pro úplnost zmiňuji ještě následující specifické druhy data miningu, které využívají dat spíše nestrukturovaných: Text mining jde o dolování informací z textových nestrukturovaných dat. Web mining jde o dolování informací z dat pocházejících z webových stránek 8 Někdy se označuje jako drill-down (pohyb z hierarchicky vyšší úrovně dimenze na nižší) nebo drill-up (pohyb z hierarchicky nižší úrovně dimenze na vyšší). Reporting Reporting je činnost spojená se získáváním dat z datových úložišť a jejich zobrazováním uživatelům. Reporting lze podle jeho charakteru rozdělit na: standardní jde o zpravidla periodické generování výkazů, které mají stále stejnou strukturou. ad hoc specifický jednorázový výkaz vytvářený na základě aktuálních potřeb uživatele Speciálním případem reportingu patřícím do oblasti Business Intelligence, je reporting nad OLAP kostkou. Nejčastější výstupy OLAP reportingu mají podobu: kontingenční tabulky kontingenčního graf dashboardu 9 Stále častěji se do BI a reportingových nástrojů integrují prezentační funkce, které tvoří další vrstvu nad kontingenčními tabulkami a grafy. Jde o nejrůznější přehledy, dashboardy, manažerské kokpity a další. Významnými funkcemi reportingových nástrojů jsou: Pravidelné vytváření a zasílání specifických reportů zaměstnancům, kteří je potřebují pro své rozhodování Zasílání výstrahy, např. na email nebo mobilní telefon, v případě, že se určitý ukazatel nevyvíjí podle plánu, resp. je pod hranicí tolerance Zobrazení analýz a ukazatelů prostřednictvím manažerského kokpitu, pomocí několika obrazovek s grafy, tabulkami a barevnými indikacemi podle toho, zda 9 Forma reportingu využívající intuitivní způsob zobrazení hodnot metrik, např. ve formě semaforu, ciferníku, stupnice a další. ISBN: 978-80-213-2275-2 326
je ve sledované oblasti dodržen plán, příp. nedodržen nebo překročen Nejčastěji používanými metodami pro analýzu dat OLAP kostek jsou: Drill down postupné zobrazování většího detailu dat, posouvání v hierarchii dimenzí směrem k nižší hierarchii (např. zpodrobňování dimenze času od roků až po dny). V kontingenční tabulce funguje formou rozbalovacího menu dimenzí. Drill up opačný postup než v případě drill down, přesun z detailu na vyšší úroveň agregace Slice a dice omezení výběru nad multidimenzionální OLAP kostkou Slice výběr dimenze Dice výběr hodnoty v dimenzi Pivot záměna dimenzí u vytvářeného pohledu Metadata repository Aby bylo BI řešení dostatečně flexibilní a škálovatelné, je nutné udržovat detailní dokumentaci všech procesů, které zahrnuje. V kontextu BI obsahují Metadata Repository informace o jednotlivých procesech, strukturách a komponentách celkového řešení Business Intelligence. Zahrnují zejména dokumentaci zdrojových dat, datových modelů, mapování zdrojových systémů na entity používané v BI řešeních, transformační pravidla a výpočty, popisy funkcí, nastavení obchodních pravidel a další. Celofiremní repository nevztahující se pouze k BI potom mohou obsahovat širokou paletu informací popisujících veškeré informační systémy podniku a jejich komponenty pravidla, procesy, metodiky, hardware, software, síťování, jednotlivé funkce komponent IS a další. Přínosem Metadata Repository je především centralizace informací o podnikových datech na jednom místě a s tím související zprůhlednění celého BI řešení, redukce výskytu redundantních dat a zefektivnění vývoje. (Novotný, Pour, Slánský 2004: 37) zmiňuje pro oblast BI následující relevantní oblasti metadat Metadata zdrojových systémů Metadata databázových komponent Metadata ETL procesu Metadata uživatelské vrstvy Data Kritickým faktorem úspěchu BI řešení jsou kvalitní data. Pokud data nemají potřebnou kvalitu, nemohou mít analýzy, které jsou na základě nich vytvářeny přílišnou vypovídací hodnotu. Kvalita dat může být zajištěna již ve zdrojových systémech, pokud tomu tak není, je potřeba data ještě před jejich zpracováním vyčistit (v rámci ETL procesu nebo pomocí speciálních nástrojů pro zajištění datové kvality). Vyhnout se čištění dat vyžaduje vybudovat v podniku konzistentní a integrovanou datovou základnu a vhodně nastavit procesy pro práci s datovými zdroji. Podle následujících znaků je možno hodnotit kvalitu datové základny podniku: Úplnost obsahuje všechna data potřebná pro danou úlohu Přesnost data odpovídají realitě a nejsou zkreslená Struktura data jsou uložena ve vhodném a jednotném formátu Konzistence data nejsou vzájemně v rozporu, nejsou porušeny standardy a vazby mezi daty (např. databáze ISBN: 978-80-213-2275-2 327
zákazníků v různých lokalitách musí mít pro stejného zákazníka stejné identifikační číslo) Neredundance nedochází k duplicitnímu ukládání dat Soudržnost data musí být navázána na související data pomocí vazeb a integritních omezení Architektura BI řešení Obecně jsou uváděny dvě architektury řešení Business Intelligence, se kterými je možno se v podnikové praxi v současné době setkat. Patří mezi ně architektura nezávislých datových tržišť a architektura konsolidovaného datového skladu, obě jsou stručně charakterizovány v následujících kapitolách, podle (Novotný, Pour, Slánský 2004: 45 51). Architektura nezávislých datových tržišť Podnikové řešení Business Intelligence je tvořeno několika nezávislými datovými tržišti, která slouží pro potřeby jednotlivých specifických útvarů podniku. Každé tržiště zpravidla zahrnuje veškeré komponenty BI, které umožňují získat, transformovat, ukládat a prezentovat analytická data uživatelům. Ačkoli jsou jednotlivá tržiště relativně nezávislá, je snahou podniků vzájemně je propojit přes tzv. sdílené dimenze, tedy dimenzionální tabulky, které jsou opakovaně použity v různých datových tržištích. Celkové řešení BI je v rámci této architektury obvykle budováno postupně, přičemž každé nově vytvářené tržiště má za cíl využít co nejvíce již existujících dimenzí. Sdílené dimenze (např. zákazník, produkt, atd.) zajišťují vzájemnou konzistenci reportingu jednotlivých tržišť. Tato architektura je využívána zejména pokud je potřeba pokrýt analytické potřeby jednotlivých oddělení podniku co nejrychleji, při relativně nižší ceně projektu, přičemž není příliš kladen důraz na budoucí integraci řešení, neboť určitým nedostatkem této architektury je obtížnější integrace jednotlivých datových tržišť do celopodnikového řešení. To je dáno zejména náročnou implementací sdílených dimenzí a potřebou vytvořit jednotnou vrstva reportingu nad několika datovými tržišti. Architektura konsolidovaného datového skladu V rámci této architektury jde primárně o vybudování integrovaného BI řešení. Jeho základem je konsolidovaný datový sklad obsahující jak detailní, tak agregovaná data. Řešení je doplněno o závislá datová tržiště, která využívají konsolidovaná data datového skladu. Vytvoření této architektury vyžaduje detailní počáteční analýzu požadavků a vytvoření celkové koncepce, i proto bývá zejména v počátečních fázích časově i finančně náročnější. Na druhé straně přináší výhodu v podobě konsolidovaného reportingu, snazší rozšiřitelnosti bez nutnosti řešit náročnější integrační problémy a větší podporu analytických a data miningových úloh. Tato architektura bývá zaváděna buď jednorázově, zejména pokud jde o menší projekty nebo přírůstkově, pokud jde o větší časově náročnější řešení. ISBN: 978-80-213-2275-2 328
Závěr V příspěvku byl představen význam a komponenty Business Intelligence systémů a zmíněna role těchto komponent v rámci celku. Byly také uvedeny nejvýznamnější odlišnosti BI systémů od klasických systémů. Je potřeba si uvědomit, že použití BI komponent v rámci BI systémů, je vždy determinováno konkrétními podmínkami projektů implementace BI systémů. Z praxe lze odvodit zásadu, že čím komplexnější je oblast zdrojových systémů a čím větší jsou požadavky na integraci dat z různých zdrojů, tím je i architektura BI systémů členitější. U méně komplexních systémů, co do počtu a kvality dat zdrojových systémů, nemusí být zastoupeny všechny BI komponenty. Především pak ty, které mají na starosti přípravu dat do vhodné podoby pro analytické aplikace BI systémů (zejm. komponenty ODS, DWH). Naopak u komplexnějších systémů mohou být využívány komponenty stejného typu i vícekrát (např. komponenty DSA, data marty). V daném kontextu závisí samozřejmě i na dalších aspektech, jako jsou disponibilní kapacity na vývoj BI systémů, úroveň ICT infrastruktury společnosti a dalších. V rámci omezeného rozsahu příspěvku nebylo možno se věnovat dalším důležitým oblastem, která navazují na téma rozebírané v tomto článku. Jedná se především o dosud málo pokrytou oblast metodik vývoje BI systémů, oblast datové kvality a oblast aplikací BI. Tyto témata mohou být pokryty budoucím dalším výzkumem. Literatura Inmon, H. W.: Buildig the Data Warehouse. Wiley Publishing, 4. vyd. 2005. ISBN 0-7645-9944-5, 543 s. Kimball, R., Ross, M.: The Data Warehouse Toolkit The Complete Guide To Dimensional Modeling. Wiley Compure Publishing, 2. vyd. 2002. ISBN 0-471-20024-7. Thomsen E,: OLAP Solutions Building Multidimensional Information Systems. John Wiley & Sons. 2. vyd. 2002. ISBN 0-471-40030-0, 661 s. Novotný, O., Pour, J., Slánský, D.: Business Intelligence Jak využít bohatství ve vašich datech, 1. vyd. Praha: Grada Publishing, 2004. 192 s. ISBN 80-247-1094-3. Ye, Nong: The Handbook of Data Mining, New Jersey Lawrence Erlbaum Associates, 2003, 689 s. ISBN 0-8058-4081-8. ISBN: 978-80-213-2275-2 329