Zdroje informací v organizaci IS/ICT BI v rámci IS/ICT historie architektura OLTP x DW ukládání dat Vladimíra Zádová
BI CRM ERP SCM Aplikace pro podporu základních řídících a administrativních operací podniku
Informační systémy na počátku 3. tisíciletí pro řízení vnitřních procesů back-office aplikace pro podporu základních řídících administrativních operací podniku pro řízení vztahů podniků s okolím front-office aplikace, aplikace s přidanou hodnotou (valueadded ) pro rozvoj řízení podniku a podporu rozhodování back-office aplikace
Aplikace pro řízení vnitřních procesů podniku - klasické celopodnikové aplikace ERP (Enterprise Resource Planning) Aplikace pro podporu základních řídících a administrativních operací podniku kancelářské systémy řízení pracovních toků (workflow) aplikace a technologie pro správu dokumentů všeobecné informace a instrukce (hlavně na bázi Intranetu )
Aplikace pro řízení vztahů organizací s okolím mění kooperace mezi podniky CRM (Customer Relationship Management) elektronické podnikání SCM (Supply Chain Management)
CRM procesy a aktivity, které souvisí se zákazníkem existujícím či potenciálním podpora prodeje podpora zákazníka podpora marketingu
Elektronické podnikání elektronický obchod (e-commerce) elektronické zásobování (e-procurement) elektronická tržiště (Marketplaces) elektronické obchodování rozlišuje realizace obchodních vztahů mezi dvěma organizacemi -B2B, B2C, B2R, B2G, B2E (R - reseller, G - government, E -employee)
SCM, SCM/APS koordinuje toky výrobků, služeb, informací a financí mezi dodavateli surovin, jejich zpracovateli, výrobci, obchodníky, zákazníky dvě kategorie aplikace pro plánování optimální způsob směrování množství materiálu a zboží potřebného v místech určení aplikace pro realizaci fyzické zásoby, obrátky zboží, objednávek a dodávky materiálu, finance Pozn.: APS =Advanced Planning and Schedulling (systém pokročilého plánování)
Aplikace pro podporu rozhodování Business Intelligence EIS (Executive Information Systems - manažerské informační systémy) datové sklady ( Data Warehouse) datová tržiště (Data Mart) dolování dat (Data Mining), OLAP (On-line Analytical Processing), reporting.. Customer Intelligence CRM + BI = CI
Business Intelligence BI Je sada procesů, aplikací a technologií, jejichž cílem je účinně a účelně podporovat rozhodovací procesy ve firmě Dva pohledy na BI - široký rámec - BI jako jeden z nástrojů vedle / nad DW
Nástroje BI Produkční systémy ETL EAI DSA ODS DW/DM OLAP Reporting Manažerské aplikace ( EIS ) Dolování dat Nástroje pro zajištění kvality dat Nástroje pro správu metadat
Obecná koncepce architektury BI Zdroj: Novotný, Pour, Slánský: Business Intelligence, Grada 2005
Komponenty BI řešení a jejich vazby Zdroj: Novotný, Pour, Slánský: Business Intelligence, Grada 2005
Enterprise Application Integration EAI Nástroje využívané ve vrstvě zdrojových systémů Pracují v reálném čase Cíl: integrovat primární podnikové systémy redukovat počet aplikačních rozhraní hlavně datová integrace
ETL Extract, Transformation, Loading = datové pumpy extrakce dat ze zdrojových systémů zpracování dat uložení dat práce v dávkovém režimu
DSA (Data Staging Area, dočasné úložiště dat) - pro uložení dat z produkč. systémů obsahuje neagregovaná aktuální data (do té doby, než jsou uloženy do dalšího úložiště dat- ODS, DW, DM)
Sklady provozních dat ( ODS - Operational Data Store) Cíl: poskytnutí integrovaného a aktuáln lního pohledu konzistentní, konsolidovaná, subjektově orientovaná data strukturou jsou obdobná datům v DW, ale na rozdíl od DW mají jen aktuální data ( i agregovaná) pravidelná aktualizace, odpovídají aktuálnímu stavu provozu, obsah dat je měněn po každém nahrání
ODS jako zdroj datové integrace dat ze zdrojových systémů Zdroj: Novotný, Pour, Slánský: Business Intelligence, Grada 2005
ODS jako databáze aktuálních dat odvozená z DW Zdroj: Novotný, Pour, Slánský: Business Intelligence, Grada 2005
DW - definice je subjektově orientovaná, integrovaná, časově variantní a stálá kolekce dat pro podporu rozhodování manažerů B. Inmon subjektová orientace DW je organizován podle hlavních subjektů podniku (zákazníci, prodej, produkt..), ne podle procesů (aplikací) reflektuje potřeby uložení dat pro rozhodování v jedné databázi DW jsou uložena data pouze jednou (např. o produktu, zaměstnanci ) integrovaná do celku jsou vkládána data z různých aplikací - nekonzistentnost, různé formáty integrací těchto dat - prezentace unifikovaného pohledu
DW časově variantní data v DW jsou platná a přesná jen v bodech, ne intervalech času uložení historie dat - hodnoty v časových bodech ( den, měsíc, Q, rok..) v DW vždy dimenze času stálá data v DW nevznikají, nedají se žádnými nástroji měnit aktualizace DW - jen přidávání dat v pravidelných časových intervalech (jako doplněk), integrace přírustků další definice - většinou zahrnují procesy spojené s přístupem k datům z původních zdrojů
Datová tržiště (Data Mart) příčiny vytváření pro nejčastější analýzy pro skupinu uživatelů - business process, oddělení vytvoření DM s více agregovanými daty, s menším objemem dat - pro zlepšeníčasu odezvy k poskytování vhodněji strukturovaných dat - z hlediska požadavků nástrojů přístupu pro snazší implementaci pro nižší náklady proti DW pro lepší zaměření koncového uživatele
Datová tržiště závislá nezávislá odlišnost ve způsobu výstavby a aktualizace dat extrakce přímo z produkčních systémů zdroj dat - DW
Reporting standardní dotazování jedná se zejména o SQL dotazy v relačním prostředí výstupy standardní předpřipravené dotazy, nepredikovatelné ad hoc dotazy určené zejména pro nižší management
EIS původně chápány jako aplikace pro podporu strategického rozhodování vrcholového managementu později pak i pro podporu rozhodování středního managementu a podnikových specialistů s vývojem další ších aplikací na podporu rozhodování není hranice mezi jimi a OLAP ostrá integrují všechny zdroje dat z transakčních systémů, které jsou důležité pro řízení organizace jako celku postupně integrovány i externí zdroje
Procesy zpracování dotazy/reporting dotazy na to CO je v databázi OLAP PROČ jsou některé fakty pravdivé uživatel generuje hypotézu a OLAP slouží k jejímu ověření je závislý na schopnostech analytika, ten se iterací dostává k výsledku DM představuje nástroje, které generují hypotézy a pokračují v provádění objevování - bez navádění uživatelem
OLTP X DW-OLAP Proč vůbec DW - nelze přímo z OLTP? Třeba: porovnat charakteristiku OLTP dat a OLAP/DM rozdílnost cílů OLTP vypovídají o stavu podnikových procesů X OLAP/DM = cílem je analýza dat, zkoumání z hlediska více dimenzí potřeba optimalizovat ukládání dat tomu se lépe hodí uložení v DW, popř. ODS
Data v OLTP a DW OLTP - operativní data zdroje: zejména aplikace přístup: více současně pracujících uživatelů aktualizace:častá, relativně malých objemů dat Operace INSERT, UPDATE, DELETE dotazy nad daty selektivní ( zejména předpřipravené dotazy) přesnost výstupu - na Kč, haléře,.. četnost stejných dotazů - i vícekrát denně ukládání dat strukturovaně - normalizovaná relační databáze nověji objektově relační, objektová databáze požadavky - nekonfliktní zpracování operací, zajištění integrity dat procesní orientace ( stavy procesů, detailní data)
Data v OLTP a DW Data Warehouse zdroje: podnikové OLTP, operativní data + externí data přístup: malé množství specializovaných uživatelů - management aktualizace:řídká - jen přidávání dat ze zdrojů, delšíčasové intervaly dotazy intenzivní na data, složité dotazy, postupná iterace, sumarizace výstupy zaokrouhlené (i na tisíce) ukládání dat strukturovaně speciálně navržená relační databáze multidimenzionální kostka
Organizace dat v DW Založené na RMD Multidimenzionální kostka
Multidimenzionální data Příklad 2-dimenzionálního dotazu. Jaký je celkový příjem firmy( př. zabývající se prodejem nemovitostí) v každém městě pro Q 1999 Porovnání reprezentace: 3-atributové relace X 2-dimenzionální matice 8
Multidimenzionální data 9
Reprezentace multidimenzionálních dat Příklad 3-dimenzionální otázky. Jaký je celkový příjem firmy zabývající se prodejem nemovitostí - za jednotlivé druhy v každém městě, za čtvrtletí 1997 Porovnání reprezentace: 4-atributové relace X 3-dimenzionální kostky 10
Multidimenzionální data 4-atributové relace X 3-dimenzionální kostky
DATA v DW
Reprezentace multidimenzionálních dat Kostka reprezentuje data jako buňky Relace reprezentuje multidimenzionální data ve 2 dimenzích
multidimenzionální model dat logický návrh pomocí RMD konstrukty - fakty, dimenze, atributy dimenze, dimenzionální tabulky jednoatributový klíč ( tvoří cizí klíč v tabulce faktů) atributy - slouží jako zdroj pro různá omezení daná v dotazech na DW atributy spíše textové jedna dimenze může být ve více hvězdicových schématech většina dimenzí se mění pouze pomalu obdobné vlastnosti jako číselníky (katalog výrobků, údaje o okresech..)
tabulka faktů obsahuje buď přímo ukazatele, resp. se z faktů dají ukazatele určit mezi dimenzí a fakty je vztah 1: N mezi dimenzemi nejsou žádné přímé vztahy fakty jsou neklíčové atributy v tabulce faktů obvykle jsou numerické, aditivní
Modely
Star schéma (hvězdicové schéma)
Schéma souhvězdí
proces ETL zdroje dat příklad
vstupy proces extrakce, filtrování, čištění a vkládání ze zdrojových systémů do DW ETL pumpy extrakce transformace restrukturalizace dat do podoby odpovídající DW filtrace (odstranění chybných i neúplných záznamů) standardizace dat odstranění nežádoucích atributů denormalizace dat kombinace datových zdrojů vkládání a indexace konzistence dat samých, konzistence s ostatními daty v DW
Zdroje dat zdroje důvěryhodnost vše nebo část (jen některé atributy, či jen část sledovaných dat) porovnat stejné údaje z různých zdrojů (DW vytvářen z různých zdrojů) z hlediska obsahu ( m.j. m, cm, dm) formátu (cena zboží jiná přesnost, m/ž 0/1) významově stejné zdroje jsou různě pojmenovány a naopak
Zdroje dat pokr. změny zdrojů během let struktura dat ze stejných zdrojů (archiv a současnost) formálně stejný objekt z více zdrojů ( zákazník: zákazník x potenc. zákazník) četnost přenášení zdrojů
ETL pravidla pro přenos Prosté kopírování Přepočty jednotek Standardizace formátů Odstraňování duplicit v datech z různých zdrojů Rozdělení atributu do několika cíl. atributů ( př. adresa) Slučování atributu do jednoho Odvozování nových atributů (př. datum) Převodní funkce některé použijí pro více atributů, jinde pro atribut samostatná funkce
Po přenosu Kontrola kvality a ošetření chybějících údajů vypuštění záznamů kde chybí jednotné označení chybějících údajů a upozornění na neúplnost dat Statistika pro každý atribut rozsah (doména) a četnost hodnot, které může nabývat (lze odhalit chybné hodnoty)
OLAP analýza
ROLAP, MOLAP a HOLAP souvisí s uložením dat v OLAP ROLAP (Relational( OLAP) pro práci s relační databází (RDBMS) výhoda: dynamický přístup k detailním informacím v DW nevýhoda při nárustu komplexnosti a objemu databáze výrazné zpomalení odezvy na dotazy; snížení použitelnosti MOLAP (Multidimensional( OLAP) pro práci s multidimenzionální databází výhoda: rychlá odezva na dotaz a velké analytické možnosti nevýhoda: orientace na práci s agregovanými hodnotami bez možnosti zpracování velmi detailních informací. HOLAP (Hybrid OLAP) kombinují přednosti obou technologií. klient OLAP zpracovává relativně malé objemy dat uložené v paměti, výpočty jsou prováděny většinou v reálném čase
Základní operace OLAP drill-down, roll-up snížení, zvýšení stupně agregace slicing (selekce), dicing provedenířezu v multidimenzionální databázi pivoting mění úhel pohledu na data ( jedná se o prezentaci obsahu) drill across spojení tabulek faktů přes tabulky dimenzí ( na stejné úrovni granularity) Operace různě kombinovány v jedné i ve více dimenzích ovlivňují podobu datového skladu
Dolování dat (Data Mining) Dolování dat je proces výběru, prohledávání a modelování ve velkých objemech dat sloužící k odhalení dříve neznámých vztahů mezi daty za účelem získání obchodní výhody Cíl: obchodní výhoda řešení konkrétního problému nalezení cesty k zlepšení procesu předem definován, na jeho základě připravena data; není jednorázová analýza příprava podnikových procesů - aby umožnily využívání analýz (kontinuálně) a podporovaly zpětné vazby od uživatelů. Zpětné vazby ovlivňují proces sběru dat i definice nových cílů.
Cíle v procesu získávání znalostí verifikace - ověření hypotézy explorace - hledání nových znalostí predikce... prediktivní modely deskripce... deskriptivní modely cíle - pomocí modelů (odkrývání vzorů) prediktivní model předpovídá hodnoty určených atributů na základě známých hodnot jiných atributů. deskriptivní model popisuje vzory v existujících datech, jimi může ovlivňovat rozhodování. Hlavní rozdíl : v prediktivních modelech se provádí predikce explicitně pomocí deskriptivních modelů lze určit predikci implicitně
Budování datového skladu Multidimenzionální modelování Přístupy k budování - Kimball x Inmon (BUS architektura)
(Multi)dimenzionální modelování
Dimenzionální modelování speciální technika určená pro logický návrh DW tak, aby vedl k výsledku - multidimenzionálnímu schématu
Základní představa
Dimenzionální modelování Požadavky uživatelů Proces návrhu 4 kroky: výběr procesu/ů stanovení granularity (úroveň detailu) výběr dimenzí určení faktů Zdroje dat
fakty aditivní fakty fakty, které mohou být sumarizovány přes všechny dimenze semiaditivní fakty fakty, které nejsou aditivní alespoň k jedné dimenzi neaditivní fakty nejsou aditivní k žádné dimenzi neaditivní jsou ty fakty, k jejichž výpočtu je třeba podílu ( při roll up nelze sumarizovat; rozdíl suma podílu x podíl sum) třeba uložit čitatele a jmenovatele zvlášť neaditivní je i jednotková cena, denní stav účtu... tedy fakty, které vyjadřují statickou úroveň
Dimenze čas výskyt téměř vždy v DW, DM, lépe explicitně den, den v týdnu, měsíci, týden, q, rok (prodejní sezóna, konec týdne,..) (lze více hierarchií - kalendářní a fiskální vyjádření) někdy pro analýzu i část dne - pak je lépe přidat dimenzi čas
Dimenze a změny změny hodnot atributů dimenzí mohou probíhat rychle i pomalu, odlišení: pomalu se měnící dimenze (většina) rychle se měnící dimenze pro každý atribut třeba stanovit strategii pro vyjádření změn třeba již při i analýze zjistit od managementu jaké změny hodnot atributů jsou možné jaký výstup ( informace) budou s ohledem na tyto změny požadovat
Budování DW centralizovaný datový sklad - Bill Inmon data warehouse jako množina datových trhů - Ralph Kimball
Centralizovaný datový sklad - Bill Inmon Podnikový data warehouse obsahuje detailní, atomicky integrovaná historická data
Sjednocené data marty - Ralph Kimball Data warehouse není nic víc než sjednocení všech konzistentních data martů
Integrace integrování jednotlivých dimenzionálních modelů do jednoho DW dovolí kombinovat fakty z odlišných procesů nejen drill down, drill up ale i drill across Pozn.: drill across - řešení dotazů přes vnější spojení společných tabulek dimenzí
Bus architektura pro DW sběrnicová architektura je nezávislá na technologii a databázové platformě umožňuje použít přírůstkový přístup k stavbě DW různé týmy, asynchronnířešení
DW bus architektura definování standardního rozhraní pro DW a jeho respektování umožňuje postupné zapojení a využívání jednotlivých DM jako celku stanovení rámce návrh standardizovaných dimenzí návrh faktů přizpůsobené dimenze, přizpůsobené fakty (conformed) standardizované dimenze a fakty zajišťují jednotnou interpretaci v organizaci umožňuje efektivní komunikaci uvnitř týmů a mezi týmy vytváření DM přísné dodržení architektury
Stanovení matice Z dimenzí a procesů se stanoví sběrnicová matice řádky značí jednotlivé datová tržiště sloupce jednotlivé dimenze každý řádek dává přehled o dimenzích použitých pro DM
Obecné dimenze Business procesy Obchodní prodeje X X X X Obchodní zásoby X X X Obchodní dodávky X X X Skladové zásoby X X X X Skladové dodávky X X X X Objednávky X X X X X D atu m P rod ukt P rod ejna R eklam a S klad D odavatel D opravce
dimenze jsou buď identické nebo striktně matematické podmnožiny z nejvyšší granularity detailní dimenze mají shodný dimenzionální klíč shodná jména a definice atributů stejné domény (shodnost datového obsahu znamená stejnou interpretaci a prezentaci)
Problémy DW podcenění zdrojů pro vkládání dat podhodnoceníčasu na vkládání skryté problémy zdrojů chybovost, nepřesnost (změna zdrojů během let) požadovaná data nejsou podchycena modifikovat OLTP či tvorba nového růst požadavků koncových uživatelů díky učení se vzniká potřeba změn: jemnější granularita, lepší prostředky; růst požadavků na pracovníky IT vlastnictví dat drahá udržování dlouhá doba trvání projektu složitost integrace důležitá dokumentace OLTP procesů, ale i BI (OLAP, ETL,DW)
Problémy DW podcenění kapacity pro vkládání dat (loading) podhodnocení času požadovaného pro extrakci, čištění a vkládání dat do DW ( předpokladá se až 80% času na celý vývoj) dobré nástroje mohou urychlit