Metadata MI-DSP 2013/14 RNDr. Ondřej Zýka, ondrej.zyka@profinit.eu
Co to jsou metadata
Chybějící metadata
Doplněná metadata
Co o metadatech říkají autority Řízení metadata je nepochybně nejdůležitější z dvanácti schopností, které musí mít BI aplikace
Metadata o Metadata jsou data popisující data. Mohou být reprezentovány jednoduchým popisem, ale také složitou strukturou. o Metadata jsou strukturované informace, které nám umožňují najít informace o datech, spravovat je, kontrolovat je a porozumět jim. o Příklady Informace o datových entitách v databázi Informace o jednotlivých záznamech Dokumenty autor, abstrakt, obsah, klíčová slova, dostupnost, platnost, Fotografie místo pořízení, velikost, formát uložení, Informace o datových fragmentech Tagy v XML
Business metadata o Jednotný slovník organizace o Komunikace Mezi odděleními Mezi Byznysem a IT Řešení výjimek o Požadavky Schvalovací proces Diskuse Více druhů slovníků
Technická metadata o Popisy datových modelů Logická úroveň jednotný model organizace Fyzická úroveň modely jednotlivých databází o Popisy reportů Jaká data se používají SQL dotazy Kdo a kdy je používá Popis na byznys úrovni o Popisy transformací Zdroje a cíle Transformační pravidla
Zdroje technických metadat o Modelovací nástroje Logické modely Fyzické modely Mapování a transformace o Databáze Fyzické modely Skripty s transformacemi o ETL nástroje Transformace o Reportingové nástroje Zdroje dat Univerzum Transformace a výpočty
Sběr a údržba Metadat FAKT: Cíl: Údržba je náročná Sběr a integrace metadat provádět maximálně automaticky o U ruční údržby podpora workflow o Používat nástroje, které nabízejí Dostatečnou svobodu Dostatečnou funkcionalitu Dostatečnou uživatelskou přítulnost
Integrace metadat FAKT: V podniku jsou pouze jedna metadata. Cíl: Provázat metadata od definice na business úrovni až k technickým detailům, od zdrojů dat k reportům. o Často existují lokální ostrůvky kompetence Lokální slovníky Lokální popisy vazeb, struktur, závislostí Často špatně technologicky podporováno Integrace na základě emailů, excelů a množství jednání
Prezentace metadat FAKT: Matadata musí být maximálně veřejná Cíl: Všichni uživatelé musí mít jednoduchý přístup k metadatům. o Rychlá integrace nových pracovníků. o Dokumentační řízení Automatické generování seznamu použitých termínů a zkratek. Speciální pluginy do wordu, excelu. Rozšíření webových prohlížečů.
Analýza metadat FAKT: Cíl: Každá nepřesnost výrazně snižuje kvalitu dopadových analýz. Dopadová analýza jako na obrázku:
Metadata - analýza o Historie Kdo a kdy naposledy upravil proceduru procedure_name tak, že nepoužívá tabulku table_name? o Data Lineage Upstream Které aplikace používají centrálních číselník měn? Downstream Která všechna data se podílejí na ohodnocení spolehlivosti dodavatele? o Inpact analysis Které všechny tabulky a aplikace se budou muset upravit, když přejdeme z kódování ISO88592 na kódování UTF8? Pokud místo Y/N začneme používat A/N, co všechno musíme zkontrolovat?
Metadata - analýza o Lineage analýza o Katalóg Where used analýza
Cíle správy metadata? 1. Jak je pojem definován? 2. Odkud se vzala data? Controllers Auditors 3. Jak jsou data aktuální? Managers? 1. Co vše musím upravit při změně zdrojového systému? Analysts Developers Architects 2. Které všechny reporty musím opravit, když změním definici sloupce? 3. Co se stane, když havaruje toto ETL?
Řízení metadat Byznys slovník Datové modely Procesní modely Organizační struktura SAP Oracle Databáze Teradata Definice Aplikace Cognos SaS Busines Objects Oracle BI Reporting Transfor mace ETL Skripty SOA File transfer
Nástroje o Byznys slovník Semanta Collibra Informatica Metadata Manager o Informatica Metadata Manager o Oracle Metadata Directory o IBM InfoSphere Metadata Workbench o Adaptive Metadata Manager o InfoLibrarian o Meta Integration o ASG Rochade o SP PowerDesigner
Co si zapamatovat o Co to jsou metadata o Co to jsou byznys metadata o Jak se liší byznys metadata od technických metadat o Co jsou zdroje technických metadat o Co to jsou operační metadata o Které čtyři činnosti jsou nutné pro správu metadat o Jaké typy analýz metadat se používají
www.profinit.eu Diskuse