Sofistikované metody řízení kvality dat v podnikové praxi

Transkript

1 Bankovní institut vysoká škola Praha Katedra matematiky, statistiky a informačních technologií Sofistikované metody řízení kvality dat v podnikové praxi Diplomová práce Autor: Vedoucí práce: Bc. Petr Šmejkal Informační technologie a management doc. Ing. Bohumil Miniberger, CSc. Praha Leden, 2012

2 Čestné prohlášení Prohlašuji, že jsem diplomovou práci zpracoval samostatně a v seznamu uvedl veškerou použitou literaturu. Svým podpisem stvrzuji, že odevzdaná elektronická podoba práce je identická s její tištěnou verzí, a jsem seznámen se skutečností, že se práce bude archivovat v knihovně BIVŠ a dále bude zpřístupněna třetím osobám prostřednictvím interní databáze elektronických vysokoškolských prací. V Praze 28. června 2012 Petr Šmejkal

3 Poděkování Děkuji panu doc. Ing. Bohumilu Minibergerovi, CSc., vedoucímu mé diplomové práce, za cenné rady, odborné informace a věcné připomínky. Dále také děkuji svým současným i bývalým nadřízeným za to, že mi umožnili získat jedinečné zkušenosti a dovolili mi podělit se o ně v této práci. A v neposlední řadě děkuji své manželce Pavle za podporu při studiu.

4 Anotace Diplomová práce začíná vysvětlením významu základních pojmů (data, informace a kvalita). Pokračuje seznámením s principy a metodikami pro řízení informační kvality po procesní a teoretické stránce (TIQM, Kaizen, CoQ, Demingovy body). Práce dále analyzuje prostředky řízení a praktické přístupy k informační kvalitě v podnikových informačních systémech. Analýza je doplněna o vlastní postřehy a řadu příkladů, obrázků a ukázek zdrojových kódů z reálných projektů. Téma je rozděleno podle specifik primárních systémů, datových migrací a sekundárních systémů. Přístupy k datové kvalitě jsou kategorizovány jako proaktivní, restriktivní, reaktivní, represivní a destruktivní. Práce je zakončena zhodnocením rozhodnutí a postupů týkajících se datové kvality uplatněných na pěti reálných projektech. Data, Informace, Kvalita, Kontrola, Řízení, Informační systém. The thesis starts with explanation of basic concepts (data, information, quality) and continues with introduction to theoretical, process-oriented methods and principles of information quality management (TIQM, Kaizen, CoQ, Deming s points). Further, there is an analysis of means of data quality management and practical approaches to quality in information systems. The analysis is supplemented with own observations, illustrations and source code examples. The topic is split in chapters by specifics related to primary systems, data migrations and secondary systems. Approaches to data quality are categorized as proactive, restrictive, reactive, repressive and destructive. The closing part of the thesis contains evaluation of decisions and actions taken towards data quality during five real projects. Data, Information, Quality, Control, Management, Information system.

5 Obsah Úvod Kvalita dat Data, informace a znalosti Informační a datová kvalita Významy kvality dat Řízení kvality dat a informací Metodiky a principy Total Information Quality Management Kaizen Cost of Quality Analýza kvality dat Demingovy body kvality CobiT Zkoumané projekty Tesco Stores ČR a.s Competitive Pricing Trading & Technical Law Pack Data Entry Team Petrom S.A Master Data Store Asekol s.r.o AsIS Kontrola a řízení kvality dat v primárních systémech Úvod do problematiky Informační systém Evidenčně orientovaný IS Procesně orientovaný IS Časté typy chyb v informačních systémech Kategorizace přístupů Proaktivní přístupy Návrh datového modelu Master Data Management Change Request Management User Experience Restriktivní přístupy Úroveň vyhodnocování Technické prostředky Reaktivní přístupy Represivní přístupy Zajištění aktuálnosti a správnosti informací Ochrana osobních údajů

6 4.5.3 Hospodářské trestné činy a podvody Destruktivní přístupy Sběratelský přístup Zpravodajský přístup Systém zápisníčku Systém tužky a gumy Hodnocení kvantity nad kvalitou Eroze cílů Kontrola a řízení kvality dat při migracích Úvod do problematiky Fáze a procesy datové migrace Analýza a mapování Nástroje a příprava Provedení a testování Data profiling Kontrolní reporty Čištění a obohacování dat Automatické opravy Rozpoznávání informací v nestrukturovaných datech Obohacování dat z externích zdrojů Fuzzy matching Kontrola a řízení kvality dat v sekundárních systémech Úvod do problematiky Nové výzvy pro datovou kvalitu Metadata ETL: Extract, Transform, Load Vyhodnocení projektů Competitive Pricing Trading & Technical Law Pack Data Entry Team Master Data Store AsIS Závěr Seznam použité literatury

7 Úvod Cílem diplomové práce je seznámení s principy a metodikami pro řízení informační kvality. Dále pak analýza prostředků řízení a přístupů k informační kvalitě v podnikových systémech, která je doplněná o vlastní postřehy a příklady. A v neposlední řadě zhodnocení rozhodnutí a postupů uplatněných na projektech, kterých jsem se účastnil. Během své profesní kariéry jsem se podílel na mnoha projektech, které se nějakým způsobem dotýkaly kvality informací. Úspěch některých projektů na kvalitě zpracovávaných informací přímo závisel, jiné projekty se cíleně snažily o zlepšení informační kvality v podniku a další, zejména migrační nebo integrační projekty, byly příležitostí pro zkoumání kvality dat a hledání způsobů nápravy nedostatků. Bez formálního vzdělání zaměřeného na řízení kvality jsem byl odkázán pouze na znalost základních principů informačních technologií, zdravý rozum a poučení od kolegů. Důležitost a význam kvality informací jsem samozřejmě vnímal, ale řešení a řízení kvality jsem prováděl spíše intuitivně než metodicky. V posledních letech jsem se zaměřil na projekty datových migrací a návrhu nebo správy datového modelu operativních informačních systémů. Téma diplomové práce Sofistikované metody řízení kvality dat v podnikové praxi je mi tedy velmi blízké a byla to jasná volba hned z několika důvodů. Mám zkušenosti, které bych mohl při psaní této práce zúročit. Je to příležitost získat nové znalosti v oboru, kterým se zabývám. Chtěl bych nově nabyté vědomosti využít pro vyhodnocení své dosavadní práce a odhalit chyby, kterých jsem se mohl dopustit, nebo naopak potvrdit si svá správná rozhodnutí. A v neposlední řadě je pro mne téma datové kvality natolik zajímavé, že bych v této oblasti chtěl dále rozvíjet svou pracovní kariéru. Paleta typů informačních systémů v podniku je velice široká a popsat všechny aspekty informační kvality z pohledu každého druhu podnikového systému by překročilo stanovený rozsah diplomové práce. Rád bych se tedy zaměřil na řízení kvality při vzniku a pořizování dat a související kontrolu kvality při datových migracích. Řízení kvality v datových skladech a aspekty kvality informací z pohledu business intelligence uvedu pouze okrajově, protože v podchycení kvality informací v primárních systémech vidím největší přínos a také na témata spojená se sekundárními systémy byly v minulých letech vypsány jiné diplomové práce jako např. Kvalita dat v datovém skladu nezbytný předpoklad reportingu. Při vypracovávání diplomové práce jsem nejprve provedl rešerši dostupných zdrojů informací a literatury. V rejstříku Národní technické knihovny jsem našel odkaz - 7 -

8 na seriál o datové kvalitě od Milana Kučery v časopise Computerworld. Tyto články mě nasměrovaly na další související témata a především na práci Larryho Englishe. Shrnutí nalezených poznatků, principů a metodik je obsahem kapitoly 2. Na základě získaných teoretických poznatků jsem v dalších kapitolách kategorizoval a popsal přístupy k řízení kvality dat. Dílem jsem vycházel z vlastních zkušeností a vlastního pozorování, dílem jsem rozpracoval přístupy zmíněné v použité literatuře, zejména knihách Davida Loshina, a některé jsem doplnil o vlastní příklady z praxe. V závěrečné kapitole jsem popsal a vyhodnotil vybrané projekty, kterých jsem se v různých rolích účastnil. Hodnocení projektů jsem provedl jako porovnání skutečných rozhodnutí a skutečně provedených činností s doporučeními, která vyplývají z metodik a principů řízení kvality informací

9 1 Kvalita dat Na začátku každého projektu bývá poměrně užitečné vymezit si základní pojmy a vytvořit tak společný výkladový slovník, aby nedocházelo mezi účastníky projektu k nedorozuměním plynoucím z jejich odlišného pohledu na věc nebo z jejich odlišného profesního původu. Protože tuto diplomovou práci lze také považovat za určitý druh projektu, pokládám za vhodné začít podobným způsobem s vymezením základních pojmů. 1.1 Data, informace a znalosti Slova data a informace bývají často považována za synonyma a stejně tak často se prolíná význam slov informace a znalosti. Podíváme-li se do známých anglických výkladových slovníků, zjistíme, že pro výklad jednoho slova je užito druhé. Cambridge Dictionary's definition of data 1 information, especially facts or numbers, collected to be examined and considered and used to help decision-making, or information in an electronic form that can be stored and processed by a computer Merriam-Webster's definition of information 2 - the communication or reception of knowledge or intelligence - knowledge obtained from investigation, study, or instruction; intelligence, news; facts, data - a signal or character (as in a communication system or computer) representing data; something (as a message, experimental data, or a picture) which justifies change in a construct (as a plan or theory) that represents physical or mental experience or another construct - a quantitative measure of the content of information, specifically: a numerical quantity that measures the uncertainty in the outcome of an experiment to be performed Odlišnost mezi daty, znalostmi a informacemi se projeví, začneme-li uvažovat nad jejich účelem a vzájemnými souvislostmi. Data Pro účely této diplomové práce budeme data chápat jako údaje, které vyjadřují skutečnosti z reálného světa, ve strukturované formě schopné uchování, přenosu, interpretace a zpracování. Budeme o nich uvažovat především na technologické úrovni a 1 Cambridge University Press. Data. British English Dictionary & Thesaurus. [online] 2 Merriam-Webster. Information. Dictionary and Thesaurus. [online] - 9 -

10 zajímavá pro nás bude jejich syntaktická stránka. V rámci této diplomové práce nás budou zajímat data uložená v databázi, zpracovatelná výpočetní technikou. Data jsou surovinou, z níž lze vytvořit nebo získat informace. Hodnotu dat lze stanovit právě na základě hodnoty informace. Informace Informaci budeme chápat jako význam nebo obsah dat, sdělitelný poznatek, který má pro příjemce určitý smysl, snižuje nejistotu a umožňuje rozhodování. Zajímá nás tedy sémantická stránka. Schopnost získat správné a užitečné informace je v dnešní době naprosto klíčová jak pro jednotlivce, tak pro firmy. Znalosti Znalosti můžeme chápat jako zkušenostmi a vzděláním podpořený výsledek pochopení dat a informací, jejich umístění do souvislostí vytvořením abstraktního a generalizovaného modelu. Je zřejmé, že kvalitní data a informace jsou základem pro vznik dobrých a správných znalostí, nicméně proces vytváření znalostí, znalostní management a znalostní systémy jsou nad rámec této diplomové práce. 1.2 Informační a datová kvalita Vzhledem k výše stanovenému vymezení pojmů bychom mohli dovodit rozdíl mezi informační a datovou kvalitou i přesto, že vymezení samotného pojmu kvalita si necháme do další kapitoly. Řízení datové kvality by striktně vzato mohlo být chápáno pouze jako vyhodnocování a ovlivňování způsobu uložení a zpracovatelnosti samotných údajů, hodnocení a řešení problémů např. přesnosti, úplnosti a konzistence dat v databázi. Při projektu zavádění řízení datové kvality se typicky jedná o technologické řešení buď v rámci užívaného informačního systému, nebo integraci s novým specializovaným nástrojem. Řízení informační kvality by potom navíc k řízení datové kvality mohlo přidat řízení firemních procesů pořizování a využívání dat a zahrnovalo by i uživatele a metodiku práce. Typický projekt zavádění řízení informační kvality by pak zahrnoval i reengineering podnikových procesů a návrhy na změny ve způsobu užívání informačního systému. V praxi se však pojem informační kvalita příliš nerozšířil a hovoříme tak pouze o datové kvalitě, i když máme zájem o kvalitu informační. Je zřejmé, že dlouhodobě

11 kvalitních podkladů pro fungování a rozhodování firmy lze dosáhnout jedině přes efektivní firemní procesy a proto i v této diplomové práci pod pojem kvalita dat zahrnu i kvalitu informací. 1.3 Významy kvality dat Kvalita je podle normy ISO definována jako stupeň splnění požadavků souborem inherentních charakteristik. Jaké požadavky je třeba klást v případě, že mluvíme o kvalitě dat nebo informací nám nejlépe řeknou osvědčené metodiky. David Loshin uvádí 4 čtyři dimenze kvality dat: Accuracy Přesnost míra do jaké data souhlasí s reálným zdrojem správné a původní informace. Completeness Úplnost předpoklad, že údaj, záznam nebo datový zdroj obsahují všechny očekávané informace. Consistency Konzistentnost předpoklad, že vztažené údaje nejsou vzájemně v rozporu z hlediska hodnot, času nebo pravidel. Currency/Timeliness Včasnost znamená aktuálnost údajů i jejich dostupnost v okamžik, kdy jsou potřeba. Mluvíme-li o informacích a ne jen o datech, je důležitým kritériem užitečnost informace, která zahrnuje relevantnost (významnost informace pro daný účel), podrobnost (přiměřený detail) a srozumitelnost (vhodnost formy pro daný účel). Pro řízení kvality informací je nutné vnímat rozdíl mezi slovy přesnost a správnost informace 5. Údaj považujeme za správný (též užíváme slovo validní) pokud vyhovuje stanoveným pravidlům vyhodnocujeme jeho formát či obsah a můžeme toto vyhodnocení automatizovat. Validní údaj však ještě nemusí být přesný. Číslo FD může vyhovovat nastaveným pravidlům pro číslování faktur došlých, ale neznamená to, že taková faktura musí existovat. Obdobně adresa Petr Šmejkal, Horní 99, Dolní Lhota vypadá správně, ale neznamená to, že mě na této adrese zastihnete. Přesnost je možné ověřit pouze fyzickým zjišťováním proti původnímu zdroji informace, proti realitě. 3 ČSN EN ISO 9000:2006 Systémy managementu kvality Základní principy a slovník 4 LOSHIN David. Business Intelligence. Morgan Kaufmann, KUČERA Milan. Kvalita informací (3): Přesnost vs. správnost. Computerworld. 2008, č. 13, s

12 1.4 Řízení kvality dat a informací Řízení obecně je popisováno jako proces ovlivňování chování soustavy za určitým cílem. Naším cílem bude zvýšení a udržení kvality informací s přiměřenými náklady. Nejprve bude nutné najít vhodné metriky popisující stav soustavy a prvky, na které budeme působit. Na co se zaměřit nám ukáží osvědčené metodiky pro celkové řízení kvality obecně a kvality informací specificky

13 2 Metodiky a principy Řízení kvality dat se v mnohých případech omezí na jednorázovou analýzu a vyčištění dat nebo na trvalé nasazování opravných mechanizmů, protože se takové řešení zdá býti relativně jednoduché, rychlé a levné, avšak neúčinné. Problémy nelze trvale odstranit bez zavedení a dodržování principů řízení kvality a nastavení odpovědnosti každého zaměstnance. Postupnými krůčky lze dosáhnout částečného zlepšení, ale pouze komplexní a holistický přístup, s pomocí osvědčených metodik, poskytne firmě tolik potřebnou úsporu a konkurenční výhodu. 2.1 Total Information Quality Management Metodiku TIQM vytvořil Larry English aplikací v průmyslové výrobě dlouhou dobu úspěšně užívaných principů řízení kvality na produkt informace. Jedná se především o principy E. W. Deminga, které jsou shrnuty do tzv. 14 bodů kvality a které blíže rozebereme v následující kapitole. Dalším zdrojem inspirace pro TIQM je přístup Kaizen, kterému se také ještě budeme věnovat později. Hlavním odlišujícím faktorem 6 metodiky TIQM je, že je vystavěna kolem základních principů řízení kvality dat a jejich aplikaci na informaci a ne nad nějakou konkrétní technologií nebo kolem metod používaných pro zajištění kvality dat. TIQM se zaměřuje na ekonomickou stránku dopadů nekvalitních informací a umožňuje vytvořit business case zdůvodňující potřebu řešení problémů s nekvalitou dat a informací. Vyčíslení ztráty v prodejích nebo ve zbytečných nákladech je mnohem větší motivací než pouhé zjištění, že v databázi je nějaké procento chybných záznamů. Metodika je tvořena pěti základními procesy zaměřenými na analýzu a ohodnocení, opravu a zlepšování a dále zastřešujícím procesem. Schéma procesů a jejich popisy jsou převzaty z anglického článku 7. 6 KUČERA Milan. Kvalita informací (2): Metodika TIQM. Computerworld. 2008, č. 12, s ENGLISH Larry. Total Information Quality Management A Complete Methodology for IQ Management. Information Management. [online]

14 P6 Vybudování prostředí pro kvalitní informace P4 Oprava a restrukturalizace dat P1 P2 P3 Posouzení kvality definic dat a informační architektury Analýza kvality informací Vyčíslení rizik a nákladů z nekvalitních informací P5 Zlepšování kvality informačních procesů P1 Analýza kvality definic a informační architektury Proces popisuje způsob měření kvality definice dat, zda odpovídá potřebám odborných pracovníků 9, zda vědí, co potřebují vědět a zda rozumějí významu informací, které potřebují pro svou práci. Dále proces popisuje jak vyhodnotit stálost, pružnost a znovu použitelnost návrhu datového modelu databáze nebo datového skladu. P2 Analýza kvality informací Proces popisuje způsob měření kvality informací, zda odpovídá požadovaným charakteristikám jako přesnost, úplnost, validita, nezdvojenost a konzistentnost. Měří se buď stav informační kvality v databázi nebo v souboru dat, nebo informační kvalita výstupu procesu. Obrázek 1: Schéma procesů metodiky TIQM 8 P3 Vyčíslení rizik a nákladů z nekvalitních informací Tento proces popisuje jak sestavit business case pro řízení informační kvality. Změřením nákladů ze selhání procesu, mylných informací, nutnosti předělávat práci, znepřátelení zákazníků, ztrátu obchodu a příležitostí dostaneme hodnoty, které můžeme srozumitelně prezentovat vedení společnosti. P4 Oprava a restrukturalizace dat Proces popisuje jak provádět korekce dat, transformace informací nebo jak řídit procesy konverze či přesunu dat do datových skladů. Proces opravy dat není prováděn 8 Vlastní úprava obrázku z ENGLISH Larry. Total Information Quality Management A Complete Methodology for IQ Management. Information Management. [online] 9 V originále knowledge workers také překládáno jako znalostní pracovníci

15 samostatně, ale zároveň s procesem P5, aby bylo zamezeno znovu vytváření nekvalitních dat. Korekce dat z pohledu řízení kvality informací by měla být pouze jednorázová. P5 Zlepšování kvality informačních procesů Tento proces je zcela zásadním procesem, abychom mohli metodologii nazývat metodologií pro řízení kvality. Proces je založen na PDCA 10 cyklu a popisuje osvědčenou a prověřenou techniku zlepšování popsanou Walterem Shewhartem, kterou ve svých pracích užívá W. Edwards Deming, Joseph Juran, Masaaki Imai (v systému kvality Kaizen) i jiné systémy pro řízení kvality dat. Trvalé opravení vadných obchodních 11 a rozhodovacích procesů, které jsou příčinou nekvalitních dat, nutnosti předělávek a dalších ztrát, má pro společnost největší přínos. P6 Vybudování prostředí pro kvalitní informace Zastřešující proces P6 je zaměřen na provádění konkrétních a mnohdy i dost zásadních změn v celé organizaci s cílem postupně implementovat a udržet všech čtrnáct bodů informační kvality (viz kapitola Demingovy body kvality). Změna firemní kultury a způsobu smýšlení zaměstnanců a jejich vztahu ke kvalitě informací je úkol náročný a dlouhodobý. 2.2 Kaizen V Japonštině slovo kaizen ( 改 善 ) znamená zlepšení nebo změna k lepšímu a do souvislosti s řízením kvality jej roku 1986 uvedl Masaaki Imai ve své knize Kaizen: The Key to Japan s Competitive Success. Kaizen je chápán 12 jako proces trvalého pozvolného zlepšování postupné a soustavné zavádění malých změn vedoucích ke zlepšení, na kterém se podílejí všichni zaměstnanci. Naproti tomu stojí inovace jako náhlá, jednorázová a výrazná změna v organizaci provedená úzkou skupinou lidí. 10 PDCA Plan, Do, Check, Act plánuj, udělej, zkontroluj, jednej 11 Anglické termíny business rule a business process jsem se rozhodl překládat jako obchodní pravidla a obchodní procesy i přes nedokonalost překladu, který plně nevystihuje širší význam slova business zahrnující nejen vlastní činnosti vedoucí ke směně zboží a služeb, ale i všechny ostatní činnosti naplňující účel existence ekonomického subjektu. 12 KUČERA Milan. Kvalita informací (5): Kaizen - proces trvalého zlepšování. Computerworld. 2008, č. 15, s

16 Kaizen Inovace Inovace degradace Kaizen Inovace Inovace degradace čas čas Obrázek 2: Porovnání vlivu degradace a Kaizen na přínos inovací 13 Při dlouhodobějším pozorování přínosu inovací zjistíme, že jejich efekt se v čase snižuje. Samotná inovace tedy neznamená trvalé zlepšení, ale vlivem zastarávání, zapomínání a šíření chyb dochází k postupnému snižování nastaveného standardu. Kaizen mění vnímání pracovní náplně zaměstnanců, protože místo pouhého dodržování postupů je každý zaměstnanec motivován aktivně se podílet na zlepšování kvality. Takový přístup vyžaduje zcela minimální investice do technologií, ale jeho přínos se bude projevovat postupně. Pro zajištění optimálního efektu je tedy vhodné kombinovat inovace a Kaizen. Japonské slovo gemba ( 現 場 ) značí reálné místo, ve kterém dochází k určité aktivitě. V našem kontextu to je místo vytváření nebo produkce dat, místo, kde např. zaměstnanci primárně sbírají, vytvářejí a aktualizují informace o zákaznících 14. Takovéto místo by mělo být ve středu zájmu jak zaměstnanců, tak managementu. Princip Gemba Kaizen říká, že při zjištění problému s kvalitou je nutné jít na místo vzniku informace nebo ke zdroji produktu. Vyhodnocování nebo řešení kvality informací až např. v datovém skladu nevyřeší původní příčinu vzniku nekvalitních dat. Sledování a analýzou aktivit v Gemba je možné získat potřebné podklady k tomu, abychom byli schopni provést odpovídající opatření zamezující vzniku defektů. Podle principu Gemba Kaizen se tedy zaměřujeme na procesní manuály, formuláře, obrazovky počítačů a další prostředky, které se používají k získávání informací. Také je nutné ověřit a zajistit, že jednotlivé části informací jsou obsluze zřejmé, že jsou nastavena jasná pravidla užití a povolené hodnoty, že existují procedury pro zamezení vzniku chyby. 13 Vlastní úprava obrázku z KUČERA Milan. Kvalita informací (5): Kaizen - proces trvalého zlepšování. Computerworld. 2008, č. 15, s KUČERA Milan. Kvalita informací (6): Gemba Kaizen. Computerworld. 2008, č. 16, s

17 Analýza příčin je jedním z důležitých nástrojů v oblasti řízení kvality a právě odstranění příčin a ne jen následků, je cestou k úspěchu. Japonské slovo muda ( 無 駄 ) znamená plýtvání. V rámci různých metodologií řízení 15 se rozlišují aktivity na ty, které přinášejí hodnotu a na ostatní, které představují některou z následujících sedmi základních a dalších rozšiřujících kategorií Muda: 16 Defects Vady a chyby chyby při zadávání dat, chyby při zpracování dat, vadné návrhy systémů. Overproduction Nadvýroba vytváření něčeho, co vlastně ani není požadováno nebo se ještě bude měnit, výroba jen podle rozvrhu a ne aktuální poptávky. Inventories Zásoby nákup nebo výroba věcí předtím, než jsou potřeba, věci čekající ve frontě nebo přihrádce, nepřečtená pošta, dávkové zpracování. Over-processing Vícepráce spoléhání na kontrolu místo eliminace příčiny chyb, zadávání dat do několika systémů, vytváření zbytečných výkazů, těžkopádné firemní procesy, popohánění procesů. Human motion Pohyb procházky k tiskárnám, kopírkám, mezi kancelářemi, na cigaretku, hledání chybějících informací, nutnost přepínat mezi mnoha obrazovkami. Transportation and handling Doprava a manipulace přesuny papírových nebo elektronických dokumentů, schvalovací kolečka, nadměrné využívání příloh ů nebo adresátů v kopii. Waiting Čekání pomalé počítače nebo aplikace, prostoje a odstávky, čekání na vysvětlení, informace, schválení nebo opravu. Confusion Zmatení nejistota, nepřehlednost, chybějící nebo mylné informace, nejasnost nebo nejednoznačnost procesů nebo definic. Unsafe or unergonomic Nebezpečí nebo nepohodlí pracovní podmínky v kanceláři vedoucí k bolestem očí, zad nebo jinak vedoucí ke snížení produktivity. Underutilized human potential omezování vlastní zodpovědnosti zaměstnanců, rutinní práce odborných pracovníků, neposkytování vhodných nástrojů, nedůvěra k podřízeným. 15 Toyota Production System, Lean, Six Sigma 16 Systems2win. Muda - The 7 Types of Waste. [online]

18 Minimum Kategorie Muda jsou vhodným začátkem pro hledání příčin problémů s kvalitou informací a zároveň navádějí k řešení. 2.3 Cost of Quality Analýza nákladů na nekvalitní informace 17 neznamená pouhou inspekci validity dat např. že 20% adres vykazuje určité defekty ale poskytne pro management mnohem zajímavější údaje např. že z důvodu nepřesnosti 20% adres má firma nadbytečné náklady ve výši půl milionu Kč. Systém ekonomického hodnocení kvality informací navíc dokáže i objektivně vyhodnotit dopady provedených nápravných a preventivních opatření. Systém CoQ je tvořen třemi kategoriemi nákladů: P Prevention náklady související s prevencí nekvality informací. A Appraial inspekční náklady na zjištění souladu informací. F Failure náklady na selhání z nekvalitních informací, dále se dělí na interní (výrobní, před dodáním zákazníkovi) a externí (servisní, po dodání zákazníkovi). Zjištění nám pomohou vytvořit model optimálních nákladů na kvalitu. Podle tradičního modelu 18 jsou náklady na selhání inverzní k nákladům na prevenci. Optimální náklady jsou na takové úrovni kvality, kde celkové náklady jsou minimální. Situaci zjednodušeně ilustruje Obrázek 3. Náklady Celkové náklady na kvalitu Náklady selhání Preventivní náklady 100% Úroveň kvality 0% Defektů Defektů Obrázek 3: Optimální náklady na kvalitu (vlastní úprava) 17 KUČERA Milan. Kvalita informací (8): Analýza nákladů na nekvalitní informace. Computerworld. 2008, č. 18, s Brown a Kane,

19 2.4 Analýza kvality dat Abychom mohli zahájit aktivity vedoucí k eliminaci nekvalitních informací, musíme nejprve zjistit jejich stav. Zjišťování stavu je však nutné založit na celkové analýze prostředí s cílem určení způsobu řízení kvality informací ve společnosti a následné identifikaci dopadů nekvalit na efektivnost firemních procesů 19. Zredukování analýzy kvality dat na profiling a nápravných opatření na automatické opravy je v rozporu s Demingovým bodem číslo 3, přináší další náklady a v konečném důsledku nic neřeší. Podle metodiky TIQM je potřeba identifikovat kritické informace a jejich provázanost s procesy, vyhodnotit správnost i přesnost informací, identifikovat dopady nekvalitních informací na procesy, sestavit CoQ systém, provést odhad návratnosti investice do zlepšování kvality informací a zahájit zlepšování kvality informací úpravou firemních procesů a školením. Datový profiling je vhodným nástrojem pro vyhodnocení správnosti dat. Je možné využít některý z dostupných programů nebo jen provést vlastní zjišťování např. několika SQL dotazy do databáze. Surové výsledky je vhodné upravit do formy, kterou je možné prezentovat managementu, nebo do formy vhodné pro uživatele, aby mohli zahájit opravu údajů. Přesnost dat není možné ověřit automaticky, protože ta musí být prováděna fyzickou kontrolou a porovnáním se skutečností. Mezi aktivity patřící k analýze kvality informací se řadí i kontrola kvality referenčních tabulek a číselníků, kontrola definic jednotlivých informací a kontrola popisu obchodních pravidel. Vše s ohledem na překrývání, redundanci, srozumitelnost, jednoznačnost a konzistenci napříč organizací. Analýza kvality informací by měla odpovědět na otázky: 20 Jakými chybami jsou dotčeny nefungující procesy? Jaké jsou náklady způsobené nekvalitními informacemi? Jsou rozhraní mezi systémy navrženy a implementovány korektně? Nedochází v některých systémech k nežádoucí erozi dat? 19 KUČERA Milan. Informační kvalita v praxi (4): Analýza kvality dat a čištění dat. Computerworld. 2009, č. 7, s KUČERA Milan. Informační kvalita v praxi (5): Korektní přístup k analýze kvality informací. Computerworld. 2009, č. 12, s

20 2.5 Demingovy body kvality William Edward Deming roku 1986 ve své knize Out of the Crisis formuloval čtrnáct klíčových bodů 21 pro manažery, kteří chtějí transformovat společnosti k větší efektivitě a produktivitě. Tyto principy daly základ metodice TQM na níž TIQM navazuje. 1) Vytvořit trvalý zájem na zlepšování kvality produktů a služeb. 2) Přijmout novou filozofii pro nový ekonomický věk a nové výzvy osvojit si požadavky na vysokou kvalitu sdílených informací jako prostředku pro zajištění efektivnosti a snižování nákladů. 3) Upustit od trvalé kontroly jako nástroje pro dosažení kvality místo závislosti na nákladné kontrole vytvářet rovnou kvalitní informace. 4) Hodnotit podle celkových nákladů místo pouhé cenovky při vývoji informačních systémů neklást důraz pouze na cenu a termín na úkor kvality. Následné nutné opravy, korekce a nespokojenost zákazníka domnělé počáteční výhody potlačí. 5) Trvale zlepšovat výrobu, služby a procesy. Zvyšovat kvalitu a produktivitu a tímto způsobem snižovat náklady. 6) Zavést školení kvality na pracovištích pro všechny zaměstnance. 7) Chápat roli manažera jako vůdce a ne dozorce a jasně definovat odpovědnost všech zaměstnanců za kvalitu. 8) Zbavit zaměstnance strachu a umožnit jim efektivně pracovat. 9) Odstranit překážky mezi lidmi a útvary, aby všichni mohli volně komunikovat, rozuměli potřebám druhých a fungovali jako jeden tým. 10) Upustit od sloganů a pobídek k nulové chybovosti a maximální výkonosti budících soupeřivost a pocit, že nízká kvalita je součástí výroby a tudíž mimo vliv pracovníků. 11) Nehodnotit podle výkonnostních norem a množstevních cílů bez ohledu na opravdový přínos a kvalitu. 12) Vytvořte prostředí, kde pracovníci mohou být hrdí na své dovednosti a profesionalitu. Neničte jej striktním dohledem a řízením. 13) Povzbuzujte zaměstnance k účasti na vzdělávacích akcích, školeních a sebevzdělávání. 14) Zapojte do transformace všechny zaměstnance. Ač tyto principy byly navrženy pro zvyšování produktivity a efektivity průmyslové výroby nebo poskytovaných služby, lze je bez problému adaptovat do oblasti dat a informací, pokud informace chápeme jako specifický druh produktu. 21 W. Edwards Deming. Wikipedia. [online]

21 Při pochopení významu těchto transformačních bodů jsme schopni jednoznačně identifikovat přínosy a nedostatky různých řešení a přístupů v oblasti řízení kvality informací. Dle doporučení 22 je vhodné soustředit se na body 1, 2, 3, 7 a CobiT Kvalitou informací se zabývají i jiné metodiky s širším zaměřením na informační technologie jako například metodika CobiT 23, která je považována za soubor těch nejlepších praktik pro řízení informatiky (IT Governance), které by měly umožnit dosažení strategických cílů organizace díky efektivnímu využití dostupných zdrojů a minimalizaci IT rizik. 24 Obrázek 4: Přehledové schéma systému CobiT 25 Metodika CobiT je určena především pro executive management a osoby provádějící audit. Rozděluje IT do 4 domén (PO Plánování a organizace, AI Akvizice a 22 KUČERA Milan. Kvalita informací (4): E. W. Deming a kvalita informací. Computerworld. 2008, č. 14, s Control Objectives for Information and related Technology 24 ČERMÁK Miroslav. CobiT tajemství zbavený. Clever and Smart. [online] 25 Převzato z IT Governance Institute. CobiT

22 implementace, DS Dodání a podpora, ME Monitorování a vyhodnocování), které zároveň tvoří hlavní kapitoly knihy, v rámci kterých je popsáno 34 procesů. Dohromady domény tvoří PDCA cyklus. Dle CobiT mají informace, která IT poskytuje, splňovat tato kritéria 26 : Effectiveness Účelnost včasné doručování relevantních informací ve správném, konzistentním a použitelném tvaru. Efficiency Hospodárnost zpracování informací nejekonomičtějším a nejproduktivnějším způsobem při optimálním využití informačních zdrojů a prostředků. Confidentiality Důvěrnost ochrana důležitých informací proti neautorizovanému použití nebo prozrazení. Integrity Integrita přesnost a kompletnost informace ve vztahu k požadavkům a očekávání. Availability Dostupnost dostupnost informace pro podnikání nyní i v budoucnosti, ochrana potřebných datových i technologických zdrojů. Compliance Soulad udržování souladu se zákony, regulacemi, směrnicemi, kontraktačními podmínkami a procesy. Reliability Spolehlivost požadavky vztahující se k přínosu informace pro rozhodování manažerů. V kontextu informační kvality jsou nejzajímavější procesy PO8 a DS11, které mimo jiné obsahují následující cíle řízení: PO8 Řízení kvality Vytvoření systému řízení kvality (PO8.1) Standardy pro IT, vývoj a kvalitu (PO8.2 a PO8.3) Zaměření na zákazníka (PO8.4) Neustálé zlepšování (PO8.5) Měření, sledování a vyhodnocování kvality (PO8.6) DS11 Řízení dat Požadavky na řízení dat (DS11.1) Ukládání a uchovávání dat (DS11.2) Likvidace, zálohy a obnova (DS11.4 a DS11.5) Bezpečnostní požadavky (DS11.6) 26 IT Governance Institute. CobiT

23 3 Zkoumané projekty Jak název a zadání diplomové práce naznačují, budeme se zabývat řízením datové kvality v podnikové praxi. Pohled na reálné problémy, se kterými se firmy setkávají, nám zprostředkuje několik vybraných projektů, na kterých jsem se během své profesní praxe podílel. Rád bych v následujících teoreticky zaměřených kapitolách uváděl konkrétní příklady z těchto projektů a považuji tedy za vhodné projekty představit a uvést do souvislostí. Samotné zhodnocení projektů a případné návrhy lepšího přístupu k jejich řešení podané z dnešní perspektivy bude uvedeno v závěrečných kapitolách diplomové práce. 3.1 Tesco Stores ČR a.s. V letech jsem pracoval jako analytik obchodních systémů na evropské IT centrále obchodního řetězce Tesco. V té době Tesco rozvíjelo svou síť hypermarketů v České Republice, na Slovensku, v Polsku a Maďarsku a my jsme řešili projekty na podporu nebo vůbec umožnění tohoto poměrně rychlého růstu Competitive Pricing Můj prakticky první samostatný projekt měl za cíl s pomocí existujících technických prostředků umožnit hromadný a pravidelný sběr cen v konkurenčních obchodech a následné vyhodnocení rozdílů s návrhem nových cen prodávaných ekvivalentních produktů. Projekt po IT stránce zajišťoval novou marketingovou strategii. Během projektu jsem navrhl proces sběru cen pomocí v obchodech běžně užívaných PDCU 27 a vytvořil nové programové vybavení pro přípravu a vyhodnocování dat Trading & Technical Law Pack Smyslem tohoto projektu bylo vytvořit intranetový portál pro technicko-právní oddělení. Portál mimo jiné umožňoval sběr informací o inspekcích státních kontrolních orgánů na obchodních jednotkách a dále podávání sumárních hlášení a výpočet poplatků za obaly a odpady uvedené na trh. 27 Portable Data Capture Unit přenosný minipočítač vybavený čtečkou čárových kódů

24 Má práce začala analýzou a pomocí s formulováním vlastního zadání, pokračovala přes vytvoření datového modelu a programování aplikace až po nasazení a podporu uživatelů. Prakticky ve stejné podobě je aplikace používána dodnes Data Entry Team Při rostoucích nárocích na úplnost a kvalitu informací a při rostoucím množství výrobků zařazovaných do prodeje nebylo dále únosné, aby informace o produktech a dodavatelích zadával přímo do systému každý asistent nákupčího. Vedení společnosti proto rozhodlo o vytvoření specializovaného týmu, nástroje a nastavení nových procesů a zodpovědností pro zavádění výrobků do informačního systému. Jako odborný garant části produktových atributů a systémových procesů jsem se podílel na vytváření procesů a podpůrných programových prostředků pro vkládání dat. 3.2 Petrom S.A. Od roku 2008 jsem po dobu necelých dvou let pracoval pro divizi E&P 28 největší rumunské naftařské společnosti Petrom. Společnost procházela rozsáhlou restrukturalizací a modernizací po začlenění do rakouské skupiny OMV Master Data Store Cílem několika projektů spojených s implementací Master Data Store v rámci E&P Data Management programu bylo sjednotit silně roztříštěné databáze vrtů, přizpůsobit platformu Seabed 29 firmy Schlumberger a stanovit základní procesy pro řízení životního cyklu vrtu. Technologicky i organizačně se jednalo o revoluční skok od papírové evidence a jednoduchých databází FoxPro k nejmodernějšímu systému pro správu oborových dat. Podílel jsem se na projektu nejprve v roli migračního experta a později datového a solution architekta. 3.3 Asekol s.r.o. Od roku 2010 do současnosti pracuji pro kolektivní systém Asekol. Společnost v zastoupení výrobců a dovozců elektrozařízení z jimi odváděných poplatků organizuje a financuje celostátní systém zpětného odběru elektrozařízení, tj. sběr, dopravu a 28 Exploration and Production zahrnuje průzkum ropných nalezišť, vrty, těžbu a dopravu surové ropy, též se užívá označení upstream 29 Seabed E&P Open Data Model & Database

25 recyklaci. Společnost se připravuje na uvolnění zákonem garantovaného monopolního postavení a expanduje na další oborové i geografické trhy AsIS Cílem projektu je postupně nahradit původní informační systém, který již dále nemohl být rozšiřován a upravován, systémem novým, procesně orientovaným a otevřeným i pro partnery společnosti. Zároveň pomáháme s vytvořením, zjednodušením a formalizací firemních procesů. Podílím se na projektu jako migrační expert, datový architekt a specialista na rozhraní mezi systémy

26 4 Kontrola a řízení kvality dat v primárních systémech V této stěžejní kapitole diplomové práce se zaměříme na techniky řízení a zlepšování kvality dat v informačních systémech, ve kterých dochází k pořizování primárních informací, se kterými firma dále pracuje. 4.1 Úvod do problematiky Informační systém Podle definice 30 je informační systém soubor lidí, technických prostředků a metod, zabezpečujících sběr, přenos, zpracování a uchování dat, za účelem prezentace informací pro potřeby uživatelů činných v systémech řízení. Často se vnímání informačního systému omezuje pouze na aplikaci a její případnou databázi a z toho plyne i zúžené vnímání řízení kvality dat pomíjející uživatele a procesy. Součástí každého informačního systému jsou tedy i procesy jeho užití. Bohužel v praxi se často ukazuje, že ty původní, podle kterých byl systém navržen, zůstali v hlavách zadavatelů nebo programátorů, někdy jsou procesy popsány aspoň v uživatelské příručce, ale ta spíše omezuje pouze na postup užití IS a ne na celkový firemní proces. Uživatel tak neví, proč údaje do systému zadává a jaké údaje jsou opravdu důležité. Kvalita informací je tak mizivá. Způsob jakým je uživatel veden k práci s IS a úroveň podpory procesů rozděluje IS na evidenčně orientované a procesně orientované Evidenčně orientovaný IS Ukázkovou evidenčně orientovanou aplikací je Notepad (Poznámkový blok). Veškeré podněty pro práci s takovým IS vychází ze strany uživatele, ten musí vědět, co potřebuje a kde to najde. Např. s využitím systému menu vyvolá požadovanou obrazovku, zadá nebo vyhledá údaje a vrátí se opět na výchozí pozici. I takový systém může poskytovat kvalitní informace a být součástí perfektně nastavených firemních procesů pokud jsou zaměstnanci disciplinovaní nebo je IS velice jednoduchý. Realita ve firmách je však obvykle jiná, procesy a definice zpracovávaných informací jsou popsány mimo systém v obtížně přístupné dokumentaci, pokud vůbec. IS tedy uživateli nijak nepomáhá v jeho práci, pouze mu umožňuje podle jeho momentální potřeby zaevidovat to, co uživatel chce zapsat (často nehledě na 30 MOLNÁR Zdeněk. Podnikové informační systémy. České vysoké učení technické,

27 proces) ať už to je nově pořízený záznam nebo úprava dříve zadaných či nějak vypočtených dat. Možnosti řízení kvality dat se tak mohou prakticky omezit pouze na jednoduché validace formátu, případně povinnosti údajů na formuláři, datový profiling a zpětné korekce dat. Složitější obchodní pravidla jsou velmi těžko vynutitelná a většinou v takovém IS existuje mnoho zadních vrátek, jak nastavená pravidla v případě potřeby obejít. Extrémním případem je potom prostý list papíru a tužka. Mnohým uživatelům by takový systém vyhovoval nejvíce, protože papír snese vše, ale je zřejmé, že spolupráce dvou a více lidí je s takovým přístupem nemožná Procesně orientovaný IS Společnosti, které si uvědomují přínosy vysoké kvality informací, se kterými pracují, se snaží ve svých informačních systémech co nejvíce přiblížit podnikovým procesům. Můžeme si představit několik úrovní podpory firemních procesů v informačním systému: 1) Evidenční IS, nepředvídatelné a neřiditelné procesy. 2) Stále evidenčně orientovaný IS, ale organizovaný podle firemních procesů, usnadňuje orientaci a napovídá uživateli, co a proč dělá. 3) Procesně orientovaný systém s workflow implementujícím firemní (aplikační) procesy. Uživatel do systému již nemůže zadat kdykoliv cokoliv, ale pouze informace, které odpovídají stavu procesu a obchodním pravidlům. 4) Úkolově orientovaný systém do procesů zapojuje i uživatele. Část podnětů k aktivitě tak vychází z procesu prostřednictvím aplikace. Zároveň je možné procesy řídit a měřit jejich provádění. 5) Úkolově orientovaný systém s vlastnostmi zaměřenými na zlepšování a optimalizaci procesů. Seznam úrovní jsem sestavil na základě zkušeností a podle vzoru zralostních modelů. Metodiky pro řízení kvality informací nám mohou pomoci optimálně nastavit procesy a procesně orientovaný systém pomůže uživatelům procesy se řídit. Uživatel je veden procesem, aplikací a obchodními pravidly k tomu, aby svou činnost vykonával správně, hned napoprvé, bez nutnosti pozdějších korekcí

28 4.1.4 Časté typy chyb v informačních systémech David Loshin uvádí ve své knize 31 seznam nejčastějších chyb týkajících se kvality informací v informačních systémech: Granularita atributů granularitou je myšlen počet různých informací vměstnaných do jednoho atributu (např. jméno i příjmení nebo celá adresa). Problém nastane, pokud se způsob zápisu liší záznam od záznamu a není možné hodnoty jednoznačně rozdělit. Překlepy a transkripční chyby nekorektní informace se do systému mohou dostat překlepem nebo neporozuměním při přepisování, víceznačné výslovnosti nebo při zápisu zkratek. Nepřesná metadata nejednoznačně popsané atributy nebo nevhodné datové typy vedou k záměnám při zadávání dat. Implicitní a explicitní prázdné hodnoty pokud systém vyžaduje hodnotu, kterou uživatel nemá a nezná, obvykle si najde cestu jak omezení obejít zadáním -, X, n/a nebo třeba nemá bankovní účet. Zakázaná hodnota null by byla v tomto případě užitečnější. Nestrukturované významové údaje uživatelé mají tendenci do systému zadávat užitečné údaje automaticky nezpracovatelnou formou (např. jako poznámky), pokud jim systém nenabídne pohodlnější řešení. Osobně jsem se setkal s případy, že zrušený zákazník měl prostě za názvem dopsáno Zrušeno a uživatel předpokládal, že jej tak vyřadil z evidence. Striktní podléhání formátům telefonní nebo poštovní směrovací číslo má v daném regionu a čase určitý formát zápisu, implementací daného standardu do aplikace pro všechny zadané údaje však prakticky vyloučíme možnost zadat správně údaj z jiné oblasti nebo období. Transformační chyby při migracích nebo extrakcích z nedostatečně dokumentovaných systémů mohou vzniknout nové chyby, které v původním systému nebyly. Přetížené atributy jako důsledek špatného datového modelu nebo pozdějších změn a úprav v aplikaci, mají hodnoty jednoho atributu více různých významů. 31 LOSHIN David. Business Intelligence. Morgan Kaufmann,

29 4.1.5 Kategorizace přístupů Ze svých zkušeností z IT projektů v mnoha organizacích, na kterých jsem se podílel, a v souladu s tím, co popisují metodiky pro řízení informační kvality, jsem rozdělil přístupy k informační kvalitě do kategorií popsaných v následujících kapitolách. 4.2 Proaktivní přístupy Proaktivní přístupy mají společný cíl předcházet vzniku nekvalitních informací. Nejlepším přístupem je využití principů nebo metodiky řízení informační kvality při návrhu firemních procesů a informačního systému, nicméně účinek lze ještě podpořit následujícími praktikami Návrh datového modelu Informační systém potřebuje svá data persistentně ukládat. Tradičním úložištěm dat jsou relační databáze, které však přes své četné výhody, mohou při nesprávném návrhu datového modelu vytvořit nepříznivé prostředí pro kvalitu informací. Mnoho z chyb uvedených Davidem Loshinem pochází právě z chybného návrhu datového modelu. Předpokladem pro kvalitní data je tedy správný návrh datového modelu. Moderní objektové, XML nebo non-sql databáze přinášejí jiný způsob práce a netrpí některými neduhy relačních databází. Nicméně kvalitu informací sami od sebe nevyřeší, proto je nutné následovat stejné principy jako u relačních databází. V této diplomové práci se budeme zabývat pouze relačními databázemi. První doporučení pro návrh datového modelu je, aby byl v projektovém týmu určen jeden datový architekt, který bude mít návrh na starosti, bude stát mezi analytiky a vývojáři a bude udržovat jednotný styl databáze. Pokud si v databázi programátoři vytvářejí, co chtějí podle své momentální potřeby, nemůže nikdo očekávat koherentní datový model. Alternativně je možné nahradit datového architekta objektovým, který stejným způsobem bude vytvářet a udržovat objektový model, jehož persistenci zajistí některá ze standardních knihoven. Druhé doporučení pro návrh je využití CASE nástroje. Dokáže mnohé kroky zautomatizovat a vytvoření dokumentace ze zadaných metadat je dílem okamžiku. Pokud je nástroj dobře rozšiřitelný s podporou skriptování, je možné vytvářet datový model včetně generování obslužných procedur a triggerů přesně na míru, jen podle metadat. Metadata zahrnují textový popis atributů, tabulek nebo celých částí datového modelu, definici atributů, tabulek, vazeb a omezení pro databázový server, specifická

30 nastavení jako třídy tabulek, domény atributů, parametry pro generování tabulek, procedur nebo triggerů a další údaje. Při návrhu je důležité mít na paměti normální formy. Pomáhají udržet databázi bez redundantních dat a aktualizačních anomálií. 1. NF Každý atribut obsahuje pouze atomické hodnoty. 2. NF Každý neklíčový atribut je plně závislý na primárním klíči. 3. NF Všechny neklíčové atributy musí být vzájemně nezávislé. BCNF Atributy, které jsou součástí primárního klíče, musí být vzájemně nezávislé. V reálném prostředí normální formy často porušujeme např. z důvodu optimalizace rychlosti a náročnosti dotazů nebo zjednodušování modelu. Je však důležité být si každé jednotlivé denormalizace vědom, mít ji řádně odůvodněnou a případné aktualizační anomálie podchytit např. triggerem nebo uloženou procedurou. Kvalitu datového modelu je poměrně obtížné změřit. Daniel Moody se ve své práci 32 pokusil vyhodnotit několik desítek možných metrik, ale jen pět z nich shledává v závěru užitečných: komplexita systému, počet datových položek duplikovaných v existujících systémech, odhad nákladů na vývoj, procento znovu použitelnosti, počet nedostatků podle faktorů kvality. Dovolil bych si přidat jednu z původně vyřazených metrik, která je v našem kontextu velice důležitá: srozumitelnost datového modelu vývojářům. Tabulky i atributy by měly být nezkratkovitě, výstižně a jednoznačně pojmenované v souladu s předem definovanou jmennou konvencí. Datový architekt by měl analytiky i vývojáře pravidelně informovat o připravovaných rozšířeních databáze a namátkově kontrolovat způsob jakým vývojáři databázi používají zda vše správně pochopili a zda nejsou nuceni hledat alternativní řešení z důvodu špatného nebo nedomyšleného návrhu. 32 MOODY Daniel L. Measuring the Quality of Data Models: An Empirical Evaluation of the Use of Quality Metrics in Practice. [online]

31 4.2.2 Master Data Management David Loshin ve své knize 33 definuje Master Data Management (MDM) jako soubor nejlepších praktik, který zahrnuje obchodní aplikace, metody řízení dat a nástroje pro správu dat, které uskutečňují firemní politiky, postupy a infrastrukturu jako podporu pro získávání, slučování a následné sdílení přesných, aktuálních, konzistentních a kompletních dat. Vedení Politiky Procedury Infrastruktura Akce Získávání Propojování Sdílení Kvalita Přesnost Aktuálnost Úplnost Obrázek 5: Podstata MDM (vlastní úprava) Jinými slovy MDM je určeno k plnění obchodních potřeb firmy tím, že poskytuje přístup ke konzistentním, jednoznačně identifikovatelným vzorovým datovým entitám prostřednictvím aplikačně provozní infrastruktury. MDM není cíl, ale prostředek pro dosažení cíle. V rámci vykonávání MDM provádíme následující činnosti: Posouzení běžně používaných informačních objektů, kolekcí, platných datových hodnot a explicitních a implicitních obchodních pravidel v aplikacích v rámci celého podniku. Identifikaci základních informačních objektů přinášejících společnosti užitek, které jsou používány napříč aplikacemi a které by měly prospěch z centralizace jejich správy. Vytvoření standardizovaného modelu pro integraci a správu klíčových informačních objektů. Správu nashromážděných a zjištěných metadat jako snadno přístupného zdroje informací usnadňujícího konsolidaci. Shromažďování údajů z kandidátských datových zdrojů, vyhodnocování odlišností různých údajů v popisu jedné reálné entity, vytváření jednotného konsolidovaného pohledu. Poskytování metod pro transparentní přístup k jednotným pohledům na reálné datové objekty pro exitující i nově vytvářená aplikace. 33 LOSHIN David. Master Data Management. Morgan Kaufmann,

32 Stanovení řádných politik a procedur správcovství a řízení dat na podnikové a obchodní úrovni k zajištění kvalitních vzorových údajů. Výhody MDM spočívají především v získání vyčerpávajících znalostí o zákaznících, ve zlepšení služeb zákazníkům, v konzistentním reportování, ve zvýšení konkurenceschopnosti, ve zlepšeném řízení rizik, ve vyšší produktivitě a výkonnosti a nižším nákladům, ve zlepšeném rozhodování a schopnosti lépe plánovat a analyzovat, ve snazším vyhovění regulačním nařízením, ve zvýšení kvality a rychlé dostupnosti informací i ve snížení náročnosti vývoje aplikací Change Request Management Metodiky pro řízení informační kvality dle mého názoru zcela pomíjejí změnové řízení. Spíše lze říci, že změny podněcují a jen málo upozorňují, že nezvládnuté řízení změn může mít pro kvalitu informací katastrofální následky. Řízení změn je doménou metodik jako je ITIL nebo CobiT. Nebezpečí neřízených změn spočívá v možné implementaci protichůdných návrhů, implementaci nepromyšlených momentálních nápadů bez řádné analýzy vlivu, nekoncepčních zásazích do datového modelu, struktur formulářů nebo procesů, či v zrychleném zastarávání dokumentace a snižování srozumitelnosti dat a aplikace. Nastavením procesu pro přijetí, posouzení, konsolidaci, ohodnocení, prioritizaci, plánování a provádění změn můžeme potenciální negativní dopady eliminovat User Experience Termín User experience (UX) je možné vysvětlit jako prožitek uživatele (jeho vjemy a odezvy) v souvislosti s očekávaným užíváním aplikace nebo též jako uživatelskou přívětivost. Návrh UX je relativně nová multioborová disciplína zahrnující grafický návrh, návrh interakcí, informační architekturu, návrh uživatelského rozhraní s ohledem na přístupnost a použitelnost. Návrh UX je zaměřen na návrh produktů, kterým lidé snadno porozumí, pochopí jejich smysl a snadno je budou užívat produkty a systémy se mají přizpůsobit uživatelům a sloužit jim, ne naopak. V kapitole The Beautiful People: Keeping Users in Mind When Designing Data Collection Methods 34 popisuje J. Follett a M. Holm jak citlivý návrh formuláře pro průzkum trhu zvýší ochotu respondentů poskytnout údaje. Může se zdát, že uvedený případ ankety je vzdálen informačnímu systému, pouze však do té doby, než si uvědomíme, že zaměstnanci používají informační systém stejným způsobem motivace 34 SEGARAN Toby a Jeff HAMMERBACHER (ed.). Beautiful Data. O'Reilly,

33 platem, případně hrozbou, sama o sobě kvalitní informace nezajistí. Data pocházejí od lidí, z jejich činnosti, návrháři a vývojáři by tedy měli mít neustále na mysli lidi a ne jen data, která chtějí shromáždit, zvláště pokud chtějí sebrat kvalitní data. Výzvy při návrhu UX představují především ohledy na: Přístupnost přizpůsobení (ne nutně jen omezeným) schopnostem vnímat určitými smysly nebo ovládat určitým způsobem. Může se týkat jak velikosti textu nebo ovládacích prvků, tak např. zvolené úrovně jazyka a užití méně běžných (odborných) slov. Získání důvěry v případě dobrovolného poskytování osobních údajů do ankety je to samozřejmě klíčový bod. Analogicky pro informační systémy je potřeba získat důvěru uživatele, že data, která do systému zadává, jsou užitečná a opravdu potřebná. Náročnost vkládání dat je potřeba hodnotit z několika hledisek: časová náročnost (udržení pozornosti, krátkodobá paměť), náročnost ovládání (přeskakování mezi prvky, počet kliknutí nebo pohybů myší), vjemová náročnost (zahlcení, zdánlivá složitost) Přesnost získaných údajů je z hlediska UX ovlivněna mírou pochopení uživatele, co je po něm vyžadováno a pravděpodobností, s jakou může během vkládání udělat nezáměrnou chybu. Motivace uživatel, který vidí smysl v tom, co dělá, svou práci bude vykonávat lépe než ten, který neví proč nebo nevěří v užitečnost své práce. Motivovat lze například i uspokojením zvědavosti po tom, co se s údaji děje v dalších krocích procesu nebo soutěžením. Zajímavým námětem je respekt k uživateli. Mnohokrát se mi v praxi stalo, že zadavatel IS naprosto nevěřil základním schopnostem a elementární inteligenci uživatelů a vynucoval si množství kontrol, potvrzovacích oken, dlouhých vysvětlujících textů, schvalovacích procesů, atd. Realita však byla jiná než záměr uživatelé se cítí obtěžováni a nečtou už ani užitečná varování, jen slepě odkliknou další vyskočivší okno produktivita i kvalita dat klesá. Pří návrhu uživatelského rozhraní aplikace pro konkrétní platformu můžeme využít návrhových doporučení grafického zpracování a ovládání vydaných např. výrobcem dané platformy. Vytvoříme tak aplikaci, kterou uživatel bude umět ovládat dřív, než se k ní dostane. Přílišná vlastní invence a vymýšlení inovativních způsobů ovládání nebo grafický design, který strhne pozornost sám na sebe, mohou být kontraproduktivní

34 Cílem správného návrhu je intuitivní ovládání aplikace, vedoucí uživatele podle definovaných procesů a předcházející situacím, kdy by mohla vzniknout nekvalitní data. 4.3 Restriktivní přístupy Restriktivní přístupy se snaží zamezit vzniku nekvalitních informací vytvořením určitých nepřekonatelných omezení a pravidel. Komplexní obchodní pravidla je však velmi obtížné implementovat formou omezení a navíc každé dobře míněné omezení se může obrátit v nevýhodu, pokud bude nedostatečně popsáno a vysvětleno nebo na něj uživatel bude často narážet a bude tak nucen hledat alternativní cesty Úroveň vyhodnocování Omezení uživatele pro určitou informaci je možné implementovat na mnoha úrovních. Pro vytváření omezení platí dvě úměry první říká, že čím složitější pravidlo potřebujeme naimplementovat, tím dále od samotných dat se dostáváme. Druhá říká, že čím blíže datům jsme, tím hůře se omezení obchází. Z toho plyne, že příliš komplexní pravidla je snadné obcházet nebo naimplementovat nedostatečně či chybně. Informace Databáze Aplikace Uživatelské rozhraní Uživatel Datový typ Constraint Trigger Procedura View Objekt Model Vstupní pole Formulář Obrázek 6: Schéma úrovní vyhodnocování omezujících pravidel (vlastní úprava) Při vytváření omezení máme poměrně širokou škálu technických prostředků. Při výběru toho vhodného je třeba posoudit jeho vhodnost z hlediska tvrdosti opatření, snadnosti správy a komfortu uživatele (rychlosti poskytnutí zpětné vazby a její srozumitelnosti). Často se jedno omezení implementuje na několika úrovních, protože je potřeba ošetřit několik rozhraní (uživatelské nebo aplikační). V takovém případě je ideální pokud jsou omezení pro příslušná rozhraní generována z jedněch metadat. Obecně lze doporučit, aby omezení, u kterých očekáváme, že je uživatel může porušit např. zadáním chybné hodnoty, byla oznámena srozumitelnou vysvětlující chybovou hláškou nebo zvýrazněním chybné hodnoty s vysvětlením důvodu. Porušení

35 omezení z důvodu chyby v aplikaci, za kterou bude pravděpodobně zodpovědný programátor, stačí nechat zobrazit jako aplikační výjimku s technickými detaily Technické prostředky V relačních databázích je prvním omezením, které na data uplatňujeme, výběr datového typu atributu. Hodnoty atributů dělíme na textové, numerické, datumové, logické, strukturované a konkrétní typ většinou doplňujeme o určení přesnosti nebo délky. Hodnoty atributu můžeme dále omezit použitím check výrazu. Ve výrazu můžeme použít jiné atributy dané entity nebo deterministické funkce, nemůžeme však dosáhnout na jiné tabulky vnořeným SQL dotazem. CREATE TABLE Register (... Start_Date Date CONSTRAINT DV_Register_Start_Date DEFAULT ' ' NOT NULL, End_Date Date CONSTRAINT DV_Register_End_Date DEFAULT ' ' NOT NULL, CONSTRAINT CK_Register_Start_Date CHECK (day(start_date)=1), CONSTRAINT CK_Register_End_Date CHECK (End_Date = ' ' or month(end_date)!=month(dateadd(day,1,end_date))),... ); Používání primárních a případně unikátních klíčů v databázích lze považovat za samozřejmé. Za zmínku však stojí, že některé databázové systémy nám umožňují vytvořit unikátní index pouze nad vybranými řádky tabulky. Usnadní nám to vynucení pravidel s podmíněnou unikátností jen jedna verze může být platná, záznamy určitého typu musí být unikátní apod. CREATE UNIQUE INDEX UK_Role_Admin_Area ON Role (Admin_Area) WHERE Deleted=0 and Admin_Area is not null; CREATE UNIQUE INDEX UK_Partner_Reg_Number ON Partner (Reg_Number,Country) WHERE Deleted=0 CREATE UNIQUE INDEX UK_R_Municipality_Central ON R_Municipality (Central_Town,Admin_Area) WHERE Central_Town=1 Dále zde zmíníme cizí klíče, které se mimo popisu a určení chování vazeb mezi entitami hodí k omezení hodnot atributů pouze na hodnoty nastavené v číselníku (referenční tabulce). Pro zvýšení přehlednosti a srozumitelnosti lze i přes malé snížení výkonu upřednostnit jako primární klíč referenčních tabulek krátký textový kód oproti bezvýznamovému číslu

36 CREATE TABLE R_Register_Type ( Code varchar(30) NOT NULL, Name Nvarchar(200) NOT NULL, CONSTRAINT PK_R_Register_Type PRIMARY KEY (Code) ); CREATE TABLE Register (... Type varchar(30) NOT NULL, CONSTRAINT FK_Register_Type FOREIGN KEY (Type) REFERENCES R_Register_Type (Code),... ); Výhodou výše uvedených omezení je, že nám databázový server vždy zaručuje jejich platnost typicky je jejich platnost ověřena při nastavení a při každé změně v datech. Chceme-li provádět složitější kontroly, musíme využít triggery nebo uložené procedury. U nich však nemáme zaručeno, že v tabulkách nejsou existující nevyhovující data triggery i procedury kontrolují pouze údaje, které jimi protékají. Triggery lze doporučit, pokud kontrolujeme správnost záznamů vkládaných, aktualizovaných nebo odstraňovaných z jedné tabulky. Procedury nám umožní provádět komplexnější kontrolu nad více souvisejícími tabulkami. CREATE TRIGGER TG_R_Template_Type_mnRel ON R_Template_Type AFTER INSERT, UPDATE AS begin set nocount on if exists ( select 1 from inserted e outer apply fn.split(e.databases) a left join R_Country r on (r.code=a.stringelement) where fn.sortlist(e.databases)<>e.databases or (a.stringelement is not null and r.code is null) ) raiserror( 'Nevyhovujici format nebo neplatny odkaz v referencnim listu FK_R_Template_Type_Databases',16,0); end Velice užitečným nástrojem pro vytváření omezení pro textové hodnoty jsou regulární výrazy. Lze si je představit jako šablony, u kterých zjišťujeme, jestli jim daný text vyhovuje nebo ne, nebo hledáme části textu, které šabloně vyhoví a můžeme je nahradit nebo s nimi dále pracovat. Teoretický základ dal regulárním výrazům kolem roku 1950 matematik Stephen Cole Kleene 35, později se staly součástí unixových příkazů a jazyku Perl, jehož syntaxi regulárních výrazů převzala řada dalších programovacích jazyků. Z pohledu gramatik a formálních jazyků už nejsou regulární výrazy dávno regulární, ale mají mnohem větší sílu, název však zůstal zachován. Obchodní pravidla lze popsat speciálně vytvořeným jazykem Object Constraint Language, který je součástí UML standardu. Z takového strukturovaného popisu je potom možné přímo generovat aplikační kód, který bude kontrolu pravidel zajišťovat. Bohužel matematicko-logický způsob zápisu pravidel je sice vhodný pro pochopení významu omezení, ale ne pro jeho efektivní automatické naprogramování. 35 Regular expression. Wikipedia. [online]

37 4.4 Reaktivní přístupy Reaktivní přístupy jsou takové přístupy, které reagují až na vzniklý problém a snaží se ho napravit. Jsou tedy opakem proaktivních přístupů, které se snaží zamezit vzniku problému. Mezi reaktivní přístupy řadíme především data profiling, kontrolní reporty, jednotlivé nebo hromadné korekce dat, konsolidaci a čištění dat. Podle metodiky TIQM a v souladu s třetím Demingovým bodem kvality je opakované využívání reaktivních přístupů v primárních systémech nežádoucí, protože neodstraňujeme příčinu problému, ale pouze jeho následky. Jednorázovým doplněním chybějícího údaje nebo opravením formátu údaje nezamezíme opětovnému vzniku opravované chyby. Zavedením pravidelného čištění dat vytvoříme nežádoucí závislost a navíc riskujeme, že opravná procedura může opravit i přesná data na data správná (vyhovující diagnostice), ale nepřesná (chybná významem). Jako modelový příklad 36 si můžeme představit situaci, že máme v systému evidováno sběrné místo, ke kterému přiřazujeme kontaktní osobu. Sběrné místo má jako jeden ze svých atributů telefon na obsluhu a taktéž osoba má v CRM systému evidován telefon. Principiálně lze toto řešení považovat za správné neboť např. mobilní telefon kontaktní osoby (která má v systému i jiné další role) není nutně stejný jako telefon na vrátnici nebo do objektu sběrného místa. Nevhodný návrh formuláře, který zobrazuje pouze jedno z telefonních čísel a nekompletní data, ve kterých to či ono číslo chybí, vede uživatele k požadavku na doplnění telefonního čísla sběrného místa z telefonního čísla přiřazené kontaktní osoby jednorázovým příkazem do databáze. Je zřejmé, že efekt zásahu je pouze krátkodobý a navíc vytváří v budoucnu potencionálně chybné záznamy, protože kontaktní osoba se může změnit a u sběrného místa pak bude evidováno chybné telefonní číslo. Správným řešení by bylo upravit formulář a užití telefonního čísla tak, aby se zobrazilo číslo od kontaktní osoby v případě, že není definováno číslo u sběrného místa. Tato úprava však vyžaduje diskuzi s uživatelem, kde všude je taková úprava žádoucí a dále představuje větší náklady na zapracování než jeden příkaz do databáze. Výše jmenované přístupy budou blíže popsány v kapitole 5 Kontrola a řízení kvality dat při migracích. 36 Požadavek číslo ASIS-1201 na vývojový tým systému AsIS

38 4.5 Represivní přístupy Dalším způsobem jak vynutit nebo zaručit určitou úroveň kvality informací jsou smluvní závazky a zákonné normy. Často se tyto právní dokumenty zabývají utajováním informací nebo omezením způsobu nakládání s informacemi, ale nezřídka najdeme i závazky týkající se kvality Zajištění aktuálnosti a správnosti informací Pokud firma potřebuje ke své činnosti informace vyžadované procesem, smlouvou nebo zákonem, je možné přenést povinnost poskytnout takové informace na subjekty, kterých se informace týkají. Pravidelné ověřování platnosti evidovaných údajů a zjišťování případných změn by bylo příliš náročné a je proto jednodušší seznámit subjekt s povinností změny nahlásit. Výňatek z pracovní smlouvy 37 Zaměstnanec je povinen bezodkladně, avšak nejpozději do 5 pracovních dnů, oznámit zaměstnavateli písemně každou změnu osobních údajů, tj. zejména změnu svého jména, bydliště, dále změnu bankovního účtu, změny v počtu vyživovaných osob Výňatky z obchodní smlouvy 38 Obec je povinna bezodkladně informovat provozovatele o informace zadá obec v uvedené lhůtě do informačního systému provozovatele S ohledem na nutnost zamezení eventuálního duplicitního vykazování se obec zavazuje, že nebude vykazovat třetím osobám. Porušením povinnosti nahlásit změnu se subjekt vystavuje riziku nesprávného zpracování jeho požadavku, případně i riziku postihu smluvní sankcí nebo postihu vyplývajícího ze zákona Ochrana osobních údajů Osobní údaje podléhají zvláštnímu režimu ochrany, který vychází z Listiny základních práv a svobod a z občanského zákoníku a je popsaný v zákoně č. 101/2000 Sb., o ochraně osobních údajů. V kontextu této diplomové práce je vhodné zmínit alespoň dvě definice z výše uvedeného zákona z 4 písmeno a) a e): 37 Vzor Pracovní smlouvy pro zaměstnance firmy Capgemini s.r.o. 38 Vzor Smlouvy o zajištění zpětného odběru elektrozařízení prostřednictvím jejich mobilního svozu firmy Asekol s.r.o

39 Osobním údajem je jakákoliv informace týkající se určeného nebo určitelného subjektu údajů. Subjekt údajů se považuje za určený nebo určitelný, jestliže lze subjekt údajů přímo či nepřímo identifikovat zejména na základě čísla, kódu nebo jednoho či více prvků, specifických pro jeho fyzickou, fyziologickou, psychickou, ekonomickou, kulturní nebo sociální identitu. Zpracováním osobních údajů je jakákoliv operace nebo soustava operací, které správce nebo zpracovatel systematicky provádějí s osobními údaji, a to automatizovaně nebo jinými prostředky. Zpracováním osobních údajů se rozumí zejména shromažďování, ukládání na nosiče informací, zpřístupňování, úprava nebo pozměňování, vyhledávání, používání, předávání, šíření, zveřejňování, uchovávání, výměna, třídění nebo kombinování, blokování a likvidace Dále se v zákoně stanovují práva a povinnosti správce osobních údajů a mezi nimi mimo jiné v 5 odst. 1 písmeno b) požadavky na kvalitu informací: Správce je povinen zpracovat pouze přesné osobní údaje, které získal v souladu s tímto zákonem. Je-li to nezbytné, osobní údaje aktualizuje. Zjistí-li správce, že jím zpracované osobní údaje nejsou s ohledem na stanovený účel přesné, provede bez zbytečného odkladu přiměřená opatření, zejména zpracování blokuje a osobní údaje opraví nebo doplní, jinak osobní údaje zlikviduje. Nepřesné osobní údaje lze zpracovat pouze v mezích uvedených v 3 odst. 6. Nepřesné osobní údaje se musí označit. Informaci o blokování, opravě, doplnění nebo likvidaci osobních údajů je správce povinen bez zbytečného odkladu předat všem příjemcům. Dále se v zákoně v 44 až 46 stanovují sankce pro fyzické i právnické osoby za přestupky proti tomuto zákonu až do výše Kč Hospodářské trestné činy a podvody Jak uvádí J. Požár ve své knize 39, kdo ve své podnikatelské činnosti dosáhne na základě nepravdivého nebo neúplného údaje vydání dokladu potřebného pro orgány kontrolující zboží a technologie, může se dopustit trestného činu porušování předpisů o nakládání s kontrolovaným zbožím a technologiemi podle 124c trestního zákona. A dále, kdo v účetních knihách, zápisech nebo jiných dokladech uvede nepravdivé nebo hrubě zkreslující údaje, dopustí se tím trestného činu zkreslování údajů o stavu hospodaření a jmění podle 125 trestního zákona. Obecně lze v trestním zákoně najít slova uvede nepravdivé nebo zkreslené údaje nebo podstatné údaje zamlčí mnohokrát a důraz na kvalitu informací má tedy své reálné opodstatnění. 39 POŽÁR Josef. Základy teorie informační bezpečnosti. Policejní akademie České republiky,

40 4.6 Destruktivní přístupy Závěrem si shrneme přístupy, které jsou v praxi poměrně běžné, ale je nutné se jich vyvarovat, protože mají devastující dopad na kvalitu informací v informačních systémech. Všechny popsané přístupy vycházejí ze zkušeností z reálných projektů zmíněných v této práci Sběratelský přístup Někteří lidé mají dobrý pocit, když je v jejich systému mnoho dat. Z různých zdrojů získávají seznamy firem, osob nebo výrobků, které si nechávají naimportovat do svého CRM nebo jiného informačního systému. Jednou se přeci ty informace mohou hodit, jsou to potencionální klienti nebo potencionální produkty. Mohou mít pravdu a někdy lze takto s daty pracovat, problém ale nastane v momentě, kdy pro tyto z externích zdrojů získaná data nemáme samostatný systém a vložíme je mezi ostatní naše živá data v CRM nebo v jiném IS. Typicky jsou externí data v jiné granularitě, trochu jinak organizovaná, neznámého stáří a kvality a zanesou do IS mnoho chyb a přitom jejich přímá využitelnost firemními procesy je téměř nulová. Data bohužel nejsou jako víno, aby s postupem času zrála. S externími daty je lépe pracovat odděleně od živých produkčních dat. V případě přímého využití je možné importovat pouze vybrané záznamy. Nedává smysl vytvářet si ve vlastním informačním systému svou kopii obchodního rejstříku, ale určitě má smysl používat dostupné pravidelně aktualizované oborové databáze a při zakládání zákazníka do CRM si nechat předvyplnit formulář daty z ARESu nebo z jiného online dostupného registru Zpravodajský přístup Nepochybně existují zpravodajské systémy plné střípků různě posbíraných informací, ale běžný firemní informační systém by takto vypadat neměl. Při návrhu informačního systému je potřeba vycházet z požadavků, které jsou odvozeny od obchodní strategie společnosti a soustředit se na informace nutné pro obchodní procesy nebo pro operativní a strategické rozhodování. Představme si například uživatele, který dostal nápad, že o jedné firmě ví, že je certifikovaná na ISO 9001 a že by bylo jistě do budoucna užitečné mít toto poznamenané v informačním systému a nechá si datový model a formuláře rozšířit o dalších 5 zaškrtávátek pro různé certifikace. K té jedné firmě to vyplní, u dalších nebude vědět nebo bude obtížné to zjišťovat a za chvilku na to zapomene. Jen formulář zůstane o něco složitější a databáze bude obsahovat o něco více zcela neužitečných dat. V horším případě si uživatel po čase vzpomene, že by se mu možná hodil report nebo nějaký

41 automatický výběr dodavatele, který upřednostní ty partnery, kteří mají certifikaci a obrátí se na IT, vždyť přece tu informaci v tom systému máte. Pokud je potřeba obohatit datový model o nové atributy vyhodnocena jako oprávněná, např. z důvodu lepšího rozhodování při řízení obchodních procesů, je nutné doplnit nový druh informace i k existujícím záznamům např. z externího zdroje nebo zpětným postupným zjišťováním. V krajním případě je možné zavést stav atributu s významem dosud nezjištěno tak, aby bylo možné odlišit jej od hodnoty nemá Systém zápisníčku Jiná varianta zpravodajského přístupu nebo prostého obcházení chybějící funkcionality je zneužívání atributu Poznámka k zápisu nestrukturovaných informací, které by však v systému měli mít svůj významový atribut. Z praxe 40 známe případy, kdy je v poznámce uveden: údaj o kategorizaci/přiřazení klienta, který je v rozporu s nastavením, údaj o výjimkách ze smluvních podmínek, které tak nejsou zpracovatelné systémem, číslo nebo kód, o kterém už nikdo neví, co znamená, údaj o zrušení záznamu, který je však dál ponechán aktivní, údaj, který se už nevešel do svého příslušného políčka formuláře. Atribut Poznámka je sám o sobě ústupek analytiků uživatelům, kteří si systém a život bez něj neumí představit. Představuje příliš velké lákadlo pro snadné zadání informace, která však pro systém a procesy zpracování informací nemá žádnou hodnotu. Dalším rizikem je, že informace v poznámce postrádá kontext, není zřejmé, kdy a kdo ji zadal a zda je stále v platnosti, zvláště pokud je v rozporu s aktuálním nastavením Systém tužky a gumy Představme si systém, který podle zadaných informací počítá třeba avíza dodavatelům, nebo souhrnné reporty pro státní kontrolní orgány. Uživatelé však mají správnější informace a vyžadují možnost do systému kdykoliv vstoupit a cokoliv tam změnit. Důvodů může být mnoho: chybná vstupní data, ex-post změny v objednávkách nebo jejich plnění, opravy známých nedostatků systému nebo tzv. manažerské korekce. 40 Shrnutí obsahu poznámek u partnerů při migraci do systému AsIS

42 Je zřejmé, že většina korekčních zásahů pramení z nedůsledného následování procesů, v krajním případě z jejich neexistence. V prostředí, kde jsou uživatelé zvyklí provádět korekce vypočtených dat však ani žádné procesy vzniknout nemohou, protože uživatelé nevěří informačnímu systému ani evidovaným datům. Volnost a flexibilita, kterou jim tento přístup dává, je pro ně mnohem pohodlnější, než se nechat svazovat nějakým procesem. Uživatelé většinou už ani nejsou schopni sami ze své činnosti původní proces odvodit nebo mezi těmi všemi výjimkami najít správný a standardní postup. Kvalita dat v informačním sytému degraduje a údaje se přes neustálé korekce stávají méně a méně důvěryhodné, protože prakticky není možné jejich ověření a je podkopána časová konzistence reportů. Pro nápravu takového stavu je zapotřebí značného úsilí všech vrstev managementu a podpory odborných konzultantů, kteří přinesou know-how a nejlepší osvědčené postupy z daného oboru. Samozřejmě, po správném nastavení firemních procesů je potřeba upravit IS nebo vytvořit nový, který bude procesy lépe podporovat a začít s opravou dat na vstupech systému tak, aby vypočtené údaje získaly zpět svou důvěryhodnost. Změna smýšlení zaměstnanců je však velmi náročný proces Hodnocení kvantity nad kvalitou Nesprávné nastavení klíčových ukazatelů výkonnosti (KPI) může mít na kvalitu informací negativní účinek. Pokud jsou uživatelé motivováni k pořizování co největšího množství dat, lze objektivně pochybovat o kvalitě takto získaných informací. Při snaze o maximalizaci počtu pořízených záznamů (např. smluv) je minimalizován čas pro ověřování nebo samotné zjišťování informací. Místo správných a přesných údajů uživatelé prostě něco napíšou nebo přímo napíšou údaj nepravdivý, jen aby je informační systém pustil do dalšího kroku. Z oblasti řízení datové kvality se tak můžeme rychle přesunout do oblasti boje proti podvodnému jednání. V souladu s metodikou TIQM i Kaizen je potřeba jasně vyjádřit zodpovědnost každého zaměstnance za kvalitu informaci a v tomto duchu nastavit i motivační prostředky a výkonnostní ukazatele Eroze cílů Poměrně častým jevem při plnění určitých předem nastavených cílů bývá jejich pozdější korekce s výmluvou na různé nepředvídatelné okolnosti. Záměrem například může být odměnit třeba i marnou nebo zbytečnou snahu. Při stanovování cílů na další období je pak cíl snížen, aby byl snadněji dosažitelný

43 Požadovaný stav Současný stav Rozdíl Obrázek 7: Graf postupného snižování cílů (vlastní úprava) Tento problém je dobře popsán jako jeden z archetypů systémového myšlení. Systémové myšlení 41 představuje jeden z nástrojů, který můžeme využít ve snaze pochopit svět kolem nás, nalézt řešení některých problémů nebo se jim předem vyhnout. Systémová dynamika je vědním oborem, který se zabývá studiem chování systémů v čase. Jedním z důležitých poznatků systémové dynamiky je, že se určité struktury a vazby v dynamických systémech, reprezentujících určitou oblast lidského konání, znovu a znovu opakují těmto opakujícím se schématům říkáme systémové archetypy. Ne všechny problémy jsou nové a jedinečné. Poznání těchto vzorů nám umožní odhalit příčiny a procesy do jejichž vleku jsme se dostali, nalézt jednoduchost v komplexních problémech a také lépe odhadovat konečný důsledek našich rozhodnutí a vyhnout se nechtěným dopadům. Pro popis systémových archetypů využíváme příčinné smyčkové diagramy. Archetypy se skládají ze stupňované zpětné vazby, vyrovnávacích procesů a časového zpoždění. 41 BUREŠ Vladimír. Systémové myšlení pro manažery. Professional Publishing,

44 - Požadovaný stav N + Rozdíl - N Současný stav + Tlak na snížení požadavků + + Úsilí o dosažení výsledků Obrázek 8: Příčinný smyčkový diagram archetypu Eroze cílů 42 Archetyp Eroze cílů vychází z přesvědčení, že rozdíl mezi současným a požadovaným stavem může být vyrovnán buď úsilím vedoucím k dosažení požadovaného stavu, nebo snížením nastavených cílů. Protože cíle byly stanoveny v minulosti za určité situace a v určitém kontextu jako předpověď budoucnosti, úprava cílů tak, aby lépe odrážely aktuální znalosti o současnosti a reálných možnostech, se zdá být logická. Bez objektivních metrik (např. benchmarking) je správné vyhodnocení dosažitelnosti původních cílů nemožné. Časté úpravy stanovených cílů také upevňují laxní přístup při určování dalších cílů. 42 Vlastní úprava obrázku z BUREŠ Vladimír. Systémové myšlení pro manažery. Professional Publishing,

45 5 Kontrola a řízení kvality dat při migracích Druhá ústřední kapitola diplomové práce pojednává o procesech a opatřeních pro zvýšení kvality dat během datových migracích. Migrace jsou vhodné pro nasazení technik a nástrojů pro reaktivní řízení kvality informací. 5.1 Úvod do problematiky Datovou migrací se rozumí převod údajů z jedné databázové struktury do jiné databázové struktury, typicky jinak uspořádané. Důvodem pro migraci může být upgrade systému, přechod od nevyhovujícího nebo již nepodporovaného systému k novějšímu a lepšímu, nebo datová migrace může být prvním krokem při integraci dvou a více systémů před spuštěním synchronizačních procesů. Typická datová migrace je jednosměrná a jednorázová, nicméně někdy je nutné připravit nebo i provést zpětnou migraci (pro případ selhání nového systému) nebo migraci inkrementální (pokud je pro migraci vymezeno krátké časové okno, přenesou se za provozu všechna data a potom během vymezené odstávky pouze rozdíly). 5.2 Fáze a procesy datové migrace Migrační projekt má svá specifika a vyžaduje jiný přístup, než by byl vhodný na běžný vývoj nebo implementaci IS. Často vzhledem k časovým dispozicím a relativní jednoduchosti je možné prolnout fázi analýzy, vývoje a realizace a to jak časově, tak personálně. Podle zkušeností z migračních projektů je nutné zadání a analýzu neustále ověřovat proti skutečným údajům v databázi a to na konceptuální úrovni kontrolou proti datovému profilu nebo přímými dotazy do databáze, i prakticky brzkým začátkem implementace už s prvními výsledky analýzy. Zjištění z vývoje a zkušebních běhů migrace pak poslouží k následnému zpřesňování analýzy a v případě nalezení neshod mezi zadáním a reálnou situací mohou být tyto neshody vyřešeny velmi brzy s omezeným negativním dopadem změn Analýza a mapování Během úvodní analýzy jsou shromažďovány informace o zdrojovém datovém modelu, významu atributů a hodnot, vazbách mezi entitami a o obchodních a aplikačních pravidlech. Tyto informace lze čerpat z dokumentace systému, pokud existuje, z rozhovorů s uživateli, z datového profilu, přímými dotazy do databáze, ze zdrojových kódů nebo technikami reverzního inženýrství. Získané informace tvoří metadata popisující zdrojový systém

46 Dalšími kroky jsou datové mapování, definice transformačních pravidel a odvozování požadavků na kvalitu informací a jejich řešení. Datové mapování znamená přiřazení atributů ze zdrojové databáze atributům z cílové databáze. Během mapování odhalíme případy, kdy je nutné hodnoty atributů změnit podle transformačních pravidel (převádět kódy číselníků, přepočítávat, transponovat, slučovat, rozdělovat, atd.). Požadavky na kvalitu migrovaných dat plynou jak z podmínek kladených cílovým systémem, tak z rozšiřujících podmínek stanovených zadavatelem, protože migrace je příhodná pro vyčištění nebo obohacení dat Nástroje a příprava Migrace, jako taková, je sice jednorázová, ale během vývoje a testování ji budeme provádět mnohokrát, a protože se skládá z mnoha odlišných kroků, je vhodné využít speciální nástroj, který spouštění automatizuje. Agresso Agresso INP INP OUT MAP DEF Prima NOP GPS DSE Obrázek 9: Schéma migrace pro projekt NOP Implementation (vlastní úprava) Příprava migrace spočívá ve vytvoření nebo konfiguraci migračního nástroje (především v zavedení mapovacích a transformačních pravidel), v nastavení kontrolních mechanizmů a ve shromáždění všech datových zdrojů (do migrace mimo zdrojové databáze vstupují typicky např. hodnoty cílových referenčních tabulek, náhradní zdroje dat definované uživatelem, parametry transformačních pravidel, atd.)

47 5.2.3 Provedení a testování Celý migrační proces se skládá z řady specifických kroků, které nám migrační nástroj umožňuje spustit jednotlivě nebo všechny najednou. Při provádění jednotlivých kroků jsou typicky zaznamenávány: kritické chyby neumožňující další pokračování procesu, kritické vady dat neumožňující zpracování daného záznamu, drobné nedostatky v datech, úspěšné provedení transformací a zápisu dat. Tyto informace nám slouží jako podklad pro zpřesnění metadat a úpravu kontrolních, migračních nebo transformačních procesů. Z hlediska kvality informací jsou zásadní před-migrační kontrolní reporty, které si ukážeme v následující kapitole a migrační log, který se hodí při dohledávání, jakým způsobem byl který záznam zpracován. Testování migrace provádíme jak ověřováním provedených transformací dle migračního logu, tak porovnáváním výsledku migrace proti původní databázi. 5.3 Data profiling Jak během přípravy datové migrace, tak při vyhodnocování kvality dat je nezbytné mít k dispozici spolehlivá metadata popisné informace o zpracovávaných datech. Vytvořením datového profilu můžeme získat velice dobrý základ metadat, nebo můžeme ověřit informace a předpoklady obsažené v dostupných metadatech. Datové profilování je typicky automatizovaný proces analýzy surových dat, jehož cílem je vytvoření popisných charakteristik uložených informací, statistické vyhodnocení a rozpoznání struktur a vazeb. David Loshin popisuje 43 datové profilování jako hierarchický proces, ve kterém začínáme analýzou jednotlivých atributů, pokračujeme analýzou vztahů mezi atributy jedné entity a v poslední úrovni profilu hledáme vazby mezi entitami. Zatímco analýza atributů je nejméně náročná, hledání vztahů a vazeb vyžaduje velmi výkonný databázový systém a profilovací nástroj. Tento přístup k datovému profilování je možné popsat jako výpočet hrubou silou, a to i přes možné využití různých sofistikovaných algoritmů blízkých data miningu. Výsledkem je značné množství dat, které vyžaduje další zpracování je potřeba vyhledat 43 LOSHIN David. Business Intelligence. Morgan Kaufmann,

48 užitečné informace a správně je interpretovat. Takto sestavovaný komplexní datový profil je velmi náročný na výkon systému a vhodné nástroje. V některých bodech s Loshinem souhlasím, ale během mé praxe se mi osvědčil jiný postup založený na pozorování a přirozené 44 inteligenci. Spíše než k data miningu bych jej přirovnal k reverznímu inženýrství. V drtivé většině případů se při datových migracích ani při analýze kvality dat nepracuje s nepopsanou množinou dat, ale s pojmenovanými tabulkami a sloupci v databázi plné klíčů, integritních omezení a dalších objektů. Často je možné rozeznat i nějakou jmennou konvenci. Vytvoření datového profilu tedy začínám pohledem do katalogu databáze, identifikací zajímavých využitých typů databázových objektů a jejich vlastností a pojmenování. Následně vlastním nástrojem vytvořím základní datový profil tak, že pospojuji informace dostupné v katalogu, informace odhalené z analýzy datového modelu a statistickou analýzu hodnot atributů do přehledné a provázané formy. Takto sestavený profil postupně doplňuji o slovní popis zjištěného významu atributů a hodnot a rozhodnutí o způsobu a případně cíli migrace (datové mapování). Teprve v případě, že narazím na uspořádání dat hodné dalšího a podrobnějšího zkoumání, provedu detailnější analýzu zaměřenou na souvislosti mezi atributy a entitami. Při rozpoznávání významu atributů a jejich hodnot se mimo názvů a hodnot samotných opírám o jejich popis a užití v aplikaci (např. v aplikačních formulářích), způsob užití v pohledech a procedurách v databázi nebo znalosti uživatelů. Hierarchičnost tohoto procesu spatřuji právě v drill-down postupu od rychle a snadno získatelných informací k detailní a náročné analýze omezené pouze na zajímavé oblasti. Výhodou takového přístupu je mnohem nižší náročnost na výkon databáze, nejsou nutné drahé proprietární nástroje, vlastní řešení je mnohem flexibilnější a výstupní datový profil není přesycen neužitečnými informacemi. Přístup však vyžaduje určité zkušenosti a čas. Pro analýzu datového profilu zdrojových databází jsem během projektu datové migraci vytvořil sadu skriptů, které vygenerují adresářovou strukturu hypertextových souborů popisujících zjištěná metadata. Tabulky jsou rozčleněny do tematických modulů, v názvech a popiscích tabulek a atributů je možné vyhledávat. 44 V protikladu k umělé

49 Obrázek 10: Příklad datového profilu tabulky (vlastní úprava) Na příkladu je možné vidět základní statistickou analýzu velikosti hodnot, počtu vyplněných a unikátních hodnot, příklad nejčastějších hodnot a průřezový příklad všech hodnot. V tabulce jsou identifikovány různé typy záznamů, pro které má smysl provést samostatnou analýzu (některé atributy jsou využity pouze u některých typů záznamů). Nevyužité atributy jsou automaticky skryty. David Loshin uvádí 45 následující aspekty, na které je dobré se při vytváření datového profilu zaměřit: Analýza rozsahu určení zda hodnoty tvoří určitý rozsah nebo zda odpovídají předpokládanému rozsahu. Prořídlost procentuální vyhodnocení naplněnosti. Určení formátu pokus o identifikaci formátu nerozpoznaných dat. Kardinalita a jedinečnost počet odlišných hodnot a jejich unikátnost. Frekvenční analýza hodnocení počtu opakování jednotlivých hodnot. Absence hodnot vyhodnocení významu prázdných hodnot. Rozpoznání abstraktního typu hledání vzorů v hodnotách. Analýza přetížení rozpoznání atributů užitých k více účelům. 45 LOSHIN David. Business Intelligence. Morgan Kaufmann,