Integrace dat Profinit. All rights reserved.

Transkript

1 Integrace dat RNDr. Ondřej Zýka 2014 Prfinit. All rights reserved.

2 Obsah Kategrizace integračních přístupů Krky integrace a řešení prblematických stavů Master Data Management 2014 Prfinit. All rights reserved. 2

3 Synchrnní Asynchrnní Akceptvaný pžadavek na primárním systému je akceptván na všech systémech. Akceptvaný pžadavek se přenese na všechny systémy, tam není zaručena jeh akceptace. Všechny strany vidí najednu stejná data. Všechny strany dstanu všechny pžadavky. Technicky nerealizvatelné Výkn dpvídá nejslabšímu článku systému Průchdnst jak infrastruktura dvlí. Aby prběhla transakce, musí být celý systém funkční Dvjfázvý cmmit Výpadek cílvéh systému nevlivní schpnst zadat pžadavky. Různé typy pštvních (messaging) systémů 2014 Prfinit. All rights reserved.

4 Shrt-live transactin Lng-live transactin Rychlst transakcí závisí puze na výknu infrastruktury. V rámci transakce je mžná interakce uživatele Prvedení maximálně v řádu sekund Výpadek infrastruktury transakci uknčí. Pužívá se rllback Například databázvá transakce Může trvat i jedntky dnů Transakce přežije výpadek infrastruktury Pužívá se pravný kód Například transakce v BPM systémech 2014 Prfinit. All rights reserved.

5 Datvá integrace Materializvané úlžiště Virtuální phledy Vzniká nvé úlžiště integrvaných dat Puze metadata mdelech, vazbách a transfrmacích Umžňuje výpčetně nárčné algritmy integrace Data se získávají a transfrmace se prvádějí až při dtazu Dtazy na integrvaná data jsu rychlé, zvládají velké mnžství dtazů Není třeba udržvat integrvaná data (velikst, výpčtvá nárčnst, aktuálnst) Příklady Puze malý pčet dtazů DWH ODS Příklady Dhled a prvz 2014 Prfinit. All rights reserved.

6 Datvá integrace ETL, ELT Replikace Extract-Transfrm-Lad Replikace datvých prstrů Extract-Lad-Transfrm Replikace na úrvni transakcí Dávkvé zpracvání Malé mžnsti transfrmací Pdpra slžitých transfrmací Real-time integrace Full lad, přírůstkvý lad Vyžaduje vyspělejší databáze Primárně pr Datvý sklad Asynchrnní integrace 2014 Prfinit. All rights reserved.

7 Federatin Mediatin Systém umžňuje (vynucuje) aby pžadavky vznikaly jeh prstřednictvím a rzprstírá je d jedntlivých systémů. Příklady MDM aplikace ESB Reaguje se na změny v jedntlivých systémech a ty se předávají statním systémům Příklady Messaging Replikace 2014 Prfinit. All rights reserved.

8 Sender Receiver Publisher Subscriber Zdrj zná své cíle Zdrj je schpen reagvat na zprávy d cíle Cíl je schpen infrmvat zdrj Chybná zpráva Žádst pakvání Zdrj se nezajímá cíle, mnžství a typy cílů zdrj nijak nevlivňují Cíl může debírat data bez znalsti zdrje Cíl nemá zaručen, že má všechny data Žádst synchrnizaci (všechna data) Subsriber A Publisher Sender Receiver Subscriber B 2014 Prfinit. All rights reserved.

9 Pint-t-pint Hub and Spke Přímá kmunikace mezi systémy navzájem Každý systém kmunikuje puze s centrální systémem (Hub) Každý systém mnh partnerů Různé technlgické úrvně, materializvané i virtuální data Příklady: ESB, MDM, ODS Systém A Systém E Systém B Systém A Systém B Hub systém 2014 Prfinit. All rights reserved. Systém D Systém C

10 Granularita integrace Full (business) bject Data recrd Infrmace vždy celém bjektu Snadná identifikace změn Snadná inicializace Snadné řešení relačních vazeb a knzistencí Nutnst zpracvat celý bjekt ve zdrji a cíli Vyské nárky na přensvu kapacitu Jedndušší způsb získávání stavu před a p změně Veliké mnžství malých zpráv - nárky na režii přensů Vyské nárky na věření integrity na cílvé straně 2014 Prfinit. All rights reserved.

11 Krky integrace Identifikace změny Insert záznamu Update záznamu Delete záznamu Prblematika více systémů Integrace na základě času Integrace na základě datvé kvality Řešení nedstupnsti dat 2014 Prfinit. All rights reserved. 11

12 Identifikace změny Indikace změn Timestamp Frnta událstí Technlgicky (triggery) Aplikačně Indikace rzsahu změn Objekt/záznam Plžka/atribut, slupec Data Identifikace změny Nvá data Nvá i půvdní data 2014 Prfinit. All rights reserved. 12

13 Insert Nvý záznam Výsledek Neúplný záznam Neknzistentní záznam Duplicitní záznam Řešení Odmítnutí Dčasný zápis Validační prces 2014 Prfinit. All rights reserved. 13

14 Update Update záznamu Výsledek Prušení knzistence Vytvření duplicity Vytvření neúplnéh záznamu Nerzpznání měněnéh záznamu (ztráta infrmace změně) 2014 Prfinit. All rights reserved. 14

15 Delete Delete záznamu Výsledek Mnh typů zrušení záznamu neaktivní Vznik neknzistencí Řešení dknčený zrušený fyzický delete Lgické zrušení (více typů mapvání na stavy zdrjvých systémů) Fyzické zrušení 2014 Prfinit. All rights reserved. 15

16 Prblematika více systémů Nvé typy tázek Který systém má pravdu Prč má pravdu Jaké jiné hdnty jsu v některém systému zadány Jaké hdnty byly v kterém systému v minulsti Na základě jakých příčin se měnily dat v jedntlivých systémech 2014 Prfinit. All rights reserved.

17 Integrace na základě času Nvější údaje jsu přesnější Definice času údaje Zadání d primárníh systému Dba přenesení d cílvéh systému Jak řešit paralelní zadávání dat? Granularita identifikace času Pr celý záznam Pr jedntlivé datvé plžky 2014 Prfinit. All rights reserved. 17

18 Příklad pužití datvé kvality Cmplete user prfile Scheduled Scheduled time time DQ DQ Real time Real time DQ DQ Scheduled Scheduled aircraft aircraft type type DQ DQ Real aircraft Real aircraft type type DQ DQ Sep 21 Sep :05PM 9:05PM 8 8 Sep 21 Sep :59PM 8:58PM 6 9 M84 M M83 M Accunt infrmatin histry SRC Scheduled time DQ Real time DQ Scheduled aircraft type DQ Real aircraft type DQ SC Sep :05PM M FO Sep :05PM M MD Sep :05PM M AG Sep :05PM 8 Sep :00PM M83 20 RL 99 Sep :00PM SI 99 Sep :58PM 9 99 M83 5 MR 99 Sep :59PM 6 99 M83 6 Zrušení infrmace v primárním systému 2014 Prfinit. All rights reserved.

19 Řešení nedstupnsti dat Definice Zdrj Kvalita dat Null hdnta Datawarehuse 70 Ne Systém 90 Ne Druhý systém 80 An Příchzí data Zdrj Jmén Výsledek Datawarehuse Systém Druhý systém Pavel Jirka Tmáš? Vyšší hdnta kvality dat má přednst 2014 Prfinit. All rights reserved. 19

20 Řešení nedstupnsti dat Definice Zdrj Kvalita dat Null hdnta Datawarehuse 70 Ne Systém 90 Ne Druhý systém 80 An Příchzí data Zdrj Jmén Výsledek Datawarehuse Systém Druhý systém Pavel Jirka Tmáš Jirka Vyšší hdnta kvality dat má přednst 2014 Prfinit. All rights reserved. 20

21 Řešení nedstupnsti dat Definice Zdrj Kvalita dat Null hdnta Datawarehuse 70 Ne Systém 90 Ne Druhý systém 80 An Příchzí data Zdrj Jmén Výsledek Datawarehuse Systém Druhý systém Pavel Tmáš Tmáš Vyšší hdnta kvality dat má přednst 2014 Prfinit. All rights reserved. 21

22 Pužití Null hdnt Definice Zdrj Kvalita dat Null hdnta Datawarehuse 70 Ne Systém 90 Ne Druhý systém 80 An Příchzí data Zdrj Jmén Výsledek Datawarehuse Pavel Systém Druhý systém 2014 Prfinit. All rights reserved.

23 Master Data Management Správa klientů PARTY Rle a vazby (Haushlding, eknmicky spjaté subjekty, externí infrmace, scring, ) Správa prduktů Ddavatelé, Obchdní prces, Design, Marketing, Nacenění, Partneři, Interní systémy, Náklady, Reprting, Knslidace prduktů Správa centrálních číselníků Histrizace, plánvání, různé verze pravdy, prpagace d systémů Master Reference Data Master Systém f Recrds Master Registry Synchrnizace 2014 Prfinit. All rights reserved. 23

24 Master Reference Data Zdrj A Datvá integrace Autmatické dávkvé neb real-time zpracvání. Čištění, integrace, Standardizace, Zdrj B Data Warehuse Exceptins Zdrj C Správa výjimek 2014 Prfinit. All rights reserved. 24

25 Master System f Recrd Zdrj A Datvá integrace Autmatické dávkvé neb real-time zpracvání. Čištění, integrace, Standardizace, Zdrj B Master Databáze Zdrj C Správa výjimek Nvé aplikace 2014 Prfinit. All rights reserved. 25

26 Master Registry Zdrj A Datvá integrace Autmatické dávkvé neb real-time zpracvání. Čištění, integrace, Standardizace, Zdrj B Zdrj C Registr vazeb Správa výjimek Nvé aplikace 2014 Prfinit. All rights reserved. 26

27 Synchrnizatin Zdrj A Datvá integrace Autmatické dávkvé neb real-time zpracvání. Čištění, integrace, Standardizace, Zdrj B Zdrj C Správa výjimek 2014 Prfinit. All rights reserved. 27

28 Integrace Integrací vzniká nvá kvalita. Nutn uvažvat pžadavky na dzr nutnst kmunikace se správci jedntlivých systémů údržba jedntlivých systému vytvření adekvátní rganizační struktury řízení změn je nutné na úrvni všech integrvaných systémů!!!! Zásah d libvlnéh systému se může prjevit jak závažný prblém v statních systémech Prfinit. All rights reserved. 28

29 Integrace rizika prjektů Testvání Testvání je slžité a časvě nárčné Čast nutnst míchání různá testvací a prdukční prstředí Nutnst zapjení testerů (autmatů) d všech systémů Nasazení Nemžnst paralelníh běhu Prvz - nutnst přípravy na výskyt nečekávaných stavů nepředpkládané interakce smyčky v přensu vzájemné vlivňvání systémů změna chvání uživatelů 2014 Prfinit. All rights reserved. 29

30 Integrace rizika prjektů Bezpečnst ztráta infrmací neautrizvané mdifikace právní dpvědnst pravdivst infrmací půvd infrmací krádež služeb ztráta důvěry zákazníků příležitst pr fraud 2014 Prfinit. All rights reserved. 30

31 C si zapamatvat Kategrizace integračních přístupů Techniky indikace dat Rzdíl mezi synchrnní a asynchrnní integrací Jaké techniky se pužívají při indikaci dat, které je nutn přenášet v rámci integrace Jaké jsu hlavní prblémy při zrušení záznamu v integračním systému Jak se pužívá datvá kvalita při integraci dat z více systémů C t je Master Data Management (MDM) Jaká jsu hlavní rizika integračních prjektů 2014 Prfinit. All rights reserved. 31

32 2014 Prfinit. All rights reserved. Diskuse