Integrace dat MI-DSP 2013/14 RNDr. Ondřej Zýka, ondrej.zyka@profinit.eu
Požadavky o Očekává se, že integrace nebude jenom spojením systémů, ale že přinese i přidanou hodnotu. o Změny se provádějí pouze na jednom místě. o Minimalizace ruční práce a přepisování (Cut/past). o Nejenom integrace dat, ale podpora pracovních postupů. o Transformace mezi různými formáty.
Požadavky na integrační technologie o Stabilita o Udržovatelnost o Modifikovatelnost o Správa a dohled o Škálovatelnost o Způsob vývoje o Úplnost o Otevřenost o Podpora
Stabilita o Změna systému (upgrade, náhrada) nemá vliv na integrační prostředí změna zasáhne pouze malou část prostředí o Zatížení jedné části neovlivní dostupnost a rychlost ostatních propojení Udržovatelnost, modifikovatelnost o Systém je modulární o Úprava komponent neovlivní provoz ostatních částí systému o Je podporováno verzování o Je podporován provoz ve více prostředích (vývojové, testovací, akceptační, provozní) o Je podporována dokumentovatelnost implementace
Správa a dohled o Existují nástroje na dohled systému monitor stavu systému řízení systému a jeho komponent sledování procesů v systému sledování dat v systému možnost ručního zásahu do procesů a dat o Uživatelské rozhraní Vlastní GUI Přizpůsobitelné podle uživatelů a rolí Interface na standardní rozhraní (SNMP Simple Network Management Protocol, logger, EventLog, dohledové systém, )
Škálovatelnost o Dostatečná propustnost o Více možností jak zvyšovat výkonnost klastrové řešení podpora více úrovní hardware možnost dělení systému (geografické, funkční, doménové, ) o Granularita nastavení bezpečnosti Způsob vývoje o Vývojové nástroje Snadnost nasazení Podpora týmové práce Verzování o Programovací jazyk Java, C#, VB, C/C++ klikací XML o Podpora pro analýzu UML - Unified Modeling Language Designery třetích stran
Úplnost o Typy integrace Data integration Replikace ETL Event integration Messagind systems Service integration Webové služby o Transformace Mezi jednotlivými typy integrace Mezi formátem a strukturou předávaných dat o Počet a typy konektorů
Konektory JAVA CAPS BizTalk Server SAP ALE SAP BAPI Oracle Applications Siebel EAI PeopleSoft Oracle SQL Server DB2 Universal Database JDBC/ODBC Adapter DB2 Connect Sybase VSAM Informix Lotus Notes/Domino Sun Java System Application Server WebSphere MQ WebLogic Adapter for CICS Adapter for IMS File Adapter Toolkit eways Development Kit egate API Kit WebSphere MQ MSMQ/MSMQT WSE 2.0, HTTP, SMTP, Base EDI, EDIFACT File, FTP, SOAP, POP3 SQL Server 2000 and 2005 SAP SAP R/3 4.X and R/3 6.20 (Enterprise) PeopleSoft Enterprise 8.17.02, 8.43, and 8.45 J.D. Edwards OneWorld B7.3.3.3 J.D. Edwards EnterpriseOne 8.1 Oracle Database Oracle Siebel ebusiness Applications Siebel TIBCO Rendezvous TIBCO Enterprise Message Service Enterprise Message Service Host Applications IBM mainframe zseries DB2 Database File systems on IBM mainframe Windows SharePoint Services
Otevřenost o Standardy SOA XML SOAP WSDL UDDI BPEL BPMN o Konfigurovatelnost API Administrace Ovládání jádra
Integrační přístupy Asynchronní o V jednom okamžiku mají různé systémy různá data o Technologicky jednodušší o Nižší požadavky na průchodnost systému o Messaging Synchronní o Zaručuje konzistentní stav ve všech systémech pro všechny uživatele o Výpadek jednoho systému ovlivňuje všechny ostatní o Dvojfázový commit
Integrační přístupy Long-live operation Short-live operation o V rámci transakcí se vyžaduje interakce uživatelů, například schvalování o V řádu hodin a dnů o Businnes workflow aplication o Transakce probíhají tak rychle jak prostředí dovolí o Synchronní i asynchronní transakce o Většinou v řádu sekund o Messaging, ETL
Integrační přístupy Federation Mediation o Systém umožňuje (vynucuje) aby požadavky vznikaly jeho prostřednictvím a rozprostírá je do jednotlivých systémů. o MDM aplikace o Reaguje se na změny v jednotlivých systémech a ty se předávají ostatním systémům o Messaging o Replikace
Integrační přístupy Point-to-point Hub and spoke model Systém A Systém A Systém B Systém E Systém B Hub systém Systém D Systém C
Integrační přístupy Sender Receiver (Queue) Publisher Subscriber (Topic) Subsriber A Sender Receiver Publisher Subscriber B
Integrační přístupy Nekoordinovaně budované propojení Použití centrálního registru Systém A Systém B Systém C Systém D Systém A Systém B Systém C Systém D Register - Metadata Úroveň metadat Úroveň technologií
Identifikace změny o Indikace změn Timestamp Fronta událostí Technologicky (triggery) Aplikačně o Indikace rozsahu změn Objekt/záznam Položka/atribut, sloupec o Data Identifikace změny Nová data Nová i původní data
Insert Nový záznam Neúplný záznam Nekonzistentní záznam Duplicitní záznam Odmítnutí Dočasný zápis Validační proces
Update Změna záznamu Porušení konzistence Rozpoznání nezměněné položky Vytvoření duplicity, neúplného záznamu
Delete Zrušení záznamu Více typů zrušení záznamu neaktivní dokončený zrušený fyzický delete Logické zrušení (více typů) Fyzické zrušení Rozsah zrušení Vznik nekonzistencí
Integrační přístupy o Který systém má pravdu o Proč má pravdu o Jaké jiné hodnoty jsou/byly v některém systému zadány o Kdy a jak se měnily hodnoty, kdo je měnil (který systém)
Integrační paterny o Integrace na základě času o Použití datové kvality o Null hodnoty a jejich význam o Opravy a jejich dopad
Příklad použití datové kvality Complete user profile Scheduled Scheduled time time DQ DQ Real time Real time DQ DQ Scheduled Scheduled aircraft aircraft type type DQ DQ Real aircraft Real aircraft type type DQ DQ Sep 21 Sep 2004 21 2004 9:05PM 9:05PM 8 8 Sep 21 Sep 2004 21 2004 8:59PM 8:58PM 6 9 M84 M84 7 7 M83 M83 5 5 Account information history SRC Scheduled time DQ Real time DQ Scheduled aircraft type DQ Real aircraft type DQ SC Sep 21 2004 9:05PM 30 99 M83 30 99 FO Sep 21 2004 9:05PM 20 99 M83 15 99 MD Sep 21 2004 9:05PM 10 99 M84 7 99 AG Sep 21 2004 9:05PM 8 Sep 21 2004 9:00PM 20 99 M83 20 RL 99 Sep 21 2004 9:00PM 12 99 99 SI 99 Sep 21 2004 8:58PM 9 99 M83 5 MR 99 Sep 21 2004 8:59PM 6 99 M83 6 Zrušení informace v primárním systému
Použití Null hodnot Definice Zdroj Kvalita dat Null hodnota Datawarehouse 70 Ne Systém 90 Ne Druhý systém 80 Ano Příchozí data Zdroj Jméno Výsledek Datawarehouse Systém Druhý systém Pavel Jirka Tomáš?
Použití Null hodnot Definice Zdroj Kvalita dat Null hodnota Datawarehouse 70 Ne Systém 90 Ne Druhý systém 80 Ano Příchozí data Zdroj Jméno Výsledek Datawarehouse Pavel Systém Jirka Jirka Druhý systém Tomáš
Použití Null hodnot Definice Zdroj Kvalita dat Null hodnota Datawarehouse 70 Ne Systém 90 Ne Druhý systém 80 Ano Příchozí data Zdroj Jméno Výsledek Datawarehouse Pavel Systém Tomáš Druhý systém Tomáš
Použití Null hodnot Definice Zdroj Kvalita dat Null hodnota Datawarehouse 70 Ne Systém 90 Ne Druhý systém 80 Ano Příchozí data Zdroj Jméno Výsledek Datawarehouse Pavel Systém Druhý systém
Master Data Management o Správa klientů PARTY Role a vazby (Hausholding, ekonomicky spjaté subjekty, externí informace, scoring, ) o Správa produktů Dodavatelé, Obchodní proces, Design, Marketing, Nacenění, Partneři, Interní systémy, Náklady, Reporting, Konsolidace produktů o Správa centrálních číselníků Historizace, plánování, různé verze pravdy, propagace do systémů o Master Reference Data o Master Systém of Records o Master Registry o Synchronizace
Master Reference Data Zdroj A Datová integrace Automatické dávkové nebo realtime zpracování. Čištění, integrace, Standardizace, Zdroj B Data Warehouse Exceptions Zdroj C Správa výjimek
Master System of Record Zdroj A Datová integrace Automatické dávkové nebo realtime zpracování. Čištění, integrace, Standardizace, Zdroj B Master Databáze Zdroj C Správa výjimek Nové aplikace
Master Registry Datová integrace Automatické dávkové nebo realtime zpracování. Čištění, integrace, Standardizace, Zdroj A Zdroj B Zdroj C Registr vazeb Správa výjimek Nové aplikace
Synchronization Zdroj A Datová integrace Automatické dávkové nebo realtime zpracování. Čištění, integrace, Standardizace, Zdroj B Zdroj C Správa výjimek
Integrace o Integrací vzniká nová kvalita. o Nutno uvažovat s požadavky na dozor s nutností komunikace se správci jednotlivých systémů údržbu systému vytvoření adekvátní organizační struktury o Zásah do libovolného systému je zásah se může projevit jako závažný problém v ostatních systémech.
Integrace Testování o Testování je složité až nemožné o Míchání různých testovacích prostředí o Zapojení testerů všech systémů do testování Etapa nasazení o Nemožnost paralelního běhu o Připravenost na výskyt neočekávaných stavů nepředpokládané interakce smyčky v přenosu vzájemné ovlivňování systémů změna chování uživatelů
Rizika integračních projektů o Bezpečnost ztráta informací neautorizované modifikace právní odpovědnost pravdivost informací původ informací krádež služeb ztráta důvěry zákazníků příležitost pro fraud
Co si zapamatovat o o o o o o o o o o o o o Jaké jsou nejdůležitější požadavky na integrační technologie Jaký je rozdíl mezi synchronním a asynchronním předáváním dat Jaký je rozdílel mezi Federativním a Mediativním přístupem k integraci dat Jaký je rozdíl mezi Point-to-point a Hub-and-spoke integračním modelem Jaký je rozdíl mezi Send-Reciever a Publisher-Subsciber integračním modelem Jaké techniky se používají při indikaci dat, které je nutno přenášet v rámci integrace Jaké jsou hlavní problémy při vzniku nového záznamu v integračním systému Jaké jsou hlavní problémy při změně záznamu v integračním systému Jaké jsou hlavní problémy při zrušení záznamu v integračním systému Jak se používá datová kvalita při integraci dat z více systémů Co to je Master Data Management (MDM) Jaké architektury MDM se používají Jaká jsou hlavní rizika integračních projektů
www.profinit.eu Diskuse