Realtime prstředí a telc Jakub Reschke Praha, 13.11.2013
Obsah Prfinit a telc perátři Realtime a telc Technlgie a architektura Realtime use case Mnitring interních byznys prcesů Operativní reprting pr custmer care Dtazy d externích registrů Knslidace zákaznických dat Shrnutí 2
1 Prfinit a telc perátři
Prfinit a telc perátři Patnáct let zkušenstí s vývjem sftware, integrací a BI Splupráce se všemi třemi velkými telc perátry Datvé sklady Integrace Testvání Specializvané data marty 4
2 Realtime v telc segmentu
Realtime v telc segmentu etom Publikvaný rganizací TM Frum Referenční mdel pdnikvých prcesů, klíčvých prvků a jejich interakcí Cíl: splečné chápání pdnikvých prcesů typických nejen pr telekmunikační prstředí Přínsy Revize stávajících prcesů Optimalizace stávajících prcesů Dhda mezi pskytvateli tel. technlgií 6
etom
Realtime pžadavky Real time pžadavky Real time řešení 8
Realtime pžadavky Real time řešení z pdstaty telc byznysu Dba dezvy v milisekundách Řešení zalžen na technlgických standardech Dává telc perátrům vysku zkušenst s real time prblematiku 9
Realtime pžadavky Dba dezvy ve vteřinách až minutách Čast dávkvé zpracvání Zalžen na aplikacích ddavatelů a typu prcesů Aktivace a prvisining Billing Obchdní prcesy 10
Realtime pžadavky Data zpracvávána převážně dávkvě Řízen pžadavky zákazníků CRM eshp, webvý prtál 11
3 Technlgie a architektura
Enterprise applicatin integratin Sada technlgií a služeb tvřících middleware Integrace systémů a aplikací N aplikací, n * (n 1)/2 interakcí Přístup tp-dwn (byznys) Byznysvě rientvaná analýza Byznys architektura, BPM Přístup bttm-up (IT) IT přístup, vývjvě rientvané technické týmy 13
Integrační vzry Mediatin (intra-kmunikace) EAI systémy v rli prpagátrů infrmací d dalších systémů Duplikace, synchrnizace dat Federatin (inter-kmunikace) EAI v rli zastřešující fasády EAI systém vystaví relevantní infrmace a rzhraní, služby Knzumenti ( venkvní svět) kmunikují přes fasádu Oba vzry čast existují suběžně 14
Dělba zdpvědnstí Byznys Definice pžadavků (např. funkční, výknvé) Architektura Existují vzry, pr jedntlivé typy řešení Existuje infrastruktura pr jedntlivé typy řešení Definuje vzry pr jedntlivé pžadavky IT Zajišťuje implementaci Odpvídá za přijatelnu cenu 15
4 Realtime use case
Real time use case Mnitring interních byznys prcesů Kmpletní vyhdncení d 30 minut Sledvání aplikací splečně s integračními systémy Cíl: Zajistit sledvání kmplikvaných byznys prcesů Zajistit praktivní mnitring Řešení Specializvaný data mart a knektry pr aplikace Přínsy Schpnst sledvat a vyhdncvat byznys prcesy Nahrazení funkcinality BPM systémů 17
Real time use case Operativní reprting pr custmer care Dba dezvy v řádu minut Dtazy na mnh interních systémů Cíl: Získání real time phledů d prvzních systémů Řešení Využití EAI jak zastřešující fasády Přínsy Odpadá nutnst uchvávání a integrace všech dat v ODS Levná mdifikace reprtů (přidání zdrjů dat) 18
Real time use case Dtazy d externích registrů Dba dezvy jedntky vteřin Standardní rzhraní externích registrů Cíl: Minimalizace nákladů dtazy jsu finančně drahé Řešení: Kešvání dpvědí Přínsy Rychlejší pakvané dtazy Snížení nákladů 19
Real time use case Knslidace zákaznických dat Odezva v řádu milisekund Integrace dat z více systémů Cíl: Pdpra mikrsegmentace zákazníků Řešení Specializvaný data mart Specializvané publikační knektry Přínsy Pdpra marketingvých aktivit 20
5 Shrnutí
Shrnutí Pžadavky jsu tak rzdílné, že neexistuje Silver bullet technlgie ani řešení Z phledu firmy je Silver bullet fungující prpjení Byznys Architektura IT Zaručuje Jedntný dhled Jedntný ppis Jedntný mnitring Vždy se musí zvažvat cena versus pžadavky Pžadavek 1 sekunda neb 3 sekundy může být rzdíl v řádu milinů Je ptřeba mít vybudvanu technlgicku základnu a pužívat ji pdle ptřeby 22
Near Real-time Operatinal Data Stre Filip Miarka
Agenda C máme Kdy t nestačí Prč t nestačí Jak t vyřešíme C nám t přinese Na c si dát pzr 24
C máme * 25
Kdy a prč t nestačí Zpřístupnění auditních a transakčních dat d 15 minut d jejich vzniku Event driven marketing Transakční a kntaktní histrie Operatinal reprting Operační data d RT prcesů Knslidace klientských dat Splečná Staging Area pr peratinal využití i pr DWH ODS je zásbvána dávkvě s denní a delší peridu 26
Jak t řešíme * 27
C nám t přinese Operatinal Data Stre s nízku latencí Zvýšenu flexibilitu Lepší Time-t-market Otevřenu cestu k Centrálnímu perativnímu reprtingu Cmplex Event Prcessingu 28
Na c si dát pzr Prvzní dpady Demand Management Transfrmace v replikačním datvém prudu Kmplexní transfrmace Data!= Infrmace, Změna dat!= Událst 29
Real - time Pavel Janča 13. 11. 2013
O čem t bude C je Real-time Real-Time a architektura 31
1 C je Real-time
C je Real-time - latence Dba ddání infrmací Pčet transakcí Pužití Setiny sekundy Tisíce za sekundu Algritmic trading Sekundy (1-30) Stvky za sekundu Pdpra uživatelskéh rzhraní 1 minuta Desítky za sekundu Finanční a bchdní služby 10 minut Desítky za minutu Pdpra perativníh rzhdvání 1 hdina Bez mezení Byznys prcesy, lgistické prcesy 1 den Bez mezení Reprting
C je Real-time - Technlgie Dba ddání infrmací Setiny sekundy Sekundy (1-30) Specializvané technlgie Unikátní, gegrafický lkalizvaná prstředí Gegrafické clustery, Enterprise hardware 1 minuta Clustery 10 minut Ht standby 1 hdina Cld standby 1 den Ne, dávkvé zpracvání, perzistentní ulžení Závislst mezi latencí a cenu 34
C t je Real-time Oblasti vlivňující rychlsti pskytnutí dat Získání dat ze zdrje Zpracvání dat Materializace (pkud materializujeme) Vlastní pskytnutí dat Oblasti mhu být nezávislé a nezávisí puze na technlgiích Nelze pskytnut real-time data uzávěrky pkud uzávěrka běží 5 hdin Důležitá tázka je s jaku mnžinu dat pracujeme Data zákazníkvi RT ODS Všechna (fraud) - SODS
C t je Real-time Získání dat ze zdrje Vytváření extraktů s pžadvanu latencí Čtení zdrje dat s pžadvanu latencí Zamykání, zátěž zdrjvéh systému Úprava aplikace Drahé, nárčné na údržbu, nerealizvatelné Navázání na transakce v DB (technlgie CDC) Viz. další prezetnace Zpracvání dat Nástrj nepdprující RT (max. jedntky minut) Nástrj pdprující RT Zpracvání v DB (latence mezená schpnstí ddat data ze zdrje) Materializace a pskytnutí dat Materializujeme Nematerializujeme (Federace)
2 Mžnsti přístupu
Replikace výhdy a nevýhdy Výhdy Ověřené technlgie a pstupy Vyšší prpustnst Mžnst manuální intervence nad daty (unifikace, prava chyb) Nevýhdy Nutnst implementace nvé technlgie na zdrjvé systémy 38
Federace - výhdy a nevýhdy Výhdy Žádný přens dat (ETL) Přenášena jen pžadvaná data Real-time data Kratší čas vývje mžn vyvíjet p částech Minimalizace zdrjů pr ulžení a přensu dat Nevýhdy Nepredikvatelné zatěžvání zdrjvých systémů K dispzici jsu data puze ve zdrjvých systémech histrie Nižší prpustnst Nevhdné pr velké bjemy dat (caching) Část zátěže přenesena z databáze d nástrje pr federaci Aplikační server V případě výpadku jednh systému dmin efekt Většinu nutnst nvých licencí 39
3 RT a sučasná architektura
Architektura RT DWH Zdrjvé systémy DWH mart Integrace DWH cre 41
Architektura RT DWH Data se pskytují z DWH (Data Mart s rychlým přístupem) Výhdy Není nutné budvat nvu kmpnentu architektury Kmpletní histrie dat Nevýhdy Více krků ve zpracvání (větší latence) Svázání real-time dat pr business s DWH Time-t-market Velký dpad na existující datvý sklad (cena implementace) Vyská cena (SSD disky) Nevyzkušené řešení Pznámky Může nastat závislst na jiných datamartech (MDM) Neumžňuje (neb prblematicky) manuální intervenci Nutn řešit jak DQ tak MDM před DWH 42
Architektura RT ODS Zdrjvé systémy DWH mart Integrace ODS DQ DWH cre 43
Architektura RT ODS Data se pskytují z ODS Nevýhdy Nutné budvat nvu kmpnentu architektury Dtýká se DWH (knslidační kmpnenta a zdrj pr DWH) Většinu nemá histrizvaná data Výhdy Méně krků ve zpracvání (nižší latence) Samstatná kmpnenta architektury (Time-t-market) Vyzkušené řešení Pznámky Umžňuje manuální intervenci Může být řešením DQ i MDM 44
Infrmatica Real - time Pavel Janča 13. 11. 2013
Obsah Infrmatica Pwer Center Real-Time Editin (IPC RTE) Architektura Change Data Capture (CDC) Dplňky kl RT integrace Další mžnsti nástrje 46
1 Infrmatica Pwer Center
Ppis nástrje 48
IPC RTE versus IPC Zdrje Change Data Capture Enterprise service bus JMS (i.e., Infrmatica, Oracle, Sun, TIBCO, IBM, JBss) webmethds X-Brker IBM WebSphere MQ Micrsft MQ Cíle Enterprise service bus Chvání Vystavení lgiky jak Web service Vystavení lgiky jak Data service (detailněji dále v prezentaci) Schpnst bsluhvat pžadavky paralelně 49
2 CDC architektura
Kmpnenty Zdrj dat MS SQL, Oracle, DB2 Více způsbů získání dat (přímé čtení, lg shipping) Oracle RAC, ASM Listener Může běžet v architektuře kdekliv Více způsbů pr typ DB (lgminer, přímé čtení lgů) Definuje registrací (jaké slupce, kd je změnil, jaká hdnta se změnila) Lgger Může běžet v architektuře kdekliv Pžaduje a shrmažďuje data z listeneru Vlitelná část architektury Ukládá data d cndense file Vyvážení latence a zátěže zdrje 51
CDC architektura 52
CDC knfigurace listeneru Indikátr změny Befre / after image 53
CDC mapvání 54
CDC architektura - HA Nezbytná sučást pkud business pžaduje data rychle 55
3 Praktické pznatky
Praktické pznatky Iniciální lad Replikace sama sbě nestačí Předchází ji inicializační lad, který je ptřeba s CDC synchrnizvat Různé databáze / různé přístupy Sada tabulek z cca 3,5 Mi záznamů za 3:50 minut (partitining) Autmatizace Velký pčet entit a úknů Autmatická instalace Autmatické vytváření replikací a iniciálních sessin Mapping Architect fr Visi Jmenné knvence Jedntné úlžiště metadat Kexistence ETL a RT Oddělené dmény Oddělení služby Schpnst mezit službě knzumaci zdrjů serveru Operating System Prfiles 57
ETL & RT 58
ETL & RT 59
4 Data federatin
Data federatin 61
Ppis nástrje 62
Infrmatica Data federatin 7 1 Custmer Name Address Categry Orders Virtual Table 2 CRM Virtual Table Accunts 3 MODEL ACCESS & MERGE Business Manager Analyst, Steward Develper, Architect CRM Optimizatins & Caching Virtual Table Accunts Cmmn Metadata Virtual Table SCALE & PERFORM PROFILE IN RT 6 Business 5 4 IT Virtual Table DW Batch Web Services Call Center Accunts MOVE OR FEDERATE Query Engine Virtual Table WS Server REUSE INSTANTLY Virtual Table Advanced Transfrmatins, Data Quality, Data Masking TRANSFORM IN RT 63
Infrmatica Data federatin Imprt datvéh mdelu Lgický datvý mdel Infrmatica Prprietary/Cnfidential. Infrmatinal Purpses Only. N Representatin, Warranty r Cmmitment regarding Future Functinality. Nt t be Relied Upn in Making Purchasing Decisin.
Prfinit RT Framewrk pužívající Oracle AQ Ondřej Zýka 13. 11. 2013
? C se stane, když DWH dstane pžadavky na rychlu ddávku infrmací? 66
Prstředí datvéh skladu Stage Jádr Data mart Data mart 67
Od ETL k Real time ETL Extract Transfrm Lad Miliny záznamů za hdinu Denní dávkvé zpracvání řízené plánvačem Optimalizace zpracvání velikých dávek Využití pdpry hardware Teradata, Oracle, Sybae IQ, Netezza Využití sfistikvaných nástrjů Infrmatica, Oracle DI, AbIniti, MS SSIS 68
Snižvání dby dezvy Stage Jádr Data mart Data mart 69
Real time integrace dat MDM, Integrace Stage Jádr Data mart Data mart 70
Od ETL k Real time Zkracvání dby zpracvání Zkracvání intervalů ladů Vymýšlení zkratek a výjimek ve zpracvání Psílení hardware Teradata Active Enterprise Data Warehuse with Hybrid Strage Využití real-time mžnstí ETL nástrjů Infrmatica CDC, Oracle Glden Gate, SAP/Sybase Replicatin server 71
Prč a jak vznikl Prfinit RT framewrk Pžadavky zákazníků Řešení s extrémně rychlu dezvu Využití technlgické znalsti a zkušensti lidí Kmpatibilita s statními systémy Dávkvé i real-time zpracvání Cena Kmplikvané integrační algritmy První implementace Prprietární řešení Druhá implementace Standardní levná technlgie Oracle Advance Queue Znvupužitelné řešení Oddělení prcesní a věcné stránky řešení 72
Změna paradigmatu ETL Zpracvání na úrvni záznamu 73
Změna paradigmatu Zpracvání na úrvni záznamu Datvá struktura se nemění Prcedura transfrmující jeden záznam Vstup Identifikace záznamu Výstup Identifikace změněných záznamů C je ptřeba vyřešit Paralelní zpracvání Spuštění jedntlivých transfrmací 74
RT framewrk Stage Jádr Data mart Data mart 75
Prfinit RT framewrk Oracle Advance Queue Messaging systém implementvaný přím v databázi Umnžňuje libvně mnh paralelních zápisů a čtení frnt (enqueuing a dequeuing prcesů) Persistentní/Nepersistentní frnty Umžňuje definvat libvlnu strukturu zpráv Pužití v RT Framewrku Puze k řízení zpracvání data jsu v relačních strukturách Frnty mají jednduchu unifrmní strukturu bsahují puze identifikátry pr zpracvání Řízení paralelismu zpracvání pmcí pčtu prcesů zpracvávající transfrmace Stávající relační mdel Využití stávajících znalstí a kmpetencí Kmpatibilita se sučasným stavem 76
Zapjení d architektury Stávající řešení - DWH RT ODS RealTime Framewrk 77
Přínsy Prfinit RT Framewrku Snadná implementace Oddělení technické a věcné stránky řešení Jádr sahuje 1500 řádek kódu včetně lgvání, psílání emailů a dalších funkcinalit Integrační a byznys lgika 2500 Návrh transfrmací nemusí brát v úvahu výknnstní specifika datvéh skladu Supervize je nutná Snadný vývj na malém vzrku dat Snadné řízení paralelizace zpracvání Masivně spuštíme jednduché transfrmace Veliká kmpatibilita se stávajícími řešeními Extrémně krátká latence zpracvání Vyská prpustnst prti řešením zalženým na SOA 78
Nevýhdy Nižší prpustnst než ETL Příklad SUN prcesr, 6 jader Tři hlavní transfrmace DQ 3 paralelní prcesy Integrace (MDM) 5 Přepčet data martů 2 Zpracvání jednh záznamu < 3 sec Zpracvání 5 mil záznamů < 2 hd Omezení na Oracle technlgii Nutnst psát transfrmace v PL/SQL Neřeší vstup dat řešení puze pr RealTime zpracvání Pužili jsme jak dávky, tak SOA, tak ruční vstupy. 79
Něklik slv závěrem Pžadavky na snížení latence (rychlsti zpracvání) je lepší řešit změnu architektury a přístupu než nákupem silnějšíh hardware Pr nvé pžadavky je dbré uvažvat nvých řešení Ověřená řešení již existují jak pr RealTime ddání dat RealTime zpracvání dat RealTime prezentaci dat 80
Děkujeme za pzrnst Prfinit, s.r.., Tychnva 2, 160 00 Praha 6 Tel: +420 224 316 016, www.prfinit.eu