Realtime prostředí a telco. Jakub Reschke Praha,

Transkript

1 Realtime prstředí a telc Jakub Reschke Praha,

2 Obsah Prfinit a telc perátři Realtime a telc Technlgie a architektura Realtime use case Mnitring interních byznys prcesů Operativní reprting pr custmer care Dtazy d externích registrů Knslidace zákaznických dat Shrnutí 2

3 1 Prfinit a telc perátři

4 Prfinit a telc perátři Patnáct let zkušenstí s vývjem sftware, integrací a BI Splupráce se všemi třemi velkými telc perátry Datvé sklady Integrace Testvání Specializvané data marty 4

5 2 Realtime v telc segmentu

6 Realtime v telc segmentu etom Publikvaný rganizací TM Frum Referenční mdel pdnikvých prcesů, klíčvých prvků a jejich interakcí Cíl: splečné chápání pdnikvých prcesů typických nejen pr telekmunikační prstředí Přínsy Revize stávajících prcesů Optimalizace stávajících prcesů Dhda mezi pskytvateli tel. technlgií 6

7 etom

8 Realtime pžadavky Real time pžadavky Real time řešení 8

9 Realtime pžadavky Real time řešení z pdstaty telc byznysu Dba dezvy v milisekundách Řešení zalžen na technlgických standardech Dává telc perátrům vysku zkušenst s real time prblematiku 9

10 Realtime pžadavky Dba dezvy ve vteřinách až minutách Čast dávkvé zpracvání Zalžen na aplikacích ddavatelů a typu prcesů Aktivace a prvisining Billing Obchdní prcesy 10

11 Realtime pžadavky Data zpracvávána převážně dávkvě Řízen pžadavky zákazníků CRM eshp, webvý prtál 11

12 3 Technlgie a architektura

13 Enterprise applicatin integratin Sada technlgií a služeb tvřících middleware Integrace systémů a aplikací N aplikací, n * (n 1)/2 interakcí Přístup tp-dwn (byznys) Byznysvě rientvaná analýza Byznys architektura, BPM Přístup bttm-up (IT) IT přístup, vývjvě rientvané technické týmy 13

14 Integrační vzry Mediatin (intra-kmunikace) EAI systémy v rli prpagátrů infrmací d dalších systémů Duplikace, synchrnizace dat Federatin (inter-kmunikace) EAI v rli zastřešující fasády EAI systém vystaví relevantní infrmace a rzhraní, služby Knzumenti ( venkvní svět) kmunikují přes fasádu Oba vzry čast existují suběžně 14

15 Dělba zdpvědnstí Byznys Definice pžadavků (např. funkční, výknvé) Architektura Existují vzry, pr jedntlivé typy řešení Existuje infrastruktura pr jedntlivé typy řešení Definuje vzry pr jedntlivé pžadavky IT Zajišťuje implementaci Odpvídá za přijatelnu cenu 15

16 4 Realtime use case

17 Real time use case Mnitring interních byznys prcesů Kmpletní vyhdncení d 30 minut Sledvání aplikací splečně s integračními systémy Cíl: Zajistit sledvání kmplikvaných byznys prcesů Zajistit praktivní mnitring Řešení Specializvaný data mart a knektry pr aplikace Přínsy Schpnst sledvat a vyhdncvat byznys prcesy Nahrazení funkcinality BPM systémů 17

18 Real time use case Operativní reprting pr custmer care Dba dezvy v řádu minut Dtazy na mnh interních systémů Cíl: Získání real time phledů d prvzních systémů Řešení Využití EAI jak zastřešující fasády Přínsy Odpadá nutnst uchvávání a integrace všech dat v ODS Levná mdifikace reprtů (přidání zdrjů dat) 18

19 Real time use case Dtazy d externích registrů Dba dezvy jedntky vteřin Standardní rzhraní externích registrů Cíl: Minimalizace nákladů dtazy jsu finančně drahé Řešení: Kešvání dpvědí Přínsy Rychlejší pakvané dtazy Snížení nákladů 19

20 Real time use case Knslidace zákaznických dat Odezva v řádu milisekund Integrace dat z více systémů Cíl: Pdpra mikrsegmentace zákazníků Řešení Specializvaný data mart Specializvané publikační knektry Přínsy Pdpra marketingvých aktivit 20

21 5 Shrnutí

22 Shrnutí Pžadavky jsu tak rzdílné, že neexistuje Silver bullet technlgie ani řešení Z phledu firmy je Silver bullet fungující prpjení Byznys Architektura IT Zaručuje Jedntný dhled Jedntný ppis Jedntný mnitring Vždy se musí zvažvat cena versus pžadavky Pžadavek 1 sekunda neb 3 sekundy může být rzdíl v řádu milinů Je ptřeba mít vybudvanu technlgicku základnu a pužívat ji pdle ptřeby 22

23 Near Real-time Operatinal Data Stre Filip Miarka

24 Agenda C máme Kdy t nestačí Prč t nestačí Jak t vyřešíme C nám t přinese Na c si dát pzr 24

25 C máme * 25

26 Kdy a prč t nestačí Zpřístupnění auditních a transakčních dat d 15 minut d jejich vzniku Event driven marketing Transakční a kntaktní histrie Operatinal reprting Operační data d RT prcesů Knslidace klientských dat Splečná Staging Area pr peratinal využití i pr DWH ODS je zásbvána dávkvě s denní a delší peridu 26

27 Jak t řešíme * 27

28 C nám t přinese Operatinal Data Stre s nízku latencí Zvýšenu flexibilitu Lepší Time-t-market Otevřenu cestu k Centrálnímu perativnímu reprtingu Cmplex Event Prcessingu 28

29 Na c si dát pzr Prvzní dpady Demand Management Transfrmace v replikačním datvém prudu Kmplexní transfrmace Data!= Infrmace, Změna dat!= Událst 29

30 Real - time Pavel Janča

31 O čem t bude C je Real-time Real-Time a architektura 31

32 1 C je Real-time

33 C je Real-time - latence Dba ddání infrmací Pčet transakcí Pužití Setiny sekundy Tisíce za sekundu Algritmic trading Sekundy (1-30) Stvky za sekundu Pdpra uživatelskéh rzhraní 1 minuta Desítky za sekundu Finanční a bchdní služby 10 minut Desítky za minutu Pdpra perativníh rzhdvání 1 hdina Bez mezení Byznys prcesy, lgistické prcesy 1 den Bez mezení Reprting

34 C je Real-time - Technlgie Dba ddání infrmací Setiny sekundy Sekundy (1-30) Specializvané technlgie Unikátní, gegrafický lkalizvaná prstředí Gegrafické clustery, Enterprise hardware 1 minuta Clustery 10 minut Ht standby 1 hdina Cld standby 1 den Ne, dávkvé zpracvání, perzistentní ulžení Závislst mezi latencí a cenu 34

35 C t je Real-time Oblasti vlivňující rychlsti pskytnutí dat Získání dat ze zdrje Zpracvání dat Materializace (pkud materializujeme) Vlastní pskytnutí dat Oblasti mhu být nezávislé a nezávisí puze na technlgiích Nelze pskytnut real-time data uzávěrky pkud uzávěrka běží 5 hdin Důležitá tázka je s jaku mnžinu dat pracujeme Data zákazníkvi RT ODS Všechna (fraud) - SODS

36 C t je Real-time Získání dat ze zdrje Vytváření extraktů s pžadvanu latencí Čtení zdrje dat s pžadvanu latencí Zamykání, zátěž zdrjvéh systému Úprava aplikace Drahé, nárčné na údržbu, nerealizvatelné Navázání na transakce v DB (technlgie CDC) Viz. další prezetnace Zpracvání dat Nástrj nepdprující RT (max. jedntky minut) Nástrj pdprující RT Zpracvání v DB (latence mezená schpnstí ddat data ze zdrje) Materializace a pskytnutí dat Materializujeme Nematerializujeme (Federace)

37 2 Mžnsti přístupu

38 Replikace výhdy a nevýhdy Výhdy Ověřené technlgie a pstupy Vyšší prpustnst Mžnst manuální intervence nad daty (unifikace, prava chyb) Nevýhdy Nutnst implementace nvé technlgie na zdrjvé systémy 38

39 Federace - výhdy a nevýhdy Výhdy Žádný přens dat (ETL) Přenášena jen pžadvaná data Real-time data Kratší čas vývje mžn vyvíjet p částech Minimalizace zdrjů pr ulžení a přensu dat Nevýhdy Nepredikvatelné zatěžvání zdrjvých systémů K dispzici jsu data puze ve zdrjvých systémech histrie Nižší prpustnst Nevhdné pr velké bjemy dat (caching) Část zátěže přenesena z databáze d nástrje pr federaci Aplikační server V případě výpadku jednh systému dmin efekt Většinu nutnst nvých licencí 39

40 3 RT a sučasná architektura

41 Architektura RT DWH Zdrjvé systémy DWH mart Integrace DWH cre 41

42 Architektura RT DWH Data se pskytují z DWH (Data Mart s rychlým přístupem) Výhdy Není nutné budvat nvu kmpnentu architektury Kmpletní histrie dat Nevýhdy Více krků ve zpracvání (větší latence) Svázání real-time dat pr business s DWH Time-t-market Velký dpad na existující datvý sklad (cena implementace) Vyská cena (SSD disky) Nevyzkušené řešení Pznámky Může nastat závislst na jiných datamartech (MDM) Neumžňuje (neb prblematicky) manuální intervenci Nutn řešit jak DQ tak MDM před DWH 42

43 Architektura RT ODS Zdrjvé systémy DWH mart Integrace ODS DQ DWH cre 43

44 Architektura RT ODS Data se pskytují z ODS Nevýhdy Nutné budvat nvu kmpnentu architektury Dtýká se DWH (knslidační kmpnenta a zdrj pr DWH) Většinu nemá histrizvaná data Výhdy Méně krků ve zpracvání (nižší latence) Samstatná kmpnenta architektury (Time-t-market) Vyzkušené řešení Pznámky Umžňuje manuální intervenci Může být řešením DQ i MDM 44

45 Infrmatica Real - time Pavel Janča

46 Obsah Infrmatica Pwer Center Real-Time Editin (IPC RTE) Architektura Change Data Capture (CDC) Dplňky kl RT integrace Další mžnsti nástrje 46

47 1 Infrmatica Pwer Center

48 Ppis nástrje 48

49 IPC RTE versus IPC Zdrje Change Data Capture Enterprise service bus JMS (i.e., Infrmatica, Oracle, Sun, TIBCO, IBM, JBss) webmethds X-Brker IBM WebSphere MQ Micrsft MQ Cíle Enterprise service bus Chvání Vystavení lgiky jak Web service Vystavení lgiky jak Data service (detailněji dále v prezentaci) Schpnst bsluhvat pžadavky paralelně 49

50 2 CDC architektura

51 Kmpnenty Zdrj dat MS SQL, Oracle, DB2 Více způsbů získání dat (přímé čtení, lg shipping) Oracle RAC, ASM Listener Může běžet v architektuře kdekliv Více způsbů pr typ DB (lgminer, přímé čtení lgů) Definuje registrací (jaké slupce, kd je změnil, jaká hdnta se změnila) Lgger Může běžet v architektuře kdekliv Pžaduje a shrmažďuje data z listeneru Vlitelná část architektury Ukládá data d cndense file Vyvážení latence a zátěže zdrje 51

52 CDC architektura 52

53 CDC knfigurace listeneru Indikátr změny Befre / after image 53

54 CDC mapvání 54

55 CDC architektura - HA Nezbytná sučást pkud business pžaduje data rychle 55

56 3 Praktické pznatky

57 Praktické pznatky Iniciální lad Replikace sama sbě nestačí Předchází ji inicializační lad, který je ptřeba s CDC synchrnizvat Různé databáze / různé přístupy Sada tabulek z cca 3,5 Mi záznamů za 3:50 minut (partitining) Autmatizace Velký pčet entit a úknů Autmatická instalace Autmatické vytváření replikací a iniciálních sessin Mapping Architect fr Visi Jmenné knvence Jedntné úlžiště metadat Kexistence ETL a RT Oddělené dmény Oddělení služby Schpnst mezit službě knzumaci zdrjů serveru Operating System Prfiles 57

58 ETL & RT 58

59 ETL & RT 59

60 4 Data federatin

61 Data federatin 61

62 Ppis nástrje 62

63 Infrmatica Data federatin 7 1 Custmer Name Address Categry Orders Virtual Table 2 CRM Virtual Table Accunts 3 MODEL ACCESS & MERGE Business Manager Analyst, Steward Develper, Architect CRM Optimizatins & Caching Virtual Table Accunts Cmmn Metadata Virtual Table SCALE & PERFORM PROFILE IN RT 6 Business 5 4 IT Virtual Table DW Batch Web Services Call Center Accunts MOVE OR FEDERATE Query Engine Virtual Table WS Server REUSE INSTANTLY Virtual Table Advanced Transfrmatins, Data Quality, Data Masking TRANSFORM IN RT 63

64 Infrmatica Data federatin Imprt datvéh mdelu Lgický datvý mdel Infrmatica Prprietary/Cnfidential. Infrmatinal Purpses Only. N Representatin, Warranty r Cmmitment regarding Future Functinality. Nt t be Relied Upn in Making Purchasing Decisin.

65 Prfinit RT Framewrk pužívající Oracle AQ Ondřej Zýka

66 ? C se stane, když DWH dstane pžadavky na rychlu ddávku infrmací? 66

67 Prstředí datvéh skladu Stage Jádr Data mart Data mart 67

68 Od ETL k Real time ETL Extract Transfrm Lad Miliny záznamů za hdinu Denní dávkvé zpracvání řízené plánvačem Optimalizace zpracvání velikých dávek Využití pdpry hardware Teradata, Oracle, Sybae IQ, Netezza Využití sfistikvaných nástrjů Infrmatica, Oracle DI, AbIniti, MS SSIS 68

69 Snižvání dby dezvy Stage Jádr Data mart Data mart 69

70 Real time integrace dat MDM, Integrace Stage Jádr Data mart Data mart 70

71 Od ETL k Real time Zkracvání dby zpracvání Zkracvání intervalů ladů Vymýšlení zkratek a výjimek ve zpracvání Psílení hardware Teradata Active Enterprise Data Warehuse with Hybrid Strage Využití real-time mžnstí ETL nástrjů Infrmatica CDC, Oracle Glden Gate, SAP/Sybase Replicatin server 71

72 Prč a jak vznikl Prfinit RT framewrk Pžadavky zákazníků Řešení s extrémně rychlu dezvu Využití technlgické znalsti a zkušensti lidí Kmpatibilita s statními systémy Dávkvé i real-time zpracvání Cena Kmplikvané integrační algritmy První implementace Prprietární řešení Druhá implementace Standardní levná technlgie Oracle Advance Queue Znvupužitelné řešení Oddělení prcesní a věcné stránky řešení 72

73 Změna paradigmatu ETL Zpracvání na úrvni záznamu 73

74 Změna paradigmatu Zpracvání na úrvni záznamu Datvá struktura se nemění Prcedura transfrmující jeden záznam Vstup Identifikace záznamu Výstup Identifikace změněných záznamů C je ptřeba vyřešit Paralelní zpracvání Spuštění jedntlivých transfrmací 74

75 RT framewrk Stage Jádr Data mart Data mart 75

76 Prfinit RT framewrk Oracle Advance Queue Messaging systém implementvaný přím v databázi Umnžňuje libvně mnh paralelních zápisů a čtení frnt (enqueuing a dequeuing prcesů) Persistentní/Nepersistentní frnty Umžňuje definvat libvlnu strukturu zpráv Pužití v RT Framewrku Puze k řízení zpracvání data jsu v relačních strukturách Frnty mají jednduchu unifrmní strukturu bsahují puze identifikátry pr zpracvání Řízení paralelismu zpracvání pmcí pčtu prcesů zpracvávající transfrmace Stávající relační mdel Využití stávajících znalstí a kmpetencí Kmpatibilita se sučasným stavem 76

77 Zapjení d architektury Stávající řešení - DWH RT ODS RealTime Framewrk 77

78 Přínsy Prfinit RT Framewrku Snadná implementace Oddělení technické a věcné stránky řešení Jádr sahuje 1500 řádek kódu včetně lgvání, psílání ů a dalších funkcinalit Integrační a byznys lgika 2500 Návrh transfrmací nemusí brát v úvahu výknnstní specifika datvéh skladu Supervize je nutná Snadný vývj na malém vzrku dat Snadné řízení paralelizace zpracvání Masivně spuštíme jednduché transfrmace Veliká kmpatibilita se stávajícími řešeními Extrémně krátká latence zpracvání Vyská prpustnst prti řešením zalženým na SOA 78

79 Nevýhdy Nižší prpustnst než ETL Příklad SUN prcesr, 6 jader Tři hlavní transfrmace DQ 3 paralelní prcesy Integrace (MDM) 5 Přepčet data martů 2 Zpracvání jednh záznamu < 3 sec Zpracvání 5 mil záznamů < 2 hd Omezení na Oracle technlgii Nutnst psát transfrmace v PL/SQL Neřeší vstup dat řešení puze pr RealTime zpracvání Pužili jsme jak dávky, tak SOA, tak ruční vstupy. 79

80 Něklik slv závěrem Pžadavky na snížení latence (rychlsti zpracvání) je lepší řešit změnu architektury a přístupu než nákupem silnějšíh hardware Pr nvé pžadavky je dbré uvažvat nvých řešení Ověřená řešení již existují jak pr RealTime ddání dat RealTime zpracvání dat RealTime prezentaci dat 80

81 Děkujeme za pzrnst Prfinit, s.r.., Tychnva 2, Praha 6 Tel: ,