čase Jiří Gregor, Progress Software Agenda Událostmi řízený podnik Přehled technologie

Transkript

1 Komplexní zpracování událostí v reálném čase Jiří Gregor, Progress Software mail@jirigregor.cz Událostmi řízený podnik Přehled technologie Příklady Agenda

2 Výzvy pro zpracování dat ve spojení s toky událostí Hodnota dat z toků událostí rychle klesá s časem Bez okamžité reakce na příležitosti nebo hrozby se příležitosti vytratí a hrozby realizují. Jednoduché události musí být transformovány na události s vyšší složitostí/hodnotou, aby mohly být zpracovány podnikovými procesy Zpracování elementárních událostí musí být podporováno výkonným ý grafickým prostředím pro tvorbu scénářů zpracování Enormní množství snímaných dat nejsou tradiční systémy pro integraci a zpracování dat schopny zpracovat v požadovaném časovém rámci. Vliv času na zpoždění mezi událostí a reakcí

3 CEP přináší podniku konkurenční výhody (kapitálové trhy) Obchodování v reálném čase (algoritmické obchodování) - umístění objednávky dříve, než dojde kuzavření okna příležitosti. Řízení likvidity v reálném čase fragmentované zdroje likvidity náklady použití každého zdroje se rychle mění v čase. řada regulačních požadavků a limitů, v každé zemi rozdílné a s vlastní dynamikou. Řízení rizika v reálném čase respektive výpočet tzv. expozice v různých pozicích. Alokace kapitálu v reálném čase. Real-time compliance - pro organizaci je životně důležité objevit případné porušení regulace včas. Real-time fraud detection - sledování nedovolených operací na kapitálových trzích, ovlivňování cen, insider trading a další. CEP přináší hodnotu podniku - Podle Gartner Group [2] Lepší kvalita rozhodování nejenže počítač vyhodnotí daleko více dat než člověk, ale také méně často dělá chyby a jeho rozhodování je konzistentní a opakovatelné. atelné Rychlejší odpověď na příležitosti a hrozby při algoritmickém obchodování může trvat nákupní/prodejní rozhodnutí 20ms. Prevence zahlcení daty CEP si vyžádá lidskou pozornost jen tehdy, když nějaká kombinace událostí na vstupu splní podmínky dané v některém ze scénářů. Lidé jsou vyrušováni méně ě často. t Snížení nákladů - redukce spotřeby lidské práce na rutinní a opakovanou činnost.

4 CEP se liší od dřívějších systémů řízení v reálném čase Data řídící tyto aplikace přicházejí i ze zdrojů zvenku, často ze zdrojů distribuovaných, nejen z tzv. uzavřené smyčky. Reprezentují potenciálně (deseti)tisíce událostí za vteřinu. Vznikající událostmi řízené systémy nemohou být plně specifikovány předem. Potřebujeme rozvíjet monitorující a reagující aplikaci v libovolném čase. CEP často vyžadují velmi rychlou a efektivní interakci s odborným uživatelem spolupracujícím na stanovení vhodné formy odpovědi. Tradiční vnořené technické systémy typicky regulují desítky scénářů, CEP potřebují zpracovat události oproti tisícům i desetitisícům scénářů a vzorů, a jejich agregacím nebo permutacím. Rychlý přehled o situaci na trhu (Bloor)

5 Agenda Událostmi řízený podnik Přehled technologie Příklady Přehled technologie Registrační úloha klasických aplikací Transakce jako registrace složitých operací Absence historie Data bez časového razítka Složitá formální struktura, striktní pravidla ukládání Čekání na informace nepotřebné k operativnímu rozhodování P1 t1 P1 t2 Události P1 t1, P1 t2 Časová osa Transakce (zápisy do DB) P1 t1, P1 t2 P1 t1 P1 t2

6 Zpracování událostí: nové paradigma Statické zpracování dat: Které akcie minulý týden nejvíce rostly? Toky událostí čas Complex Event Processing: Pokud Microsoft vzroste o dvě procenta nad svůj pětiminutový růstový průměr, kupuj ihned. Kupuj Business Activity Monitoring (BAM) CEP je mozek BAM Klasický řídicí panel BAM : Zobraz mi nejlépe fungující obchodní strategie během poslední hodiny. čas Komplexní zpracování událostí: Zpracovává a monitoruje více obchodních strategií a v reálném čase aktualizuje P&L řídicí panel (výsledovku)...

7 Typický systém pro komplexní zpracování událostí v reálném čase (CEP) poskytuje: Infrastrukturu zpracování událostí se schopností škálovat a dodat rychlou analýzu velkých objemů proudících událostí. Unifikovaný rámec (framework) pro rozpoznávání řetězců událostí s analytikou, rozlišující různé typy událostí a proudů. Architekturu, která podporuje simultánní zpracování tisíců (i více) individuálních událostí oproti tisícům (i více) scénářů. Jazyk pro zpracování událostí s časově citlivou logikou. Grafické prostředky, které umožňují business analytikům podílet se na vývoji CEP. Vývojové prostředí (rychlý vývoj událostmi řízené aplikace). Nástěnku zobrazovacích panelů, grafické zobrazení informací. Zachycení a opakované přehrání proudů dat (analýza příčin, forenzní analýza, testování nových aplikací, what-if simulace. Integrační rámec (včetně naváznosti na SOA) Komplexní zpracování událostí přináší Stroj jpro zpracování komplexních událostí (korelátor) Definice obch. pravidel Významné události Tok nezpracovaných událostí HW rozhraní Páteřní vrstva (Middleware backbone) Archív událostí Distribuce, analýza a archivace událostí Podnikové aplikace Řídící panely

8 Přehled technologie Událost Vnější událost Odvozená událost Významná událost Časové razítko události Hledání významu v událostech Komplexní zpracování událostí (CEP) Vnější události Komplexní zpracování Významné události podezření na zneužití karty - spustí se definovaná akce. Když je požadována platba kartou XXX následována dalším požadavkem platby kartou XXX ajesplněna podmínka podle definovaného vzorce *Podmínka podle definovaného vzorce může být např. čas mezi transakcemi je kratší než a vzdálenost mezi platebními místy je delší než

9 Přehled technologie Procesní jazyk (EPL) Jazyk pro zpracování příchozích událostí Zahrnutí časového intervalu Různé přístupy Porovnání Jazyky na bázi SQL Coral 8, CCL (Continuous Computation Language) Streambase, Stream SQL Jazyky na bázi Java Apama Přehled technologie Procesní jazyk na bázi SQL Coral8 Insert Into StreamAvgPrices Select Instrument, Avg(Price) From StreamTrades Keep 5 minutes Where Volume >= Group By Symbol

10 Přehled technologie Procesní jazyk na bázi SQL - StreamSQL SELECT Instrument, Price FROM PATTERN (Sell THEN Buy) WITHIN 60 TIME CREATE INPUT STREAM CREATE OUTPUT STREAM Přehled technologie Procesní jazyk na bázi Java - Apama Monitor NewsCorrelation { action onload { on NewsItem(Instrument = IBM ) StockTick(Instrument = IBM, Price = 50.0) within (300.0) alertuser; } action alertuser { log %StockTick.Instrument% looks impacted by latest news ; emit PlaceSellOrder(StockTick.Instrument,StockTick.Price,1000.0); StockTick Price 0); } Dvě události Nejprve NewsItem StockTick v průběhu 300 sekund

11 Přehled technologie Scénář Stavovýý proces p s konečným ý p počtem stavů Formální předloha komplexních business procesů v EPL Zahrnutí dříve nepodporovaných business procesů Stav St scénáře é ář popisuje i j stav t iimplementovaného l t éh b business i procesu Změna stavu scénáře Výskyt nebo absence výskytu události v definovaném časovém rámci Podpora grafického vývoje [Základní strategie (building blocks)] Scénář zpracování komplexních událostí Obchodovací algoritmus WHEN MSFT price moves outside 2% of MSFT-15-minute-VWAP FOLLOWED-BY ( S&P moving by 0.5% AND ( HPQ s price moves up by 5% OR MSFT s price moves down by 2% ) ) ALL WITHIN any 2 minute time period THEN BUY MSFT SELL HPQ S&P500 MSFT 15MIN-VWAP vícenásobné datové toky řízení událostmi komplexní sekvence událostí časové sekvence bezprostřední akce NYSE NASDAQ

12 Scénář vývojové prostředí Apama Architektura - Apama Event Modeler Řídící panel scénářů Web Nahrání scénáře Web aplikace Aplikační server Zpracování scénáře Event Manager Řídící panel scénářů Předání události podnikovým aplikacím Sonic ALE

13 Přehled technologie Event Engine Provozní prostředí CEP Výkonná jednotka - korelátor Správa instancí scénářů v paměti Porovnávání proudu událostí se scénářem Sekvenční zpracování Řetězení Event Enginů Paralelní zpracování Podpora nepřerušeného provozu Přehled technologie Adaptéry Napojení na toky událostí Zdroje zpráv Zdroje finančních informací RFID zdroje Zdroje dopravních informací Standardní adaptéry Reuters, Dow Jones, BrokerTec,.. HTTP Výkonnostní omezení Vlastní vývoj

14 Integrace s podnikovými aplikacemi Přehled technologie Doplnění událostí o data z podnikových aplikací (obohacení událostí) Doplnění názvů k identifikátorům pro zobrazení na řídícím í panelu Vyhledání jednotkové ceny, váhy, objemu Nalezení správného adresáta zprávy Konverze měn podle kursovního lístku Změny prahových hodnot Přehled technologie Integrace s podnikovými aplikacemi Úzké hrdlo výkonnosti Apama Ukládání potřebných dat v paměti (Forward Cache) Data dostupná v in-memory speed Streambase, Coral8 Speciální rozhraní do hlavních databází a DWH Streambase nerozlišuje mezi adaptéry a integrací s podnikovými aplikacemi

15 Přehled technologie Řídící panely a monitorování business aktivit Aplikace nad CEP (viz část příklady) Ukládání událostí Event Store Paměť (Uložená data mají časové razítko) Přehrávání toku událostí Analýza toků dat Tvorba business pravidel a scénářů Testování scénářů Audit, forenzní analýza digitálních dat Uživatelské role Kvalifikovaní uživatelé Potřeba nových kritérií Tvůrci scénářů Řídící panely Spouštění scénářů, instancí, editace parametrů Web UI Skládání strategií, scénářů, testování, provoz, rozvoj Nabídka nových scénářů Technologové Stavební kameny strategií Analytici třetíchvlastní funkce stran Atd. Zpracování událostí

16 Agenda Událostmi řízený podnik Přehled technologie Příklady Příklad ochrany před krádeží

17 Ochrana před (nejen) krádeží v mobilní telefonii Monitorování CDR (Call Detail Record or IPDR records). Identifikace klonovaných SIM karet Identifikuj užití stejné SIM karty současně na různých místech Nebo na různých místech v rozdílných časech, ale kratších než čas potřebný na překonání vzdálenosti. Obranná analýza hovorů ů a hledání (korelujících) í trendů Identifikuj že nebo kdy osoba A volá osobu B Dlouhé hovory (např. international) z jednoho telefonu Hodně krátkých hovorů na jeden telefon (call resellers) Za sebou jdoucí hovory na každý telefon podle seznamu nebo v ústředně hacker hledá (pinging) vstup do systému nebo kompetitor audituje Vaše zákazníky. Dynamické řízení úrovně služeb (SLA) Vnější události Komplexní zpracování Významné události Vzniká významná událost Problém s bank app varování operátora 1 minuta následně ě následně ě disponibility bank app < 99%... zpráva o rostoucím využití sítě zdržení login >5%

18 Řízení úrovně služeb & ESP IF app availability < 99% Disponibilta aplikace FOLLOWED-BY Network utilization > 90% WITHIN 10 minutes Využití sítě Zdržení při přihlášení AVAILABILITY BELOW SLA UTILIZATION > 90% FOLLOWED-BY login latency > 5s WITHIN 10 minutes ACTION ALERT OPERATOR AVAILABILITY DROPS ALERT OPERATOR Motivy pro CEP v Telco Oblast Motiv Dodávka a trasování podle obsahu Vyhodnocování v reálném čase Zpoplatnění služeb Nedá se provést dodatečně y mění Pravidla se rychle j za běhu Pravidla se dolaďují QoS a SLA Vyhodnocování v reálném čase y reakce nese úspory p y Rychlá Detekce krádeží Měnící se priority p v mase dat Rozpoznání BAM Rychlá reakce podmínkou úspěšné obrany Viz dále

19 BAM řídící panely : Rozsáhlé kontinuum Infrastrukturní služby vs. Business Procesy / Události Perspektiva IT Perspektiva pro Business Monitorování dodávky služeb Monitorování výkonnosti businessu Actional Monitorování infrastruktury Monitorování dynamiky aplikací Monitorování exekuce Apama BAM k o n t i n u u m Aplikační menu Vyber si službu a nebo aplikaci k monitorování dtto

20 Hlavní obrazovka pro hlasové služby Překryvné panely Více detailů Drilldown podrobnější panely Prahové hodnoty Detaily služby Geografický pohled KPI hodnoty Týdenní pohled Detaily uzlu Varování / Alerts

21 Řízení prahových hodnot a ceníků Uživatel může změnit prahové hodnoty Změněné hodnoty se okamžitě promítnou do řídících panelů Řešení pro FSA (Anglický FED) Trading Parties TMU Equities Commodities Derivatives SAS Benchmarks Apama Scenarios Event Manager Real-Time T+1 KDB+ Adaptor KDB+ Event Modeler

22 Architektura CEP/BAM a tradiční transakční aplikace CEP/BAM jako jeden z výkonných transakčních systémů Vedle jiných transakcí (například platba kartou, výběr z karty aj.) provádí dohled nad jejich vstupními a výstupními daty a event. spouští jednoduché (zde obranné) transakce (zablokování, varovaní aj.) Monitoruje vstupní data a řadu dalších proudů dat z okolí a podle trendů nastavuje významné události, měnící transakční podmínky nebo prahy (např. ř pro dynamický billing nebo pro billing podle obsahu) Architektura CEP/BAM a tradiční transakční aplikace CEP/BAM jako zastřešující a integrační systém Zatímco každý transakční systém (TS) řídí a provádí transakce ve své oblasti CEP/BAM monitoruje události v nich, koreluje, kombinuje a permutuje události z různých TS a event. řady y dalších proudů dat z okolí, rozpoznává trendy a podle trendů nastavuje významné události, měnící transakční podmínky nebo prahy (např. ř pro dynamický billing nebo pro billing podle obsahu), ale také (hlavně) poskytuje celkový přehled pro správu (governance)

23 Progress Software Produkty ypro SOA Infrastrukturu SOA Infrastructure Sonic Enterprise Service Bus World s First ESB DataXtend SI Data Integration First model-driven semantic data integration Actional Apama SOA & Web Services Complex Event Processing Management Leading Algorithmic Trading Leading enterprise-class and Business Activity SOA management Monitoring platform Referenční model SOA

24 Dotazy