Prostředí pro simulaci rozsáhlých sítí odběrných míst v energetice. Filip Procházka Mycroft Mind

Transkript

1 Prostředí pro simulaci rozsáhlých sítí odběrných míst v energetice Filip Procházka Mycroft Mind filip.prochazka@mycroftmind.com

2 Mycroft Mind introduction Company founded at 2007 Specialized in Complex Event Processing (CEP) technology and its applications like art grids fraud detection sensor networks Closely cooperates with research institutions in Brno Mycroft Mind, a.s. Jundrovská 618/31, Brno, Česká republika ,

3

4

5 Změny v energetice Změna paradigmatu od centralizované soustavy s jednoěrným tokem od velkých zdrojů energie k decentralizované soustavě s distribuovanými zdroji a obouěrnými toky Proč vyšší odolnost soustavy snížení závislosti na ropě a plynu zapojování obnovitelných zdrojů energie úspornost a efektivita

6

7

8

9 Bez měření není řízení art meter průmyslový počítač instalován místo klasického elektroměru měří spotřebu odběrného místa typicky v 15 minutových intervalech měří kvalitu dodávky detekuje události (otevření krytu, ) data odesílá do datového koncentrátoru typicky pomocí PLC, GPRS, BPL, dovede přijímat příkazy (omez spotřebu na danou mez, odpoj odběrné místo )

10

11

12 Smart metering v ČR Projekt WPP AMM realizovaný skupinou ČEZ Trvání projektu: Instalace cca art meterů ve čtyřech odlišných lokalitách 5 typů art-meterů 3 různé datové centrály integrace se systémy ČEZu

13 Jak se art metery komunikovat

14 Výsledky pilotního provozu v rámci reálného nasazení art meterů bylo identifikováno několik alternativních přístupů (četnost čtení, push / pull protokoly, technologie datových koncentrátorů, technologie datových centrál) dále bylo prověřeno chování celého systémy a identifikovány poruchy, problémy a mezní situace je prověřeno jak se bude chovat systém zpracovávající art meterů

15 a teď doopravdy odběrných míst v síti ČEZ x 96 měření každý den x 365 dní každý rok

16 Jak se navržený systém bude chovat při plném nasazení: art meterů? Zkue to nasimulovat!

17 1. Kde vzít výpočetní infrastrukturu pro takovýto test? 2. Jak simulovat chování art meterů? 3. Jak monitorovat a vyhodnotit chování celého systému při jednotlivých testovacích scénářích?

18 Historie Původní představa o simulačních testech WPP AMM jednorázový test na pronajaté infrastruktuře (Amazon, Indie, ) Návrh Mycroft Mind a Masarykovy Univerzity opakovaně použitelné, rozvíjející se simulační prostředí na akademické infrastruktuře zapojení studentů do dalšího rozvoje a výzkumu

19 Přínosy simulačního testování otestovat si chování rozsáhlého systému s cílem identifikovat úzká místa vyzkoušet si alternativní řešení a konfigurace prověřit nové technologie (např. in-memory database) zjistit si potřebnou kapacitu výpočetní infrastruktury pro požadovaný rozsah řešení ověřit chování systémů při mezních situacích (rozsáhlejší výpadky, ) porovnat si marketing a realitu

20 Rámec testu Z pilotního provozu 35k art meterů odvodit předpokládanou topologii a chování větší sítě odběrných míst 100k, 3500k Zprovoznit IT infrastrukturu, do které lze umístit datové centrály v konfiguraci navržené dodavateli dimenzované pro 3500k art meterů Simulovat chování sítí 100k a 3500k art meterů a zpracovávat zasílaná data V průběhu testu sbírat data o vytížení IT infrastruktury a jednotlivých komponent testovaných systémů

21 Infrastruktura

22 Masarykova Univerzita CERIT-SC součást národní e-infrastruktury - systému vzájemně propojených síťových, výpočetních a úložných kapacit a souvisejících služeb výzkum v oblasti rozsáhlých výpočetních kapacit

23 Prostředí na Cerit-SC SMP clustery (uzel 80 jader, 512 GB RAM) HD clustery (uzel:12 jader, 96GB RAM) propojení uzlů: ethernet 10 Gbit/s a 1Gbit/s, Infiniband 40Gbit/s virtualizované prostředí KVM správce cloudu Open Nebula virtuální servery Windows i Linux

24 Infrastruktura pro test 3500k Monitorovací server (Linux, virtual) MS SN1 HES1 SN2 HES2 SN3 HES3 SN4 HES4 AS DB SN5 HES5 SN6 HES6 SN7 HES7 HES8 Simulační servery (Linux, virtual) HES servery (Windows, virtual) Aplikační server (Linux, virtual) Databázový server (Linux, fyzický)

25 Traffic shaper na každém simulačním uzlu řeší pro každý simulační uzel packet loss latency 10% 5% 15% 70% Latence do 800ms, packet loss 1% Latence do 1.2s, packet loss 15% Latence do 1.5s, packet loss 30% Latence do 2s, packet loss 40%

26 Simulátor sítě odběrných míst

27 Požadavky vygenerovat síť odběrných míst dle zadaných parametrů (rozložení art-meterů na koncentrátorech, typy artmeterů, kvalita komunikačních kanálů, ) vygenerovat předpis chování sítě art-meterů (frekvence posílání dat, dostupnost data koncentrátorů a art-meterů, výpadky, ) simulovat chování vygenerované sítě pomocí vygenerovaného předpisu (komunikace s testovaným systémem)

28 Schéma simulátoru Simulační plán Simulační uzel 1 (až virtuálních datových koncentrátorů) Kernel level traffic shaping (per connection packet rate, latency, jitter, loss) Virtual machine virtual network interface Virtual machine host krok 1: počkej na časový okamžik až uplyne určená doba na pokyn krok 2: učin dostupná měření z daných koncentrátorů a art meterů (v případě push měření pošli) krok 3: počkej krok 4: vygeneruj a pošli data krok 5: Communication sever (HES) Virtual machine virtual network interface Virtual machine host Physical network interface 10Gb/s low-latency L2 network infrastructure Physical network interface

29 Simulátor: Generátor topologie gridu

30 Generátor topologie sítě Vstupní parametry počet datových koncentrátorů procentuelní rozložení počtu art meterů na datových koncentrátorech (35% art datových koncentrátorů na sobě má 1 až 40 art meterů) procentuelní rozdělení do tříd kvality komunikačního kanálu procentuelní rozdělení datových koncentrátorů do tříd dostupnosti procentuelní rozdělení art-meterů do tříd dostupnosti informace o infrastruktuře (IP adresy, porty HES serverů a simulačních uzlů) procentuelní rozložení dvoutarifních a jednotarifních OM

31 Výstupy Kmenová data pro import do datových centrál (CSV soubor) Histogramy pro vizualizaci charakteristik vygenerované sítě (CSV soubory) Export sítě pro vizualizaci v programu Cytoscape (CSV soubor)

32 Kmenová data ;0;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.0843;4.1686; ; ;15000;baaaa; ; ;1;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.3293;4.363; ; ;15000;baaaa; ; ;2;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1825;4.1953; ; ;15000;baaaa; ; ;3;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.0868;4.2045; ; ;15000;baaaa; ; ;4;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1001;4.2317; ; ;15000;baaaa; ; ;5;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.2011;4.7316; ; ;15000;baaaa; ; ;6;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.0881;4.1722; ; ;15000;baaaa; ; ;7;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1016;4.3344; ; ;15000;baaaa; ; ;8;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1842;4.3665; ; ;15000;baaaa; ; ;9;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1132;4.2221; ; ;15000;baaaa; ; ;10;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1534;4.2254; ; ;15000;baaaa; ; ;11;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.089;4.1696; ; ;15000;baaaa; ; ;12;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.2083;4.2846; ; ;15000;baaaa; ; ;13;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1235;4.2262; ; ;15000;baaaa; ; ;14;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.0869;4.1736; ; ;15000;baaaa; ; ;15;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.3166;4.7847; ; ;15000;baaaa; ; ;16;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1373;4.2411; ; ;15000;baaaa; ; ;17;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1198;4.2267; ; ;15000;baaaa; ; ;18;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;true;200;400;2.1628;4.1667; ; ;15000;baaaa; ; ;19;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;false;200;0;2.1723;0.0; ; ;15000;baaaa; ; ;20;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;false;200;0;2.1499;0.0; ; ;15000;baaaa; ; ;21;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;false;200;0;2.0995;0.0; ; ;15000;baaaa; ; ;22;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;false;200;0;2.1207;0.0; ; ;15000;baaaa; ; ;23;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;false;200;0;2.1072;0.0; ; ;15000;baaaa; ; ;24;baaaaa;10000;baa; ; ;VIEM_LG_PUSH;false;200;0;2.2423;0.0; ; ;15000;baaaa; ;

33 Počty art-meterů na koncentrátorech (grid 100k)

34 Rozložení dostupností (grid 100k) % 67% 100% 0% 33% 67% 100% 0% 33% 67% 100% 0% 33% dc 100% dc 60% dc 70% dc 85% 67% 100% Celkem

35 Cytoscape vizualizace části gridu

36 Simulátor: generátor chování gridu

37 Simulační plán Na základě parametrů generovaný předpis popisující KDY se KAM budou JAKÁ měření posílat ( M x N XML souborů M je počet simulačních uzlů, N je požadovaná časová segmentace souborů)

38 Vstupní parametry délka kroku (15 minut) počet kroků (3 dny po 15 minutách 288 kroků) časová známka měření z prvního kroku interpretace tříd dostupnosti datových koncentrátorů (např. třída dostupnosti DC-B odpovídá 70% denní dostupnosti) interpretace tříd dostupnosti art meterů (např. třída dostupnosti SM-C odpovídá 33% denní dostupnosti) počet vzorů dostupnosti v dané třídě dostupnosti datových koncentrátorů a art meterů

39 Výstupy vygenerované simulační plány (XML soubory) sumární shrnutí simulačního plánu (CSV soubor) sumarizace vzorů chování tříd dostupnosti (CSV soubor)

40 Výstupy simulační plán

41 Sumarizace plánu :00 1:15 2:30 3:45 5:00 6:15 7:30 8:45 10:00 11:15 12:30 13:45 15:00 16:15 17:30 18:45 20:00 21:15 22:30 23:45 1:00 2:15 3:30 4:45 6:00 7:15 8:30 9:45 11:00 12:15 13:30 14:45 16:00 17:15 18:30 19:45 21:00 22:15 23:30 Počet meterů Počet LP15

42 Výstupy příklady komunikačních vzorů koncentrátorů 0 0,5 1 1,5 2 2,5 3 3,5 0:00 1:15 2:30 3:45 5:00 6:15 7:30 8:45 10:00 11:15 12:30 13:45 15:00 16:15 17:30 18:45 20:00 21:15 22:30 23:45 1:00 2:15 3:30 4:45 6:00 7:15 8:30 9:45 11:00 12:15 13:30 14:45 16:00 17:15 18:30 19:45 21:00 22:15 23: :00 1:15 2:30 3:45 5:00 6:15 7:30 8:45 10:00 11:15 12:30 13:45 15:00 16:15 17:30 18:45 20:00 21:15 22:30 23:45 1:00 2:15 3:30 4:45 6:00 7:15 8:30 9:45 11:00 12:15 13:30 14:45 16:00 17:15 18:30 19:45 21:00 22:15 23:30 Vzor A (dostupnost 85% času) Vzor C (dostupnost 60% času)

43 Výstupy příklady komunikačních vzorů art-meterů :00 1:15 2:30 3:45 5:00 6:15 7:30 8:45 10:00 11:15 12:30 13:45 15:00 16:15 17:30 18:45 20:00 21:15 22:30 23:45 1:00 2:15 3:30 4:45 6:00 7:15 8:30 9:45 11:00 12:15 13:30 14:45 16:00 17:15 18:30 19:45 21:00 22:15 23:30 Vzor C (dostupnost 33% času) :00 1:15 2:30 3:45 5:00 6:15 7:30 8:45 10:00 11:15 12:30 13:45 15:00 16:15 17:30 18:45 20:00 21:15 22:30 23:45 1:00 2:15 3:30 4:45 6:00 7:15 8:30 9:45 11:00 12:15 13:30 14:45 16:00 17:15 18:30 19:45 21:00 22:15 23:30 Vzor B (dostupnost 67% času)

44 Výstupy kombinace vzorů koncentrátoru a art-meterů Kombinace DC-A,SM-B Kombinace DC-C a SM-C :00 1:30 3:00 4:30 6:00 7:30 9:00 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22:30 0:00 1:30 3:00 4:30 6:00 7:30 9:00 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22: :00 1:30 3:00 4:30 6:00 7:30 9:00 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22:30 0:00 1:30 3:00 4:30 6:00 7:30 9:00 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22:30

45 Simulátor: výkonná část

46 Popis Separátní aplikace spuštěná na každém simulačním uzlu Interpretuje simulační plán a vykonává kroky v něm uvedené Komunikuje s HESy pomocí daného protokolu (nyní AGS-DK PUSH) V případě nepotvrzení přijetí zprávy od HESu si nepotvrzené zprávy odkládá do fronty Nedoručené zprávy z daného koncentrátoru se snaží doručovat v dalším kroku, kdy je koncentrátor dostupný Svoji činnost podrobně loguje pro potřeby monitoringu

47 Princip odesílání zpráv Zprávy k poslání dle aktuálního kroku simulačního plánu zpráva Výkonná část simulátoru HES potvrzení přijetí Buffer nedoručených zpráv

48 Monitoring

49 Požadavky sledovat chování jednotlivých HW komponent (CPU, disky, IO operace, síťovou komunikaci, ) sledovat chování jednotlivých SW komponent (vytíženost jednotlivých aplikací, problémy, odezvy, ) propojit informace o tom čím aktuálně simulátor úkoluje celý systém jak se s tím vyrovnávají aplikace jak se s tím vyrovnává infrastruktura

50 Schéma monitoringu Test scenario dashboard Test scenario timeline Detailed peformance view (Munin) Important values and logs storage (PostgreSQL) Correlations and aggregations (Complex Event Processing) Peformance values Application logs Value probes Log probes ICT infrastructure Applications

51 Monitorované veličiny a události výkonnostní charakteristiky Windows a Linux serverů (CPU, disky, IO operace, síťovou komunikaci, ) výkonnostní charakteristiky DB Oracle čerpáním dat z Oracle Automatic Workload Repository (AWR) logy simulační uzly HESy záznamy o průběhu zpracování z EA MDMS aktivní dotazování ping

52 Databáze k dispozici jsou sbírané a odvozené veličiny a události za jednotlivé testovací běhy struktura záznamů kdy událost nastala (v reálném i simulačním čase) typ události typ zdroje (simulátor, HES, databáze, aplikace, munin ) zdroj (jmeno stroje, IP adresa, identifikace DB) hodnota variabilní dle typu události (počet zpráv, průměrná délka zpracování, ) objem dat za dvoudenní test 100k art meterů je nasbíráno cca 547 tisíc záznamů

53 Vizualizace průběhu testu - dashboard sledování aktuálního stavu agregovaných veličin (propustnost aplikačních komponent, vytíženost infrastruktury, )

54 Simulační testy

55 Proces přípravy testu XML definice infrastruktury Monitorovací server Statistiky Simulační plány Simulační uzly Validace plánu Generátor simulačních plánů Konfigurace generátoru Generátor topologie gridu Kmenová data Datová centrála Generování historických dat Statistiky

56 Test 100k

57 Infrastruktura pro test (100k) Monitorovací server (Linux, virtual) SN1 MS SN2 SN3 HES1 AS DB SN4 Simulační servery (Linux, virtual) HES servery (Windows, virtual) Aplikační server (Linux, virtual) Databázový server (Linux, fyzický)

58 Počty art-meterů na koncentrátorech (grid 100k)

59 Rozložení dostupností (grid 100k) % 67% 100% 0% 33% 67% 100% 0% 33% 67% 100% 0% 33% dc 100% dc 60% dc 70% dc 85% 67% 100% Celkem

60 Sumarizace plánu :00 1:15 2:30 3:45 5:00 6:15 7:30 8:45 10:00 11:15 12:30 13:45 15:00 16:15 17:30 18:45 20:00 21:15 22:30 23:45 1:00 2:15 3:30 4:45 6:00 7:15 8:30 9:45 11:00 12:15 13:30 14:45 16:00 17:15 18:30 19:45 21:00 22:15 23:30 Počet meterů Počet LP15

61 Test 100k art meterů

62 Test 100k art meterů

63 Test 3500k

64 Rozložení meterů na koncentrátorech

65 Rozložení dostupnosti % 33% 67% 0% 100% 33% 67% dc 100% dc 60% dc 70% dc 85% Celkem % 100% 33% 67% 0% 100% 33% 67%

66 Simulační plán :00 2:00 4:00 6:00 8:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00 0:00 2:00 4:00 6:00 8:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00 0:00 2:00 4:00 6:00 8:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00

67 Další rozvoj podrobnější analýza měřených dat podrobnější simulace komunikačních kanálů podrobnější simulace koncentrátorů a meterů paralelní běh testů využití simulátoru pro modelování problému se solárními panely na střechách hledání optimálních komunikačních strategií

68 Další rozvoj podrobnější analýza měřených dat podrobnější simulace komunikačních kanálů podrobnější simulace koncentrátorů a meterů paralelní běh testů využití simulátoru pro modelování problému se solárními panely na střechách hledání optimálních komunikačních strategií