Smart Grid Data Mining dd-mm-yyyy Adam Kapala, OSGP forum, Bratislava, 29.9.2015 Atos - For internal use
ATOS IT Solutions and Services Krátké představení společnosti Atos vznikl 1.7. 2011 celosvětovým sloučením Atos Origin a Siemens IT Solutions and Services a uzavřením globálního strategického partnerství se Siemens AG Široké portfolio Poradenské služby, Systémová integrace, Managed Services Inovativní témata jako Cloud Computing a Zero Email Obrat 9 mld. Euro (2014) 85,865 zaměstnanců v 66 zemích. Worldwide IT-Partner Olympijských her 2
Zpracování výsledků v reálném čase a jejich přenos do 8 miliard zařízení na celém světě Zpracování 322 millionů IT bezpečnostních událostí a vyřešení 182 reálných událostí s nulovým dopadem Dodávka služeb Cloudu, vyrovnání se vysokými nároky 7 miliard krátkodobých návštěvníků O 40% méně serverů pro o 10% více dat, dosaženo použitím plné virtualizace ve všech datacentrech bez jakéhokoliv snížení schopností IT 3
Dobývání znalostí z SG dat 4
Tvorba algoritmického modelu predikce Předzpracování dat, Vstupní (učící) profil Data v surové podobě => vytvoření vstupního profilu (primární kontrola kvality) kontrola a úprava do jednotného formátu zajistit stabilní tok dat bez skokových změn Zásady trénování netrénujeme pouze na statickém vzorku dat odhalení přetrénování (např. k-fold cross validace) Příklad metody strojového učení lineární regrese umělé neuronové sítě support vector machines 5
Tvorba algoritmického modelu predikce Metodologická specifika oblasti inteligentního měření Rozdělení sběrných jednotek (např. domácností) do sekcí (klastrů) Statistické nástroje pro klastrování dat, relevantní pro oblast IMS a data o spotřebě: K-means Sparse coding Možnost využití vnějších zdrojů dat pro upřesnění predikce neveřejné informace socio-demografické, společensko-ekonomické veřejné informace hydrometeorologické údaje 6
Tvorba algoritmického modelu predikce Příklad využití vnějších zdrojů dat pro upřesnění predikce výroby 7
Tvorba algoritmického modelu predikce Predikce z hlediska výstupu v čase Dlouhodobé predikce dostatečné množství vstupních dat ovlivňuje: frekvence získávání nových dat podobná data z jiného zdroje (jiných zemí - podobný profil) přesnost a spolehlivost extrapolace (historická data, analogický kontext, laboratoř + terén) Krátkodobé predikce vysoká frekvence obnovy dat Predikce blízké reálnému času samotný sběr musí probíhat rychlostí co nejblíže reálnému času 8
Tvorba algoritmického modelu predikce Příklad využití vnějších zdrojů dat pro upřesnění predikce výroby Vysoká variabilita hodnot oblačnosti Neexistence kontinuity v hodnotách oblačnosti Pro zachycení kontinuity je nutno data v reálném čase + data z většího území (celá SR) hustější síť senzorů měřicích oblačnost 9
Tvorba algoritmického modelu predikce Standardizovaný set kritérií na zdroje dat Použitelnost množství historických dat (pro nalezení zřejmých závislostí) frekvence sběru dat granularita dat podle jiných kritérií (poloha, okolní klimatické prostředí, sociální prostředí aj.) relevantnost dat (např. pro elektroenergetiku) množství chyb, chybějících datových vět Posloupnost frekvence obnovy dat náročnost získávání dat 10
Výsledky predikce výroby Denní Limitovaný vzorek dat Omezený počet vstupních proměnných (viz. tabulka) Predikce pro jednu FVE v čase t+1 od posledního měření Typ predikce (obohacení o vstupní proměnné) Základní predikce (data z FVE) Osvit 35% Teplota 25% Osvit + oblačnost 60% Zpřesnění denní predikce [%] - Osvit + vlhkost vzduchu Osvit + oblačnost + vlhkost Osvit + oblačnost + vlhkost; pro součet elektráren 45% 63% 70% 11
Výsledky predikce výroby 15 minutová Limitovaný vzorek dat Omezený počet vstupních proměnných (viz. tabulka) Predikce pro jednu FVE v čase t+1 od posledního měření Typ predikce Základní predikce (data z FVE) Osvit + čas 47% Osvit + čas + denní oblačnost Osvit + čas + hodinová oblačnost Zpřesnění predikce [%] - 59% 55% Osvit + vlhkost vzduchu Osvit + oblačnost + vlhkost Osvit + oblačnost + vlhkost pro součet elektráren 48% 65% 67% 12
Další příklady těžby dat ze inteligentní sítě Charakteristická spotřeba; po fázích Náhradní/součtové měření na vývodu TRF // delta nad technickými ztrátami Lokalizace na základě poklesu napětí 13
Další příklady těžby dat ze inteligentní sítě Podpora provozu Smart IMS Odečtová centrála - IMS Telekomunikační síť DCU GPRS Komunikace v oblasti míle Distribuční vedení PLC DCU 14
Další příklady těžby dat ze inteligentní sítě Podpora provozu Smart IMS Typy monitorů v AMI Agent Ping monitor Správa událostí Port monitor Log monitor Operařní středisko Script monitor Interface monitor 15
Další příklady těžby dat ze inteligentní sítě Stav sítě na základě údajů signál/šum při PLC komunikaci 24 hodinový záznam spojení odběrného místa s datakoncentrátorem; červená šum, černá - signál 16
Velký přínos pro těžbu informací z Gridu Podmínky úspěchu Snapshot sítě časová synchronizace (0,5s) znalost konkrétních fází (sled fází nestačí) 17
Děkuji za vaši pozornost For more information please contact: T+ 421 2/547 930 15 M+ 420 725789749 adam.kapala@atos.net