K možnostem krátkodobé předpovědi úrovně znečištění ovzduší statistickými metodami. Josef Keder

Podobné dokumenty
POKUS O STATISTICKOU PŘEDPOVĚD ZNEČIŠTĚNÍ OVZDUŠÍ. Josef Keder. ČHMÚ, ÚOČO, Observatoř Tušimice,

Predikce, krátkodobé smogové situace RNDr Josef Keder, CSc.

StatSoft Úvod do neuronových sítí

Ambasadoři přírodovědných a technických oborů. Ing. Michal Řepka Březen - duben 2013

Smogový Varovný a Regulační Systém

Moderní systémy pro získávání znalostí z informací a dat

Návrh nových pravidel SVRS pro PM10 (návrh novely přílohy č. 6 zákona 201/2012 Sb.)

Testování neuronových sítí pro prostorovou interpolaci v softwaru GRASS GIS

INDEXACE SPÁSA NEBO PROBLÉM

Aktuální mapy znečištění ovzduší v evropském i českém měřítku (roční charakteristiky) a vývoj v oblasti mapování

5. Umělé neuronové sítě. Neuronové sítě

Statistika. Regresní a korelační analýza Úvod do problému. Roman Biskup

O MOŽNOSTI ADJUSTACE IMISNÍCH KONCENTRACÍ NA METEOROLOGICKÉ PODMÍNKY. RNDr. Josef Keder, CSc.

PREDIKCE VÝROBY FV SYSTÉMŮ

Algoritmy a struktury neuropočítačů ASN - P10. Aplikace UNS v biomedicíně

Analytické metody v motorsportu

Měření dat Filtrace dat, Kalmanův filtr

Neuronové sítě v DPZ

1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15

Projekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma

Rozpoznávání písmen. Jiří Šejnoha Rudolf Kadlec (c) 2005

ití empirických modelů při i optimalizaci procesu mokré granulace léčivl ková SVK ÚOT

Sledování a hodnocení kvality ovzduší v ČR

SLEDOVÁNÍ POČTU ČÁSTIC V OSTRAVĚ

Základy ekonometrie. XI. Vektorové autoregresní modely. Základy ekonometrie (ZAEK) XI. VAR modely Podzim / 28

Neuronové sítě Ladislav Horký Karel Břinda

vzorek vzorek

Modelování rozptylu suspendovaných částic a potíže s tím spojené

Učící se klasifikátory obrazu v průmyslu

Využití neuronové sítě pro identifikaci realného systému

Ing. Petr Hájek, Ph.D. Podpora přednášky kurzu Aplikace umělé inteligence

Vytěžování znalostí z dat

DETEKCE FUGITIVNÍCH EMISÍ Z POVRCHOVÝCH UHELNÝCH LOMŮ. Josef Keder Lubomír Paroha

Smíšené regresní modely a možnosti jejich využití. Karel Drápela

INFORMAČNÍ SYSTÉMY PRO KRIZOVÉ ŘÍZENÍ POUŽITÍ INFORMAČNÍCH SYSTÉMŮ PRO MODELOVÁNÍ A SIMULACE KRIZOVÝCH SITUACÍ - T6 ING.

AVDAT Nelineární regresní model

Měření dat Filtrace dat, Kalmanův filtr

Jak bude zítra? Skoro jako dneska. Dan Lessner

SVRS A PŘESHRANIČNÍ MIGRACE ZNEČIŠTĚNÍ,

Úvodem Dříve les než stromy 3 Operace s maticemi

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1

Odhad stavu matematického modelu křižovatek

Rozvoj metodiky tvorby map znečištění. Jan Horálek Pavel Kurfürst, Nina Benešová, Roman Juras, Jana Ďoubalová

METODY DOLOVÁNÍ V DATECH DATOVÉ SKLADY TEREZA HYNČICOVÁ H2IGE1

Umělé neuronové sítě

RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr.

Tomáš Cipra: Finanční ekonometrie. Ekopress, Praha 2008 (538 stran, ISBN: , cena Hlávkovy nadace v roce 2009) 1. ÚVOD...

8. Závěr. VARIANTA 1: Výchozí stav v roce 2006, referenční stav

K MOŽNOSTI IDENTIFIKACE PŮVODU ZNEČIŠTĚNÍ OVZDUŠÍ POMOCÍ KOMBINACE IMISNÍCH A METEOROLOGICKÝCH MĚŘENÍ. Josef Keder

Modelové řešení revitalizace průmyslových regionů a území po těžbě uhlí na příkladu Podkrušnohoří

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ

Ing. Michael Rost, Ph.D.

Ing. Tomáš MAUDER prof. Ing. František KAVIČKA, CSc. doc. Ing. Josef ŠTĚTINA, Ph.D.

3. Vícevrstvé dopředné sítě

1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností,

Statistické metody v ekonomii. Ing. Michael Rost, Ph.D.

Fiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc

Emergence chování robotických agentů: neuroevoluce

Hledání optimální polohy stanic a zastávek na tratích regionálního významu

Algoritmy a struktury neuropočítačů ASN - P11

Časovézměny velikostního rozložení částic a jejich depozice vdýchacím traktu. Josef Keder keder@chmi.cz

Meteorologické minimum

Přednáška 13 Redukce dimenzionality

PREDIKCE POČTU UCHAZEČŮ O STUDIUM S VYUŽITÍM NEURONOVÝCH SÍTÍ

Vliv Mosteckého jezera na teplotu a vlhkost vzduchu a rychlost větru. Lukáš Pop Ústav fyziky atmosféry v. v. i. AV ČR

Extrémní imisní situace RNDr. Zdeněk Blažek, CSc., Mgr. Libor Černikovský Český hydrometeorologický ústav, pobočka Ostrava

Neuronové časové řady (ANN-TS)

Kalkulace závažnosti komorbidit a komplikací pro CZ-DRG

6. Lineární regresní modely

Popis metod CLIDATA-GIS. Martin Stříž

Lineární regrese. Komentované řešení pomocí MS Excel

Role experimentu ve vědecké metodě

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.

Katedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group

Analytické metody v motorsportu

Pokročilé operace s obrazem

2011 (datový soubor life expectancy CR.txt). Budeme predikovat vývoj očekávané doby dožití pomocí

Ing. Eva Pohanková Růstové modely nástroj posouzení dopadů změny klimatu na výnos polních plodin

NG C Implementace plně rekurentní

Architektura - struktura sítě výkonných prvků, jejich vzájemné propojení.

ÚMRTNOST OBYVATELSTVA ČESKÉ A SLOVENSKÉ REPUBLIKY; NÁVRH KONSTRUKCE NOVÝCH ÚMRTNOSTNÍCH TABULEK

Připravované projekty MŽP v oblasti zlepšení kvality ovzduší v Moravskoslezském kraji

Návrh postupu pro stanovení četnosti překročení 24hodinového imisního limitu pro suspendované částice PM 10

Časové řady, typy trendových funkcí a odhady trendů

Identifikace zdrojů znečišťování ovzduší

Příloha 4. Porovnání prototypů jednotlivých souborů s podpisem zdroje

5. Umělé neuronové sítě. neuronové sítě. Umělé Ondřej Valenta, Václav Matoušek. 5-1 Umělá inteligence a rozpoznávání, LS 2015

Předpovídejte snadno a rychle

Modelování znečištění ovzduší. Nina Benešová

Trénování sítě pomocí učení s učitelem

Technická univerzita v Liberci

A-PDF Split DEMO : Purchase from to remove the watermark

Metody analýzy modelů. Radek Pelánek

ANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT. Institut biostatistiky a analýz

Regresní analýza. Eva Jarošová

Měření závislosti statistických dat

4EK211 Základy ekonometrie

POLYNOMICKÁ REGRESE. Jedná se o regresní model, který je lineární v parametrech, ale popisuje nelineární závislost mezi proměnnými.

Cvičení 9 dekompozice časových řad a ARMA procesy

Transkript:

K možnostem krátkodobé předpovědi úrovně znečištění ovzduší statistickými metodami Josef Keder

Motivace Předpověď budoucí úrovně znečištění ovzduší s předstihem v řádu alespoň několika hodin má význam zejména pro provoz SVRS Hlavní směr vývoje v této oblasti představují numerické modely šíření a rozptylu znečišťujících látek ve spojení s numerickými modely předpovědi počasí. V příspěvku jsou představeny alternativní přístupy, které mohou uvedené doplnit a rozšířit zejména umělé neuronové sítě. Jsou shrnuty základní principy metody a představeny výsledky prvních testů na reálných datech

Současný stav problematiky Oba přístupy rozptylové modelování a statistické metody se rozvíjely v podstatě paralelně Zdokonalení a zrychlení výpočetní techniky umožnilo prudký rozvoj v obou směrech U statistických metod se jedná o výzkum chování časových řad koncentrací a predikci jejich vývoje Je možné těžit z výsledků zejména ekonometrických studií (vývoj cen akcií a komodit) Objevily se metody tzv. soft-computingu a dataminingu ( dolování informací z dat)

Některé známé postupy, mimo jiné Pojednány v řadě knih, článků a učebních textů včetně webu, paleta je nepřeberná Vícerozměrná regrese, logistická regrese ARIMA, exponenciální vyhlazování (Holt, Winters, Brown), filtry KAMA (Kaufman), TEMA, Kalmánův filtr Klasifikační a regresní stromy, shluková analýza Umělá inteligence - umělé neuronové sítě (ANNs) Provedeny pokusy s filtrací a hlazením časových řad, poté pozornost upřena na ANNs

Co jsou ANNs (stručný úvod)?

Co jsou ANNs? Velice hezká práce v češtině (a řada dalších)

Co jsou ANNs? Velice hezká práce v češtině (a řada dalších)

Jak to tedy funguje? ANN = algoritmus, který modeluje činnost lidského mozku Mozek se skládá z obrovského množství vzájemně propjených buněk neurony Komunikují navzájem pomocí elektrických impulzů Neuron (perceptron ) - základní prvek přirozené i umělé neuronové sítě Každý neuron může mít více vstupů, ale jen jeden výstup tento může být napojen na více než jeden další neuron

Model neuronu Vstupem neuronu může být buď výstup z jiného neuronu nebo informace z vnějšku (koncentrace) Každý vstup má přiřazenou váhu. Neuron přijme vstupy Jejich hodnoty vynásobí váhami a součiny sečte Je-li výsledek větší než stanovený práh, transformuje se předem danou přenosovou funkcí, pošle se na výstup.

Propojení neuronů do vícevrstvé sítě Příklad - síť typu 3-4-2, 3 vstupy, 4 neurony ve skryté vrstvě, 2 výstupy Vstupní vrstva zopakuje hodnoty vstupů a předá je všem neuronům ve skryté vrstvě. Jejich výstupy jsou vstupem pro dva neurony ve výstupní vrstvě - kódují výstup celé neuronové sítě.

Učení neuronové sítě Síti se předkládají vstupy a výstupy, které těmto vstupům odpovídají z historických dat Převod vstupů na výstupy závisí na hodnotě vah a prahů Stanovují se během učení Vstupy se pustí do sítě, výstup se porovná s požadovaným výstupem a následně se provede korekce (změna vah a prahů) tak, aby byl rozdíl mezi skutečným a požadovaným výstupem co nejmenší Síť se tedy učí ze svých chyb, postupně je snižuje

Výhody ANNs Schopnost učit se = zapamatovat si kombinace, které vedly k požadovanému výstupu U neznámých vstupů se schopnost obracet na svou paměť a na základě zkušeností odhadovat nový výsledek = generalizace jako zárodek umělé inteligence Řeší i silně nelineární, kde není dostatek apriorních znalostí o tom, co způsobuje konkrétní variabilitu zkoumané proměnné Neznámé vlivy pak odvozujeme na základě znalosti historických naměřených dat

Kritizované nevýhody ANNs Neinterpretovatelnost některých parametrů sítě Black box, neumíme jako u klasických modelů říci, k jakým výpočtům uvnitř systému dochází

Období, data, postupy (1) Časové řady koncentrací PM10 ze stanic MS kraje Roky 2015 2018 Vyhodnoceny klouzavé 12 hodinové průměry (časové řady) jako vstupy pro ANNs Použit nástroj Automatická tvorba neuronových sítí, součást programu STATISTICA Učení sítě na datech 9/2015 až 3/2016 Prezentace testů na stanici Ostrava - Fifejdy (TOFF)

Období, data, postupy (2) Pro každou hodinu H na vstup zavedeno 6 hodnot 12h průměrné koncentrace c(h), c(h-1) c(h-5) Jako kýžené výstupy předloženy hodnoty z hodin c(h+1), c(h+2) c(h+6) 25% dat nebylo pro učení sítě použito, síť je neznala, použita k testování úspěšnosti modelu v období 2015/16 Trénováno celkem 20 sítí, pro predikce použito 5 nejúspěšnějších, pracovaly jako kolekce Provozní test na datech z dalšího zimního období 9/2016 3/2017, zcela neznámá pro ANNs

Testování zima 2015/16, horizont predikce 1 až 3h H+1 H+2 H+3 0.023 2.523 4.014 RMS 0.999 0.996 0.991 CORR Klouzavé průměry PM10, 12 hodin, Ostrava-Fifejdy

Testování zima 2016/17, horizont predikce 1 až 3h H+1 H+2 H+3 4.392 5.992 8.304 RMS 0.993 0.986 0.973 CORR Klouzavé průměry PM10, 12 hodin, Ostrava-Fifejdy

Testování zima 2015/16, horizont predikce 4 až 6h H+3 H+5 H+6 5.773 7.559 9.476 RMS 0.981 0.968 0.950 CORR Klouzavé průměry PM10, 12 hodin, Ostrava-Fifejdy

Testování zima 2016/17, horizont 4 až 6h H+4 H+5 H+6 10.641 13.068 15.174 RMS 0.955 0.932 0.908 CORR Klouzavé průměry PM10, 12 hodin, Ostrava-Fifejdy

Závislost RMS a COOR na horizontu předpovědi Podle očekávání RMS roste s horizontem předpovědi CORR naopak klesá Výsledky pro sezónu 2016/17, jejíž data ANN vůbec nezná, jsou horší než pro sezónu 2015/16

Smogová situace 2017, úspěšnost predikce, O.-Fifejdy

Smogová situace 2017, úspěšnost predikce, O.-Fifejdy

Smogová situace 2017, úspěšnost predikce, O.-Fifejdy

Smogová situace 2017, úspěšnost predikce, O.-Fifejdy

Smogová situace 2017, úspěšnost predikce, O.-Fifejdy

Smogová situace 2017, úspěšnost predikce, O.-Fifejdy

Závěry, možné směry pokračování První ověření možností regresních ANNs pro krátkodobou předpověď klouzavých 12h průměrů PM10 vypadá překvapivě nadějně Použitelné pro potřeby SVRS? Bude-li společenská objednávka Pro všechny stanice natrénovat ANNs na větším souboru dat postihnout více variant a kombinací, často aktualizovat Zapojit další proměnné vítr, teplotu, stabilitu Zkusit kombinaci s metodami vyhlazování časových řad a regresními stromy Skombinovat s výstupy NWP a rozptylových modelů

Děkuji, že jste ten neurák vydrželi až do konce!