Ing. Marek Němec PREDIKCE POTŘEBY VODY POMOCÍ NEURONOVÝCH SÍTÍ PREDICTION OF WATER REQUIREMENTS USING NEURAL NETWORK

ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE FAKULTA STAVEBNÍ Program doktorského studa: STAVEBNÍ INŽENÝRSTVÍ Obor doktorského studa: ZDRAVOTNÍ A EKOLOGICKÉ INŽENÝRSTVÍ Ing. Marek Němec PREDIKCE POTŘEBY VODY POMOCÍ NEURONOVÝCH SÍTÍ PREDICTION OF WATER REQUIREMENTS USING NEURAL NETWORK Teze dsertace k získání akademckého ttulu "doktor", ve zkratce "Ph.D." Školtel: Doc. Ing. Iva Čháková, CSc. Praha, srpen 2005

Dsertační práce byla vypracována v prezenční formě doktorského studa na katedře zdravotního a ekologckého nženýrství Fakulty stavební ČVUT v Praze. Uchazeč: Ing. Marek Němec Fujtsu Semens Computers Evropská 76, Praha 6, 60 00 Školtel: Doc. Ing. Iva Čháková, CSc. katedra Fakulta stavební ČVUT Thákurova 7, 66 29 Praha 6 - Dejvce Oponent:......... Teze byly rozeslány dne:... Obhajoba dsertace se koná dne... v.. hod. před komsí pro obhajobu dsertační práce ve studjním oboru Vodní hospodářství a vodní stavby v zasedací místnost č... Fakulty stavební ČVUT v Praze. S dsertací je možno se seznámt na děkanátě Fakulty stavební ČVUT v Praze, na oddělení pro vědeckou a výzkumnou čnnost, Thákurova 7, 66 29 Praha 6 Dejvce. předseda komse pro obhajobu dsertační práce ve studjním oboru Vodní hospodářství a vodní stavby Fakulta stavební ČVUT, Thákurova 7, 66 29 Praha 6 Dejvce

. SOUČASNÝ STAV PROBLEMATIKY..... Ústavy věnující se výzkumu neuronových sítí... 2. CÍLE DISERTAČNÍ PRÁCE...2 3. KLASICKÉ METODY ZPRACOVÁNÍ PROGNOSTICKÉ METODY...3 4. NEURONOVÉ SÍTĚ PŘEDSTAVENÍ...3 4.. Výhoda neuronových sítí oprot klasckým metodám...4 4.2. Algortmus Back-Propagaton...4 4.2. Archtektura sítě...5 4.2.2 Výkonný prvek umělé neuronové sítě...5 4.2.3 Učení sítě Back-propagaton...6 4.2.4 Matematcký pops algortmu back-propagaton...9 5. MODELOVACÍ PROSTŘEDKY...0 6. CHARAKTERISTIKA ČASOVÝCH ŘAD...0 6.. Rozptyl...0 6.2. Výběrový rozptyl (Var)...0 6.3. Směrodatná odchylka (STD)...0 6.4. Emprcké momenty... 6.5. Škmost... 6.6. Špčatost (ang. Kurtoss)... 6.7. Autokorelace... 6.8. Hstogram...2 6.9. Hustota...2 6.0. Ověření normalty...2 7. VÝSLEDKY...3 8. ZÁVĚR...8 9. LITERATURA...9 0. PUBLIKACE...20. SUMMARY...20

. SOUČASNÝ STAV PROBLEMATIKY Ve vodním hospodářství se doposud využívalo zejména klasckých prognostckých metod. Využtí neuronových sítí se začíná uplatňovat zejména v posledním období ve spojení s nárůstem výpočetního výkonu PC... Ústavy věnující se výzkumu neuronových sítí Neuronovým sítím se na ČVUT nejvíce věnuje Doc. Ing. Mroslav Šnorek, CSc. z FEL ČVUT a neuronová skupna (Neural Computng Group) př katedře počítačů na FEL, kde jsem byl členem. Skupna se zabývá převážně výzkumem rozpoznávání znaků pomocí neuronových sítí například na automatzované třídění lstovních záslek nebo klasfkací respondentů s využtím neuronové sítě. Ve vodním hospodářství se neuronové sítě uplatňují zejména př predkc a optmalzac složtějších soustav. Na katedře hydrotechnky se problémem neuronových sítí zabývá Dr. Ing. Pavel Fošumpaur, který je využívá zejména pro předpovídání říčních průtoků a srážkoodtokových vztahů (ISBN 80-02-0274-7, ISSN 2-0760). Na naší katedře zdravotního nženýrství se spotřebou vody zabývala jž Doc. Ing. Iva Čháková, CSc., ovšem za použtí stochastckých metod (Stochastcký model potřeby vody se zaměřením na krátkodobou předpověď pro denní potřebu ptné vody, 985. Případně ve své habltační práce z roku 2004). V rámc dsertační práce byla navázána spolupráce například s děkanem Fakulty elektrotechnky a nformatky, VŠB Techncká unverzta Ostrava. Prof. Ing. Ivo Vondrákem, CSc., který mně v počátku ochotně poskytl několk cenných rad. Akademe věd ČR se v některých výzkumných úkolech také věnuje neuronovým sítím pod vedením Dr. Mrko Novaka z Ústavu nformatky. Ze zahrančních ústavů zabývajících se predkcí spotřeby vody jsou to zejména STU Stavební fakulta, katedra zdravotního nženýrství v Bratslavě (např. Prof. Ing. Jozef Krš, DrSc.) nebo Ing. Škarda B.C. ze švýcarských vodáren. Dále jsou to například tyto unversty: Technshe Unverstät Berln, Unverstät Hannover a jné ústavy po celém světě zabývající se výzkumem vody. Poměrně rozsáhlý výzkum v této oblast prováděly vodárny v Barceloně (časops Neural Network World), které s ovšem svoje výsledky pečlvě tají. - -

2. CÍLE DISERTAČNÍ PRÁCE V dsertační prác se budu zabývat výzkumem predkce potřeby vody pomocí neuronových sítí (dále NN sítě), a to jak z krátkodobého, tak z dlouhodobého hledska na časových řadách s hodnovou potřebou vody. Takto malý krok byl zvolen záměrně, neboť tyto řady vykazují poměrně velký rozptyl a nahodlé výchylky, a proto je nelze s úspěchem modelovat pomocí klasckých matematckých metod. V rámc dsertační práce je třeba:. Zjstt a ověřt, který typ neuronové sítě je vhodný pro predkc, zpracovat lteraturu a vytvořt teoretcký pops této sítě.. Vytvořt vhodný pops charakterzující časové řady.. Najít vhodný výpočetní prostředek pro pozdější analýzu, ten popsat a namodelovat výsledky. v. V rámc modelování je nutné ověřt pokud možno co nejlepší postup, jak s časovým řadam nakládat. v. Dále se pokusím zjstt, zda se dají tyto parametry neuronové sítě aplkovat na podobné časové řady potřeby vody, čímž by se značně urychll vlastní učící proces. v. Posoudt vhodnost neuronových sítí z hledska krátkodobé predkce (čase t+ vycházející ze známých hodnot) a dlouhodobé predkce (čase t+x, kdy se bude vycházet z jž namodelovaných hodnot). v. v. x. Závěrem každého výše uvedeného bodu dojde k porovnání namodelovaných výsledků se skutečným hodnotam a zhodnocení dosažených výsledků. Nakonec pro srovnání porovnám predkc pomocí NN sítí s jným typy předpovědních modelů. Například lneárním procesy, procesem klouzavých součtů MA, autoregresním procesy AR nebo smíšeným procesy ARMA č ARIMA. Tak, aby se mohly kvaltatvně posoudt nejen výsledky nastavení jednotlvých NN sítí, ale aby exstovalo srovnání s jným typy předpovědních modelů. Závěrem dojde k celkovému zhodnocení použtelnost neuronových sítí ve vodním hospodářství. - 2 -

3. KLASICKÉ METODY ZPRACOVÁNÍ PROGNOSTICKÉ METODY Př prognóze se vychází z mnulého vývoje. Na prognózu ale působí tolk náhodných vlvů, že nejlepší prognóza má jen jstou míru spolehlvost a přesnost. Prognózu můžeme rozdělt podle doby předpověd na krátkodobé, střednědobé, dlouhodobé a perspektvní. Přesnost každé prognózy závsí na třech faktorech: vstupních datech prognostcké teor předpovědní model, popsující působení jednotlvých faktorů na předpověď predktoru, tj. vlastní způsob určení předpověd ze vstupních dat Prognóza se v probíhajícím čase přzpůsobuje skutečnost (velm podobně jako u neuronových sítí). (obr.. prognóza) Ve vodním hospodářství jsou nejčastěj používány tyto prognostcké metody: Metoda nterpolace a extrapolace, metoda založená na teor pravděpodobnost a matematcké statstce, metoda analoge, metoda modelování a metody založené na expertzách. 4. NEURONOVÉ SÍTĚ PŘEDSTAVENÍ Prudký rozvoj výpočetní technky až po současný stav umožnl snadnou aplkac numerckých metod pro matematcké modelování. Tyto matematcké modely jsou navrhovány nejenom pro vlastní návrh systému, ale v neposlední řadě pro jeho posouzení a smulac určtých zvláštních stuací a podmínek. S rozmachem výpočetní technky je možnost modelovat složtější matematcké problémy. S tím ovšem roste složtost systému, dochází k zahrnování dalších velčn do výpočtu pro dosažení co možná největší schody mez modelem a realtou. V důsledku toho objem zpracovávaných dat stoupá nad únosnou míru. Dalším problémem může být, nedefnovatelnost různých matematckých problémů klasckým numerckým metodam, nehledě na jejch leckdy podvnou shodu s reálným stavem. - 3 -

Metody umělé ntelgence proto představují jedno z možných řešení. Mez nejvíce se vyvíjející odvětví umělé ntelgence patří expertní systémy, genetcké algortmy a neuronové sítě. Umělá ntelgence má za cíl přesunout ldské schopnost vnímání reálného světa z ldského vědomí na vnější medum a zpracování nformací svěřt procesoru počítače. Většna metod umělé ntelgence vychází z prncpů chování přírody a snaží se toto chování zalgortmzovat. Krásně se to dá předvést na genetckých algortmech. Genetcké algortmy jsou nsprovány přrozeným chováním přírody, v níž probíhá evoluční vývoj. Algortmy jsou založeny na prác s velkým množstvím jednců, tzv. populacích. Nové generace se neustále vytvářejí křížením a to nejzdravějších a nejslnějších jednců, čemuž říkáme výběrové hledsko. Podle tohoto hledska dochází neustále k určtému zkvaltňování populace. Tento prncp je vhodný pro řešení některých optmalzačních úloh v techncké prax. Problematka umělých neuronových nformačních systémů, které jsou schopny napodobovat funkce nervových soustav mozků žvých organsmů dokonalejším způsobem, než to v současné době může čnt dosavadní, tzv. konvenční výpočetní technka, láká pozornost mnoha vědců laků jž mnoho let. Hstore neuronformatky je poměrně dlouhá a obor se neustále průběžně vyvíjí. Nebudeme-l za prazačátek neuronformatky považovat rozvoj fyzologe a v níž se do hstore oboru zapsal náš J. E. Purkyně (787 869, unverztní profesor medcíny; v roce 839 vyslovl teor o buněčné stavbě žvých těl), lze říc, že počátek sahá do ranných let 20. století. V té době publkoval Amerčan W. S. McCulloch své první práce o modelech neuronů. V dalších letech ho pak následoval W.Ptts (jeho student), B.Wdrow a další, kteří vytvořl první umělé sítě, které jž byly schopny řešt praktcké úlohy. Umělé neuronové sítě představují velce zjednodušenou schematzac bologckého nervového sytému. Mez umělým neuronovým sítěm a konvenčním počítač exstuje zásadní rozdíl ve způsobu práce. Konvenční počítačové systémy pracují podle předem daného postupu matematckého algortmu. Podle kterého se zpracovávají jednotlvé dílčí nformace. Naprot tomu neuronové systémy uskutečňují velký počet dílčích operací současně a pracují bez algortmu. Jejch čnnost je založena na procesu učení, př kterém se neuronová síť postupně co nejlépe adaptuje k řešení dané úlohy. 4.. Výhoda neuronových sítí oprot klasckým metodám Oprot ostatním metodám jsou schopny realzovat složté nelneární funkce, dokonce lbovolné. Př fáz učení se nemusíme zaobírat problémem výběru správné funkce nebo výběrem expertů, protože sítí stačí pouze trénovací příklady. Toto je hlavní rozdíl mez klasckým přístupem například přes nelneární modely a sítí back-propagaton. Samozřejmě za tyto výhody musíme zaplatt. Neuronové sítě mohou uvíznout v lokálním extrému nebo konvergují př učení velm pomalu. Nevíme tedy jak dlouho budeme muset síť učt, než se dostaneme pod maxmální přípustnou chybu. 4.2. Algortmus Back-Propagaton Tento typ algortmu umělé neuronové sítě je nejvhodnější pro predkc, proto s ho popíšeme podrobněj. Tato síť je vícevrstevná, kde učení probíhá zpětným šířením chyby. - 4 -

4.2. ARCHITEKTURA SÍTĚ Typcké uspořádání sítě je vdět na obrázku níže (obr. 2.). Na obrázku je jasně vdět, že tato umělá neuronová síť se skládá z několka vrstev obsahující jednotlvé neurony. Vstupní vrstva (nejvíce vlevo) pouze rozvětvuje sgnál přcházející ze vstupu na všechny neurony. skryté vrstvy. Propojení mez vstupní a. skrytou vrstvou je úplné, tedy je propojen každý neuron s každým. (obr. 2. schéma NN sítě a jednotlvých vazeb) 4.2.2 VÝKONNÝ PRVEK UMĚLÉ NEURONOVÉ SÍTĚ Výkonným prvkem umělé neuronové sítě, jak už jsem uvedl v předchozí kaptole, je neuron. Tento neuron zpracovává vstupní údaje podle vztahu: N y = S w. x = + Θ [rov..], kde y je výstup (aktvta neuronu), x je -tý vstup neuronu, vstupů je celkem N, w představuje hodnotu -té synaptcké váhy S je lneární přenosová funkce neuronu a Θ představuje prahovou hodnotu (obr. 3. výkonný prvek umělé neuronové sítě) - 5 -

4.2.3 UČENÍ SÍTĚ BACK-PROPAGATION Postup učení této sítě je podobný učení žáka ve škole. Žák se danou látku učí tak dlouho, dokud j neumí a dokáže j nterpretovat s jstou přesností. Podobně to funguje v tomto algortmu. Žákem je sama neuronová síť, probírané látce odpovídá trénovací množna. Zkoušením zjšťujeme, zda síť na dané vzory odpovídá správným výstupy. Pokud ne, měníme váhové koefcenty tak dlouho, dokud nezačne reagovat správně. Algortmus učení lze programovací řečí popsat následovně: náhodná_ncalzace_vah repeat repeat vyber_vzor_z_trénovací_množny přlož_vybraný_vzor_na_vstupy_sítě vypočt_výstupy_sítě porovnej_výstupy_s_požadovaným_hodnotam modfkuj_váhy untl vybrány_všechny_vzory_trénovací_množny untl globální_chyba < krtérum Výběr vzorů z trénovací množny nemusí být jen sekvenční, někdy může být využto například náhodného výběru. Volba stratege není pevně dána a spíše závsí na umění učt neuronové sítě a na vhodně zvolených parametrech této sítě. V průběhu učení můžeme určté vzory předkládat častěj k učení, jné zase méně často atp. Globální chybou je v algortmu míněna například střední kvadratcká chyba (MSE Mean Squarred Error). MSE = n t= ( y y ) t n ) t 2 n je počet neuronů výstupní vrstvy., kde [rov. 2.] Trénování sítě ukončuje splnění předem dané podmínky. Touto podmínkou může být dosažení předepsaného počtu trénovacích etap (kroků) nebo pokles globální chyby pod předem stanovenou mez. První podmínka správné natrénování sítě zaručuje stěží! Touto podmínkou můžeme pouze omezt trénovací čas na únosnou míru. Druhá podmínka nám může kvaltu učení ovlvnt jž smysluplně. Máme-l však na globální chybu přemrštěné požadavky, přesáhne trénovací čas únosnou míru. Nejlepším ukazatelem je sledovat časový průběh globální chyby sítě po jednotlvých etapách (krocích). Vysvětlení vlastního učení a pojmů trénovací a testovací množna na příkladu: Máme údaje o časově závslé proměnné x t (t=, 2,...) a chceme předpovědět hodnotu proměnné v čase t+h. - 6 -

Predkce časové řady pomocí neuronové sítě spočívá v naučení sítě na průběh velčny v nějakém omezeném čase a následném použtí do budoucnost. Sít předkládáme na vstup data z mnulost a jako výstup očekáváme data z budoucnost (obr. 4.). Jedná se tedy o učení s učtelem. Pro přesnější predkc je vhodné dodat další nformace, například ve formě ntervenčních proměnných (obr. 5.). Neplatí však, že více údajů zaručuje lepší predkc, někdy je tomu právě naopak. Vždy je potřeba vybrat relevantní údaje, pokud jsou k dspozc. (obr. 4. učení časové řady bez ntervenčních proměnných) (obr. 5. učení časové řady s ntervenčním proměnným) Trénovací množnu vytvoříme přímo z časové řady jednoduše tak, že jako vstupy vezmeme určtý počet naměřených hodnot a jako požadovaný výstup vezmeme hodnotu (případně hodnoty) v určté vzdálenost od vstupních hodnot. Vstupní část časové řady se nazývá okno, výstupní část je predkovaná hodnota. Posunem tohoto okna po časové řadě vytváříme položky trénovací množny (obr. 6.). Je vhodné ponechat část naměřené - 7 -

řady pro testování, tzn. nepředkládat tuto část časové řady př učení, ale použít jí pro testování naučenost sítě. Takto získanou trénovací množnu je ještě třeba upravt dle konkrétní použté sítě, například přepočítat získané hodnoty do určtého ntervalu. (obr. 6. vytváření trénovací množny) Data, která máme k dspozc, se často rozdělují na učící řadu, valdační řadu a testovací řadu. Tyto tř řady se mohou vzájemně částečně překrývat (obr. 7.) a nemusí být souvslé. Učící řada je posloupnost, kterou předkládáme sít, a dle které síť upravujeme. Odchylku v odpovědích na valdační řadu používáme jako krtérum pro ukončení učení sítě. Testovací řadu pak použjeme na test naučenost sítě pro hodnoty v budoucnost, které síť během učení "nevděla". Učící řada tedy slouží na hledání modelu, valdační řada na ověřování modelu a testovací řada na test použtelnost modelu. (obr. 7. příklad rozvržení valdační, učící a testovací řady) Důležté je též předzpracování dat. Je například vhodné z časové řady odstrant trend, náhodné chyba měření a jné složky (např. sezónní), pokud jsme ovšem tyto složky schopn dentfkovat. Zvláště pro neuronové sítě (které mají výstupy v určtém ntervalu) platí, že nelze úspěšně předpovídat hodnoty mmo předem daný nterval. - 8 -

4.2.4 MATEMATICKÝ POPIS ALGORITMU BACK-PROPAGATION - Krok. Incalzace Všechny váhy v sít se nastaví v náhodně malém rozsahu, například <-0,3;0,3>. - Krok 2. Předložení vzoru Vybereme vzor z trénovací množny a přložíme na vstupy sítě. Dále po vrstvách směrem od vstupu k výstupům sítě počítáme výstupy jednotlvých neuronů podle vztahů: n = S + Θ w x = y - Krok 3. Srovnání a S( ϕ ) = + e γϕ. [rov. 3. a 4.] V kroku srovnání nejprve vypočítáme energ podle vztahu E = 2 n = ( y d ) 2, která bude využta jako přírůstek k celkové energ počítané přes všechny testovací vzory. Dále spočítáme chybu pro výstupní vrstvu: o o o o ( d y ) γ. y ( y ) δ =. [rov. 5.] - Krok 4. Zpětné šíření chyby a modfkace vah Pro všechny neurony ve vrstvě vypočteme: Δw ΔΘ l j l l l l () t = () t y () t + αδw ( t ) ηδ, [rov. 6.] l l () t = () t + αδθ ( t ) Podle vztahu j j ηδ. [rov. 7.] δ h = y h n h ( y ) w δ k = vstupům. Na závěr kroku 4 modfkujeme váhy: w Θ l j l l l ( t + ) = wj () t + Δwj () t l l ( t + ) = Θ ( t) + ΔΘ ( t), h k h k zpětně šíříme chybu do vrstvy, která je blíže [rov. 8.] Krok 4 opakujeme pro všechny vrstvy sítě tak, že začínáme vrstvou výstupní (l=o), pak následují skryté vrstvy (l=h). V případě, že zpracováváme skrytou vrstvu, která je nejblíže vstupní vrstvě, nahradíme y v rovnc pro výpočet Δ w za odpovídající vstupní hodnotu, tedy za. x j - Krok 5. Ukončení výběru vzorů z trénovací množny l j Jestlže byly sít předloženy všechny vzory z trénovací množny, pokračujeme krokem 6, jnak se vracíme na krok 2. Pozn.: Př sekvenčním výběru je realzace tohoto testu jednoduchá. Vybíráme-l však vzory náhodně, musíme v průběhu učení zaznamenávat, které vzory byly použty, a které nkolv. - Krok 6. Ukončení učení Jestlže byla chyba neuronové sítě za poslední epochu menší, než nám stanovené krtérum nebo byl vyčerpán maxmální počet epoch, pak učení ukončíme. Jnak se pokračuje krokem 2. - 9 -

5. MODELOVACÍ PROSTŘEDKY Pro výpočty této dsertační práce byl použt program MATLAB s rozšířením o Neural Network Toolbox, který umožňuje prác s neuronovým sítěm. Důvodů k tomuto kroku bylo několk. Jde o komerční produkt, takže jeho vývoj není ovlvněn momentální stuací členů volně dostupných projektů. Jde o jeden z nejvíce podporovaných produktů na trhu a posledním, ovšem ne co do důležtost, argumentem pro jeho použtí je skutečnost, že ČVUT je držtelem multlcenční smlouvy na tento produkt. Podrobný pops tohoto dalších softwarových prostředků pro prác s neuronovým sítěm lze najít ve vlastní dsertační prác. 6. CHARAKTERISTIKA ČASOVÝCH ŘAD K popsu jednotlvých časových řad potřeby vody získaných od Pražských vodovodů a kanalzací a.s. použjeme některé z metod popsné statstky. Ta zkoumá vlastnost, které se projevují na určtém rozsáhlém souboru případů a snaží se je pomocí popsných metod charakterzovat. K popsu jednotlvých řad potřeby vody jsem použl metody vyjmenované níže. 6.. Rozptyl Popsuje velkost kolísání náhodné velčny kolem střední hodnoty v určtém souboru, vypočtený z hodnot pro všechny jednotky tohoto souboru. Vypočte se jako průměr druhých mocnn všech rozdílů výsledků jednotlvců od průměru. kde n 2 ( x x) 2 = σ = n, [rov. 9.] x jsou výsledky jednotlvců, x je průměr a n je počet testovaných. 6.2. Výběrový rozptyl (Var) Popsuje velkost kolísání náhodné velčny kolem střední hodnoty na základě zadaných výběrových hodnot. s 2 = n = ( x x) n 2 [rov. 0.] 6.3. Směrodatná odchylka (STD) Vypočte se jako druhá odmocnna rozptylu s = 2 s. [rov..] V odborné lteratuře se objevují dvě defnce pro výpočet směrodatné odchylky: 2 = 2 n σ ( x x) 2 nebo n ) n 2 s = ( = x x, vychází se tedy buď z rozptylu, nebo výběrového rozptylu. Častější varantou je n = varanta vycházející z výběrového rozptylu (vzorec 0), kterou budu také používat. - 0 -

Pokud od průměru odečteme, resp. k němu přčteme dvojnásobek směrodatné odchylky ( x ± 2. s), dostaneme hrance, mez nmž se nacházejí téměř všechny výsledky (mmo ně je pouze přblžně 5 %). 6.4. Emprcké momenty Kromě varablty lze číselně vyjádřt další charakterstky posthující tvar rozdělení dat. Dříve než s dvě takové charakterstky uvedeme, seznámíme se s tzv. emprckým ' momenty. Tzv. k-tý obecný moment je defnován jako průměr k-tých mocnn. M k M n ' k k = x n = Dále se užívají centrální momenty průměru: M k = n n = k ( x x) M k [rov. 2.], které vycházejí ze součtu mocnn odchylek od [rov. 3.] Z momentů jsou odvozeny další charakterstky, škmost (angl. skewness) a špčatost (angl. kurtoss). 6.5. Škmost M 3 g = [rov. 4.] 2 ( M 2) Nulová škmost znamená, že rozdělení dat je symetrcké okolo průměru, kladná škmost znamená, že rozdělení četností je zeškmeno vlevo, záporná škmost znamená zeškmení vpravo. 6.6. Špčatost (ang. Kurtoss) M 4 g 2 = 3 [rov. 5.] 2 ( M ) 2 Důvod proč na pravé straně odečítáme hodnotu 3 je, že špčatost vztahujeme k nejčastěj vyskytujícímu se rozdělení, k tzv. normálnímu rozdělení, u kterého je poměr M 4 roven 3. Špčatost je tedy vztažena ke špčatost normálního rozdělení, kladná 2 (M 2) špčatost znamená špčatější rozdělení než normální, záporná špčatost znamená, že rozdělení pozorovaných hodnot je "placatější" než normální. 6.7. Autokorelace Nezávslost prvků se nejčastěj testuje autokorelačním koefcenty. Nejvíce se používá autokorelační koefcent. řádu r, který lze chápat jako korelac. hodnoty se 2., 2. se 3., 3. se 4. atd. Autokorelační koefcent k-tého řádu r k je defnován jako: - -

r k = n k ( x n = x)( x ( x + k x) 2 x) = [rov. 6.] Díky autokorelační funkc lze odhalt perodctu sgnálu. Autokorelační funkce u perodckého sgnálu o perodě N bude mít maxma pro k = N. 6.8. Hstogram Hstogram reprezentuje četnost zastoupení na určtém ntervalu. 6.9. Hustota Hustota pravděpodobnost nám umožňuje pro každý, uměle zvolený nterval říc, s jakou pravděpodobností se bude náhodně pozorovaný stav velčny v tomto ntervalu nalézat. Tuto pravděpodobnost spočteme jako plochu nad zvoleným ntervalem, která je shora omezena křvkou grafu. Přčemž směrodatná odchylka náhodné velčny, určuje tvar hustoty normálního rozdělení. Čím je směrodatná odchylka větší, tím je hustota plošší, čím je menší, tím je křvka strmější. 6.0. Ověření normalty Metody klascké statstcké analýzy dat jsou založeny na předpokladu normalty. Chceme-l je použít, musíme se přesvědčt, zda pozorování x, x2,..., x n představují realzac náhodného výběru pocházejícího z normálního rozdělení. To je možné učnt buď pomocí vhodného grafu dat, nebo aplkací testu normalty. Běžně dostupný statstcký software zpravdla nabízí dvě možnost grafckého posouzení normalty. První z nch je hstogram. Pro normaltu dat svědčí hstogram odpovídající svým tvarem Gaussově křvce hustoty normálního rozdělení. Měl by tedy být jednovrcholový a přblžně symetrcký. Druhým grafem pro posouzení normalty dat je normální dagram (normal probablty plot). Je to graf obsahující body o souřadncích Ф - (/(n+)),x (). Data pocházející z normálního rozdělení mají na normálním dagramu body soustředěné kolem přímky. 25.0 64.5 8.8 64.0 2.5 63.5 6.3 63.0 0.0 62.5 63.0 63.5 64.0 64.5 62.5-3.0 -.5 0.0.5 3.0 (obr. 8. hstogram a normální dagram svědčící pro normaltu dat) - 2 -

400.0 80.0 300.0 60.0 200.0 40.0 00.0 20.0 0.0 0.0 20.0 40.0 60.0 80.0 0.0-4.0-2.0 0.0 2.0 4.0 (obr. 9. hstogram a normální dagram svědčící prot normaltě dat) Hstogram nebo normální dagram nemusí poskytnout jasnou odpověď na otázku normalty dat. V takovém případě můžeme použít některý z testů normalty, zmňme např. test Kolmogorovův-Smrnovův, č testy založené na škmost (skewness) a špčatost (kurtoss). 7. VÝSLEDKY. Podrobně jsem teoretcky popsal problematku neuronových sítí s detalním popsem algortmu back-propagaton, který byl zvolen jako nejvhodnější pro predkc potřeby vody.. V kaptolách zabývajících se jednotlvým výsledky jsem vybral popsné statstcké metody, které mohou snadno charakterzovat jednotlvé časové řady potřeby vody (v tezích kaptola 6.). Pomocí těchto popsných statstckých analýz jsem dospěl k závěru, že u hodnových potřeb vody nelze počítat s normálním rozdělením. Ukazuje to jak škmost, hstogram, tak jednotlvé normální dagramy, kde body nejsou soustředěny kolem přímky. Zejména v počáteční a konečné fáz. Pro prác s těmto daty tedy nelze použít metody klascké statstcké analýzy. (obr. 0. zobrazení rozložení hustoty jednotlvých řad všmněte s dvou vrcholů) - 3 -

. v. Vytvořl jsem seznam dostupných smulátorů neuronových sítí spolu se stručným popsem jejch vlastností (v tezích kaptola 5.). Z čehož jsem detalně popsal vlastnost programu Matlab, který byl vybrán k modelování NN sítí. Z důvodů možnost porovnání jednotlvých časových řad, a také pro ověření toho, zda se NN síť lépe učí na reálných datech č na normalzovaných byl odvozen v další část algortmus převádějící veškeré vstupní hodnoty do ntervalu <-;>. x mn x x n = 2. [rov. 7.] max x mn x Jsou-l data převedena pomocí tohoto algortmu zůstanou zachovány jejch vlastnost, ale maxmální hodnota dané řady bude nabývat hodnoty + a naopak mnmem řady bude hodnota. Pokud jsou takto upraveny všechny řady potřeby vody, lze je daleko lépe porovnávat a vyslovovat případné hypotézy, než v případě práce s reálným daty. Navíc se př učení NN sítě potvrdlo, že normalzovaná data jsou daleko vhodnější pro učení NN sítí, než když použjeme reálné hodnoty. U reálných hodnot stupeň naučenost NN sítě klesá postupně s rostoucí velkostí trénovací skupny dat. Tento průběh není lneární a vyskytují se u něj dost značné výchylky. Naopak kvalta naučenost na normalzovaných datech s zachovává lneární charakter. 600 400 ŘADA 30 - porovnání kvalty učení NN sítě př použtí reálných a normalzovaných dat počet neuronů skryté vrstvy 28, počet hodnot vstupujících do výpočtu 30 MSE 200 000 800 600 400 200 0 04 344 584 824 2064 2304 2544 2784 3024 3264 3504 3744 počet dat sloužících k učení NN sítě norm. řada stand. řada (obr.. porovnání naučenost NN sítě na reálných a normalzovaných datech) Dalším výsledkem, ke kterému jsem př své dsertační prác dospěl je fakt, že využtí uvedených ntervenčních proměnných není pro učení NN sítě v tomto případě výhodné. Z výpočtů jasně vyplývá, že pokud do výpočtu vstupuje méně hodnot, tak jsou výsledky s použtím ntervenčních proměnných kvaltnější. Ovšem okolo 2 vstupů dosáhne učení NN sítě s pomocí ntervenčních proměnných svého vrcholu a od té doby víceméně stagnuje. Naprot tomu učení NN sítě, které jsou poskytovány vstupy tvořené pouze daty časové řady, se neustále zkvaltňuje. - 4 -

ŘADA 30 porovnání vstupů tvořených daty pouze z časové řady vs př použtí ntervenčních proměnných průměrné MSE 420 400 380 360 340 320 300 280 260 240 220 200 80 60 40 6 2 8 24 počet hodnot vstupujících do výpočtu Standardní vstup z časové řady Vstup včetně Intervenčních proměnných (obr. 2. vlv standardních vstupů a vstupů s ntervenčním proměnným na kvaltu učení NN sítě) Př posuzování skutečnost jaký vlv má na kvaltu učení počet současně vstupujících hodnot do výpočtu a počet neuronů skryté vrstvy NN sítě jsem zjstl, že učení stoupá zpočátku strmě a s postupem času se zpomaluje. Z výsledků také vyplynulo, že větší vlv na kvaltu učení má množství dat vstupujících do výpočtu, než-l počet neuronů skryté vrstvy. 3250 3050 ŘADA 26 Suma MSE př různém počtu skrytých vrstev NN a vstupních dat suma MSE 2850 2650 2450 2250 2050 850 650 suma MSE (vstupní data) suma MSE (skrytá vrstva) 450 250 050 2 4 6 8 0 2 4 6 8 20 22 24 26 28 30 32 Počet dat (obr. 3. porovnání vlvu množství vstupních dat a počtu neuronů skryté vrstvy na kvaltu učení NN sítě) - 5 -

Dalším krokem př posuzování vlvu počtu vstupních parametrů bylo posouzení toho, jaký vlv na kvaltu učení má velkost trénovací množny. V tomto případě se splnl logcký předpoklad. Se zvětšujícím se množstvím dat trénovací skupny bude současně s tím klesat chyba na celé časové řadě. Pro predkc časové řady potřeby vody je tedy vhodné použít co nejdelší časovou řadu předchozích hodnot. Protože na co delší časový úsek bude NN síť naučena, tím lépe dokáže predkovat na nenaučených datech. Tento poznatek vyplývá ze skutečnost, že s velkostí trénovací množny klesá zároveň chyba (MSE) na nenaučených datech. Zároveň se ukazuje, že kvaltnějších výsledků lze dosáhnout na časových řadách s menším rozptylem. v. Př dalším ověřování jsem se zabýval možností transformace jž naučené NN sítě na zcela jnou síť. Chtěl jsem ověřt, zda lze jž naučenou NN síť použít k výpočtům na zcela jné časové řadě, než na které se učla a s jakou kvaltou výsledků lze počítat. Spolu s tím jsem hledal matematcký vztah, který by dokázal předem odhadnout, jak bude tato transformace kvaltní. Odhad kvalty transformace se prováděl na normalzovaných datech. Následně byl vždy proveden podíl mez naučenou řadou a řadou, kterou pomocí naučené řady chceme predkovat. Na těchto podílech (vyjma hodnot mn a max) byl spočten výběrový rozptyl. Předpoklad je takový, že čím bude hodnota výběrového rozptylu menší, tím s jsou řady více podobné a lze na ně použít transformac. Jako důkaz pro potvrzení tohoto předpokladu posloužla celková suma MSE na všech provedených výpočtech (vz tabulka 3 až 5 vlastní dsertační práce). Domněnka se potvrdla a u řad navržených pro transformac dle zvolené metody byla celková suma MSE po 256 výpočtech nejmenší. Dalším důležtým krokem bylo zjstt, zda u predkce časové řady pomocí jž jné naučené řady máme používat nejlépe naučenou NN síť. Tedy ty s nejmenším MSE, nebo zda se k tomuto účelu hodí spíše méně naučené sítě, které jsou obecnější. Z výsledků provedených analýz vyplynulo, že naučenou neuronovou síť lze úspěšně transformovat na jnou časovou řadu s kvaltním výsledky. Musí být ovšem dodrženy určté podmínky. Poměrná výběrová varablta mez sítěm musí být co nejnžší a pro transformac je důležté, narozdíl od vlastního učení, použít zcela jnou strukturu NN sítě. Nejvíce se pro transformac osvědčly 2 neurony ve skryté vrstvě a 26 hodnot vstupujících do výpočtu. Tím byla prokázána možná jedna z nejdůležtějších vlastností neuronových sítí, a to že podle určtých pravdel popsaných výše lze předpovědět časovou řadu potřeby řady pomocí jné než vlastní naučené NN sítě. Tato vlastnost by se mohla uplatnt zejména př zjšťování dalších hodnot ve vodovodní sít jako je doba zdržení č hodnoty zbytkového chlóru a všech podobných velčn, které se jen těžko zjšťují přímou matematckou cestou. v. Dalším krokem bylo ověřt, s jakou přesností mohou NN sítě předkovat potřebu vody z krátkodobého hledska. Tedy s jakým úspěchem jsou NN sítě schopny předpovědět na základě daných skutečností hodnotu v čase t+. Z výsledků vyplývá, že NN sítě jsou z krátkodobého hledska téměř 00% přesné. MSE se pohybuje v rozmezí 30 až 00 a př volbě časově ještě náročnější struktury NN sítě bychom mohl dosáhnout ještě lepších hodnot. Zde ovšem vyvstává otázka, zda je to z hledska potřebného výpočetního výkonu a času vhodné řešení. Nejlepších výsledků bylo dosaženo, pokud do výpočtu vstupovalo 26 vstupů a ve skryté vrstvě bylo 32 neuronů. To př jednom výstupu představuje 864 vah. Z tohoto důvodu je dobré, aby trénovací skupna obsahovala mnmálně 000 prvků, jnak by docházelo ke ztrátě robustnost a obecnost NN sítě! Stejné pravdlo platí př změně struktury sítě, nkdy by neměla NN síť mít více vah, než-l je počet hodnot k učení NN sítě. - 6 -

Ř ADA 24 výřez 009-345 275 225 m3/h 75 zdroj smulace 25 75 25 25 49 73 97 2 45 69 93 27 24 265 289 33 337 hodny v. v. (obr. 4. naučenost NN sítě př 26 vstupech a 32 neuronech skryté vrstvy na řadě 24, zobrazení na výřezu 009:345) Jak už jsem uvedl, v případě krátkodobé predkce se předpovídá pouze pro jeden časový krok do budoucnost. Neuronové sít je předložena známá hodnota časové řady (t) a na základě této (a znalost z časového okna) se předpovídá budoucí hodnota časové řady (t+). Pro predkc následující hodnoty časové řady (t+2) se ale použje hodnota známá, tedy hodnota ze skutečné časové řady (t+). Naprot tomu dlouhodobá predkce vychází ze známých hodnot pouze na počátku a pro predkc hodnoty časové řady (t+) se využívá předchozí predkovaná hodnota časové řady (t). V tomto případě jsem zkoušel predkovat 336 hodn dopředu, což odpovídá 4 dnům, a výsledek jsem posléze porovnal se skutečným stavem. Jednoznačně se potvrdlo, že v případě dlouhodobé predkce poskytuje nejlepší výsledky kombnace 23 vstupních hodnot a 23 neuronů skryté vrstvy. Dalším zajímavým zjštěním je skutečnost, že daleko lepších výsledků lze dosáhnout, pokud výsledky jednotlvých smulací zprůměrujeme a tuto průměrnou hodnotu ve výsledku prezentujeme jako dlouhodobou predkc. Také v tomto ohledu se podařlo dokázat vhodnost použtí NN sítí na dlouhodobou predkc potřeby vody, v tomto případě můžeme počítat s celkovým MSE okolo 500. Výše jsou uvedené veškeré zjštěné poznatky získané z práce s neuronovým sítěm. Podrobnost lze najít v jednotlvých kaptolách dsertační práce, kde se vždy každá kaptola věnuje uvedeným problémům podrobně. V případě potřeby lze dokonce dohledat veškeré výsledky v detalní podobě na přloženém CD-ROMu k dsertační prác. V porovnání s klasckým metodam analýzy časových řad jasně vyplývá, že v případě krátkodobé predkce produkují NN sítě několkanásobně kvaltnější výstupy než-l v případě modelů ARIMA. - 7 -

Predce řady 30 pomocí ARIMA modelu a NN sítě 450 400 Zdroj m3/h 350 300 250 ARIMA(2,,)x (2,,)24 Smulace pomocí NN sítě 200 0 24 48 72 96 hodny (obr. 5. porovnání kvalty výstupu ARIMA modelu a NN sítě, výřez 27:23) Ačkolv to z obrázku není na první pohled vdět, ARIMA model dosáhl nejlepší hodnoty MSE 269, kdežto NN síť pouhých 84! Také u dlouhodobé předpověd potřeby vody jsou výstupy NN sítí (až na výjmku u řady 24) mnohonásobně kvaltnější. Kupodvu jsou některé výsledky NN sítí, které jsem získal transformací naučené NN sítě na jnou řadu, stále kvaltnější než-l předpověď pomocí modelů ARIMA. Jednoznačně se tak potvrdlo, že NN sítě patří mez nejperspektvnější metody pro předpověď potřeby vody. 8. ZÁVĚR x. V rámc dsertační práce jsem provedl více jak 2 500 dílčích smulací predkce potřeby vody pomocí NN sítí, které jsem všechny zaznamenal a posléze analyzoval. Pokud by jedna smulace trvala v průměru 20 mnut (vz poznámka pod čarou číslo 5 dsertační práce), pak by jen vlastní smulace bez přípravy materálů a vyhodnocení zabraly přblžně 50 000 mnut. Mmo to př použtí NN sítí nehrozí jako u klasckých statstckých metod problémy s délkou časové řady. U velce dlouhých řad exstuje nebezpečí, že se v průběhu času podstatně mění charakterstka modelu, takže vybudování tohoto modelu klasckým metodam se stává s rostoucí délkou řady stále obtížnější. S tímto problémem se u NN sítí nesetkáme př vhodně nastavené struktuře NN sítě, je naopak vhodné NN síť učt pokud možno na co nejdelší řadě. Neuronové sítě se ukázaly jako velm perspektvní nástroj pro předpověď potřeby vody. Proto by bylo vhodné s výzkumem jejch možného uplatnění v rámc vodního hospodářství dále pokračovat. Velm perspektvní je vdím například v oblast potlačení šumu. Fakt, že neuronová síť dokáže rekonstruovat poškozené vzory, není nc jného než potlačování šumu. Pro potlačování šumu se používají různé fltry, které mohou být úspěšně nahrazeny neuronovou sítí. Pokud je neuronová sít dobře - 8 -

naučena, pak je sgnál ze zašuměného vzoru úspěšně vyfltrován a šum slně potlačen. Určtě je možné dále posoudt její vhodnost pro další ukazatele ptné vody jako kvalta, doba zdržení č možnost optmalzace řízení procesu výroby a dstrbuc. Dále lze zkoumat využtí genetckých algortmů pro urychlení procesu učení č jejch použtelnost na optmalzac trubních sítí. V budoucnu s rozvojem počítačové technky by mohla NN síť například sloužt jako základ pro expertní řídící systémy. Z jednodušších problémů, kromě predkce potřeby vody, které jsou NN sítě schopné řešt, může jít například o modelování zbytkového chlóru ve vodovodním řadu, případně doby zdržení. Pokud bychom chtěl využít NN sítě nejenom k modelování, ale též jako součást řídících systémů, pak s dokážu představt jejch uplatnění jako systému pro sledování neobvyklých stavů. Zde by byly NN sítě použty jako základ řídícího systému, který by hlásl neobvyklé stavy. Za neobvyklý stav by se považoval například takový, který by se ve dvou po sobě jdoucích hodnotách odlšoval od předpovědí získaných pomocí NN sítí. Dalším možným řídícím systémem by mohlo být sledování doby zdržení v reakc na aktuální objem vodojemu, kde by NN sítě mohly posloužt jako automatcký systém pro jeho co nejefektvnější provoz. Určtě jsem nenastínl všechny možné stuace, které jsou NN sítě schopné řešt. Mnoho dalších napadne jstě každého z vás. 9. LITERATURA. Bagch Tapan P.: Multobjectve Schedulng by Genetc Algorthms, Kluwe, 999 2. Bertsekas D.P. & Tstskls J.N.: Parallel and dstrbuted computaton: Numercal Methods, Englewood Clffs, NJ, Prentce Hall, 987 3. Dorfman R., Samuelson P.A., Solow R.M.: Lnear Programmng and economcs analyss, MacGraw-Hll, New York, 958 4. Hakl F.: Úvod do teore neuronových sítí, ČVUT, Praha 998 5. Holas Z.: Stochastcká optmalzace řídících procesů pomocí neuronových sítí, Praha: b.t. 980 6. Jřna M.: Neuronové sítě, Unverzta Karlova, Praha 995 7. Kohoutek J., Odstrčl M.: Algortmy hodnocení a optmalzace, Edč. Stř. VUT, Brno 989 8. Mchálek J., Valtyn J.: Modelování a optmalzace, NTL, Praha 984 9. Míka S.: Matematcká optmalzace, Západočeská unverzta, Plzeň 997 0. Novák Ivo: Umělá ntelgence a neuronové sítě, VŠB Ostrava, 998. Patera Adolf, Voruba Ladslav: Hospodaření s vodou, Edční středsko ČVUT, Praha 99 2. Plexndr V., Kondelík P.: Optmalzace a dentfkace matematckého modelu, NTL, Praha 986-9 -

3. Sutton Rchard & Barto Andrew: Toward a modern theory of adaptve networks: Expectaton and predcton, Psychologcal Revew, vol. 88, p 35-70, 98 4. Šíma J., Neruda R.: Teoretcké základy neuronových sítí, Unverzta Karlova, Praha 996 5. Škrášek J., Tchý Z.: Základy aplkované matematky 3, NTL, Praha 990 6. Turzík D.: Matematka 3, Základy optmalzace, VŠCHT, 994 7. Vašíček J.: Optmalzace rozvoje dstrbučních rozvodných soustav, Praha: b.t. 986 8. Vrus M.: Aplkace matematcké statstky metoda Monte Carlo, ČVUT, Praha 989 9. Zelnka Ivan: Umělá ntelgence. Část, Neuronové sítě a genetcké algortmy, VUTIUM, 998 20. T. Cpra: Analýza časových řad s aplkacem v ekonom, SNTL/ALFA, 986 2. Nápověda programu Matlab 22. Nápověda programu Statgraphcs 0. PUBLIKACE - Němec M.: Tvorba městského nformačního systému, Autodesk News 3/998 - Šrytr, Němec M.: Hodnocení rzk ochrany zdrojů mnerálních vod, Workshop 2000 - Slavíček M., Němec M., Macek M.: Využtí technologí GIS pro zlepšení správy a provozu nženýrských sítí, konference GIS ve státní správě Seč 2000 - Němec M.: Predkce spotřeby vody pomocí neuronových sítí a testování využtelnost genetckých algortmů pro optmalzac vodovodních řadů, Workshop 2002 - Více než 000 odborných publkací s počítačovou tématkou zveřejněných na serveru Žvě.cz, časopsech Computer a Connect!. SUMMARY In my dssertaton thess, I have researched predcton of water requrements usng neural network both n the short-term and long-term perspectve on tme seres wth hourly demand for water. Such a small spacng was chosen delberately, as these lnes show relatvely large varance and random devatons, and thus cannot be successfully modelled usng tradtonal mathematcal methods. The ndvdual tme seres of the demand for water were provded to me by the Pražské vodovody a kanalzace company whch I would lke to thank. For computng of ths dssertaton thess, I used the MATLAB program wth the Neural Network Toolbox extenson that enables for handlng neural networks, were used. Ths choce was based on several reasons. Above all, as a commercal product, the development of MATLAB s not affected by the current stuaton of members of the - 20 -

projects that are avalable freely. Moreover, t s one of the most supported projects on the market. Last, but not least, reason for selectng t s the fact that the Czech Techncal Unversty n Prague holds a mult-lcense agreement for MATLAB. On the tme seres from Pražské vodovody a kanalzace company, t was necessary to fnd out and verfy whch of the types of neural networks s sutable for predctng, prepare the lterature search and create theoretcal descrpton of ths network. I had to fnd a sutable means of computng for the subsequent analyss, descrbe t and model the results. Durng modellng, the best practses of handlng tme seres were verfed. The opton of applyng these parameters of neural network also on smlar tme seres of water demand, whch would sgnfcantly accelerate the learnng process, was valdated. In concluson, the results modelled were compared wth the real values and the results were evaluated. For the fnal comparson, the tme seres of the demand for water was predcted usng the standard types of forecastng models, such as lnear processes, Ma process of MA movng average, AR autoregressve processes or mxed processes of ARMA or ARIMA. The goal was not only to judge the qualty of the results of settngs n the ndvdual NN networks, but moreover to establsh a comparson wth other types of forecastng models. In all the ponts descrbed, I have acheved unambguous conclusons and I have proven that the neural networks count among the most prospectve methods for predctng demand for water. In all aspects, the neural networks have proven to be a very prospectve tool for water demand forecastng. Therefore, t would be advsable to contnue the research of ther possble applcatons n water economy. For example, I can see a large space for neural networks n the feld of nose elmnaton. The ablty of the neural network to reconstruct cracked patterns s exactly the bass of nose elmnaton. To elmnate nose, varous flters are used, and those can be successfully substtuted by a neural network. If the network s well taught, the sgnal of the nosed pattern s successfully fltered and the nose s strongly suppressed. It would be certanly useful to evaluate the sutablty of neural networks for other ndcators of drnkable water, such as qualty, retanng tme or optons for optmsng the management of manufacturng and dstrbuton process. Further, the usng of genetc algorthms for acceleratng the learnng process or for optmsng the ppe networks can be argued. In the future, wth more developed computng technology avalable, the NN network could be used as a bass for expert managng systems. - 2 -