Metody umělé inteligence ve vodním hospodářství

Transkript

1 Metody umělé inteligence ve vodním hospodářství Miloš Starý VUT FAST Brno, ÚVHK

2 Umělá inteligence Umělá inteligence (vědní disciplína) aproximace určitých schopností živých organismů (intelektuálních schopností člověka) Charakterický rys umělé inteligence těsné spoení s výpočetní technikou Výpočetní technika: - umožnila řešit numericky náročné úlohy - vedla k hledání kvalitativně nových a efektivněších postupů často se snahou napodobit intelektuální schopnosti člověka (analýza různých evů, logické usuzování, rozhodování v podmínkách neurčitosti)

3 Motivace rozvoe metod UI - složitost obektivní reality - neurčitost, která má různý charakter a původ (nahodilost, vágní popis veličin) Fenomén neurčitosti - výrazně ovlivňue vývo vědeckého výzkumu, který usilue o řešení problémů měnícího se reálného světa - někdy UI definována ako schopnost dosáhnout cíle nebo udržet požadované chování systému v neurčitých podmínkách Důvěryhodnost matematických modelů úzce spata se složitostí a neurčitostí systémů (z důvodu krize dat nebo příliš dlouhé doby výpočtu, např. při operativním řízení různých systémů se používaí ednodušší modely zvládnutelné numericky v přiatelném čase, které maí nižší důvěryhodnost

4 Srážkoodtokový proces Neurčitost - modelování srážkoodtokového procesu, operativní předpovídání a operativní řízení odtoku vody z povodí za povodňových situací

5 Proevy neurčitosti Schematizace povodí Schematizace povodí Automatizace měření a přenosu dat /průtoky, hladiny v nádržích, srážky/ Předpovědi srážek /ALADIN, německý model, REEDING/ Volba modelu, kalibrace modelu atd. Měřené a předpovězené srážky Rozložení srážek - Horton Meteorologický radar Předpověď srážek - ALADIN

6 Dělení metod UI Metody umělé inteligence: adaptivita učení (umělé neuronové sítě) genetické algoritmy fuzzy modely teorie rozpoznávání expertní systémy a znalostní inženýrství robotika komunikace se stroem v přirozeném azyce

7 Adaptivita

8 Adaptivita Schopnost živých organismů přizpůsobit se změnám okolního prostředí, a to hlavně když sou nepříznivé. Samotný proces přizpůsobování se nazývá adaptivním procesem. Obecná teorie systémů a kybernetika (Wiener, Neumann): dosáhnout cíle nebo udržet požadované chování systému v neurčitých podmínkách Využití ve vodním hospodářství konstrukce modelů pro operativní řízení odtoku vody z povodí (zásobní funkce, ochranná funkce) omezení intuitivního rozhodování při řízení systémů obektivizace a stabilizace rozhodovacího procesu v podmínkách neurčitosti Adaptivita účinný prostředek proti vlivu neurčitosti

9 Formalizace adaptivního systému Náhodný proev prostředí X Obvody pro nastavení Výstup Vstup proev prostředí X požadované chování Minimalizace kritéria (X, ) Symbolický zápis pěticí: AS = [ X,,, D, ] Informace o požadov. chování Rozhodovací pravidla (optimalizace) = D(X,, ) V praxi často intuitivní využívání Opakovaný výpočet!

10 Učící se systémy

11 Učící se systémy Výzkum živých organismů prokázal eich další schopnost, a to schopnost učení. Při mnohanásobném opakování adaptace na něakou změnu prostředí dokáží organismy v průběhu dlouhého vývoe postupně zmenšovat ztráty vynaložené na adaptaci. Opakování e e zdroem zkušeností, které si organizmus zapamatue, zhodnocue a učí se. Tím se snáze přizpůsobue změněným podmínkám učí se. Rozdíl oproti adaptivnímu systému prostý adaptivní systém neustále opakue adaptaci (i při témže proevu prostředí bez ohledu na předchozí rozhodnutí) učící se systém vyhledává v minulosti všechny situace uskutečněné adaptací, získané zkušenosti zhodnocue a volí takový parametr Q n, který vede k minimalizaci ztráty Z. Učící se systém speciální případ adaptivního systému!

12 Formalizace funkce naučeného systému Náhodný proev prostředí X Obvody pro nastavení Výstup Vstup proev prostředí X požadované chování Příčinný vztah = T(X) Kritérium (pro informaci) (X, ) Symbolický zápis šesticí: AS = [ X,,, D, T, ] Informace o požadov. chování Výběr rozhodovacího pravidla = D(x, ) Vyžadue v předstihu zpracovat možná chování systému pomocí využití adaptivity Výběr!

13 Genetické algoritmy

14 Genetické algoritmy (GA) Prohledávací metoda založená na principu přírodního výběru a genetiky (Holland, Goldberger) V každé buňce téhož edince stená soustava chromozonů (řetězce DNA slouží k ukládání informací o edinci) Chromozon se skládá z genů části DNA (v každém genu zvláštní rys edince) Princip GA ednoduchý - spočívá v kopírování a přesouvání bloků bitů (genů). Lze nasadit na řešení problémů, u nichž lze něakým způsobem stanovit kvalitu edince fitness hodnota kritérium. Prostor všech možných hodnot řešení prohledávaný prostor. Hledaným řešením e takové řešení (poloha bodu v prostoru), pro které fitness hodnota (kritérium) dosáhne maximální, resp. minimální hodnoty

15 GA Jedinec (eden chromozom), populace, generace Reprodukce z počáteční populace edinců (rodičů) pomocí křížení a mutace vzniká další generace edinců. Výběr rodičů selekce. Geny rodičů určuí chromozom nového edince (poloha bodu v prohledávaném prostoru). Operátory GA Binární kódování chromozomů Chromozom A Chromozom B Kódování pomocí hodnot Chromozom A Chromozom B Stromové kódování - NS Křížení Potomek Potomek Mutace (pouze určité procento edinců) Mut. pot Elitismus r a ( b a) I( B). n 2

16 GA - shrnutí Evoluční řešení Jedinec (chromozom, kritérium = fitness), populace, generace Reprodukce (selekce, křížení, mutace, elitismus) Nová populace naděe, že v ní z hlediska kriteria kvalitněší edinci Prohledávaný prostor = prostor všech možných řešení Každý bod prostoru edinec ohodnocený kritériem hledáním extrému daného kriteria v prostoru Základní znaky náhodnostní algoritmy, paralelismus, méně náchylné k uváznutí v pasti lokálního minima Využití Kalibrace modelů Nelineární optimalizace v řídících algoritmech Trénování umělých neuronových sítí

17 Neuronové sítě

18 Neuronové sítě (NS) Černá skříňka Vstupní prostor Výstupní prostor

19 NS Biologický neuron Umělý neuron

20 Schéma NS graf G(N,h)

21 Neuron n vymutý ze skryté vrstvy v u i i i O W TF O )..(,, i v u i i O W A,,. v u i i i O W,,. v u i i i O W A O,,. Výstup z neuronu n Aktivační funkce neuronu n Vzplanutí neuronu n Lineární neuronová síť

22 Přenosové funkce TF(.) Sigmoida O 1 exp[.( 1 i W i,. O i,. )] Skoková Lineární prahová Gaussova

23 Schéma tréninkové matice i X1 X2 X3 X4 Y1 Y n Metody trénování NS Metoda zpětného šíření Genetické algoritmy Mřížková metoda Gradientní metody

24 BrainMaker + GTO - křížení

25 BrainMaker + GTO - mutace

26 Neuronové sítě - shrnutí

27 Simulátory NS BrainMaker Professional +GTO (California Scientific Software) ARTINT (Mentar +EGU) MATLAB + Neural Networks Toolbox STATISTICA WinNN Neural Connection Neurex

28 NS - topologie Které veličiny vstupní a které výstupní (počet vstupních a výstupních neuronů) dáno charakterem řešené úlohy Počet vrstev skrytých neuronů a počet neuronů v nich (Kosko 1 skrytá vrstva a v ní 2m+1 neuronů = univerzální aproximátor) Počet parametrů (vah) větší než počet vzorů (Kůrková), přetrénování (overfiting) zapamatování vzorů, ztráta generalizační schopnosti (převážená síť) Čím méně vzorů v porovnání s počtem neuronů máme, tím větší pravděpodobnost, že síť natrénueme, ale ne správně. Narůstá pravděpodobnost libovolného vztahu mezi vstupy a výstupy Lawrencová SN TV. VN PT Počet tréninkových vzorů (TV) ve vztahu k počtu skrytých neuronů (SN), povolené toleranci (PT) a počtu vstupních neuronů (VN) Praxe: TV > SN. (1/PT)

29 NS topologie pokr.1 Jaký e nelepší počet skrytých neuronů? Existuí en doporučení!! Kolik vrstev skrytých neuronů? Existuí en doporučení!! Více vrstev prodlužue výrazně dobu trénování. Pokud nede vícevrstvá síť natrénovat => odebrat vrstvu a znovu opakovat trénování Past lokálního minima přidání náhodného šumu po natrénování a pokračování v tréninku (rozkmitání) Přidání náhodného šumu zvláště když malý počet vzorů Přidání náhodného šumu zvláště když mnoho nul ve vzorech Doplňování nových vzorů k iž natrénované síti a dotrénování de pouze několikrát, pak trénink kompletně znovu Zpočátku de síť dobře trénovat a pak se trénink zpomalí a skoro zastaví tréninková matice obsahue špatné vzory (lze připustit určité procento špatných vzorů) Někdy vyřeší problém přidání dalších vzorů ty podpoří zdánlivě špatné vzory

30 NS topologie pokr.2 Špatné vzory umožňuí vyloučit analyzátory tréninkové matice Dynamické neuronové sítě (Dynamic Node Creation) začnou trénink s malou sítí a pokud nede natrénovat, postupně přidávaí do skrytých vrstev neurony a skryté vrstvy. Vždy začínaí trénink znovu. Fungue i opačný postup velká síť má malé generalizační schopnosti Jde dělat manuálně po natrénování sledovat výstupy z neuronů (příliš velké nebo malé, dva stené) => neuron lze vymout Skeletonizace (Mozer, Smolensky) algoritmus pro posuzování vlivu neuronu na funkci dalších neuronů Rychlost učení určue velikost oprav neznámých veličin v procesu učení (váhy, prahy, strmosti, atd.) Vyhlazovací faktor určue míru vlivu, se kterým sou uvažovány minulé korekce opravovaných veličin, a míru vlivu, se kterým sou uvažovány korekce nově vypočtené (konugované gradienty)

31 NS topologie pokr.3 Rekurentní neuronové sítě se snaží zdokonalit proces učení zavedením spoů mezi neurony ednotlivých neuronových vrstev. Systém má zabránit tomu, toto doplnění má zabránit tomu, aby dva neurony z téže vrstvy reagovaly na vstupní data totožným způsobem Rekurentní neurony vznikly ako pokus obohatit neuronové sítě o časový rozměr. Neuronové sítě s rekurentními neurony se hodí pro zpracovávání dat, která tvoří časové řady. Každý neuron ve skryté vrstvě má svů vlastní rekurentní neuron, který zpracovává svů předešlý výstup Optimalizace topologie a postupu trénování neuronové sítě pomocí mřížkové (grid) metody Kompetiční model s Kohonenovou mapou tedy provádí shlukovou analýzu tréninkové množiny, t. určení počtu shluků vstupů tréninkové množiny a eich rozmístění ve vstupním prostoru. Model e možno použít ako reduktoru mohutnosti tréninkové matice

32 NS standardizace dat Standardizací vstupních dat rozumíme transformaci, která tato data převede na požadované intervaly Standardizaci vstupních nebo výstupních dat. V zásadě může být tato transformace nelineární nebo lineární (výstup TA(.) sigmoida) Transformace vstupů do menších hodnot (větší citlivost sigmoidy) a nelépe symetricky kolem nuly. Velikost intervalu, na který transformueme, určue význam příslušného vstupu. Lze cíleně využít. Nečastěi transformueme vstupní veličinu x z N( x, x ) na x t z N(0,1) x t x x x Lze využít i lineární transformaci výstupu z O k na O k t O t k O O k max O O min min,

33 NS a regresní rovnice Částečná analogie mezi regresními rovnicemi a neuronovými sítěmi Vícerozměrná lineární regrese Y a. X1 a2. X 2 a3. X 3... a p. X 1 p Jednosměrná lineární neuronová síť s edinou vrstvou vstupních neuronů, ediným výstupním neuronem a s nulovým prahem u všech neuronů, O k W. O1 k W2 k. O2 k W3 k. O3... W. O 1k k pk pk, Sarle uvádí: "Výzkumníci z oboru neuronových sítí znovu vynalezli metody známé ze statistické nebo matematické literatury desetiletí či století, ale často nechápou, ak tyto metody funguí"

34 Výhody NS NS a RR pokr. Neuronové sítě nevyžaduí volbu regresní závislosti (tvar regresní rovnice) Učení (trénink) neuronové sítě e analogickým termínem pro kalibraci regresního modelu Neuronové sítě mohou obsahovat více výstupů Závěr Pro ednoduché úlohy se lépe hodí použít klasické regresní rovnice. Technika kalibrace těchto modelů e značně propracovaná Pro složitěší úlohy z oblasti vícerozměrné nelineární regrese se však eví ako vhodněší použít neuronové sítě, zeména pokud požadueme souběžně více výstupů

35 NS - využití Neuronové sítě sou vynikaícím prostředkem pro rozpoznávání závislostí mezi vstupními a výstupními údai (konstrukci varovných systémů před povodňovými průtoky v ohrožených lokalitách) Neuronové sítě nevynikaí přesností Pokud však bude rychlost výpočtu důležitěší než přesnost, neuronové sítě sou tím pravým prostředkem pro řešení. Svoe uplatnění mohou pro tuto vlastnost nalézt zeména při operativním řízení vodohospodářských obektů a soustav, které probíhá za značných podmínek neurčitosti Pokud není možno popsat vztah mezi soubory dat exaktním vztahem, ale pokud e známo, které veličiny sou vstupní a maí vliv na veličiny výstupní, neuronové sítě mohou nalézt požadovaný vztah. Ať už e absence exaktního vztahu dána eho značnou složitostí nebo prostě tím, že není znám Výhodou neuronových sítí rovněž e, že pokud se proces, který řídíme, resp. analyzueme a vyhodnocueme poněkud změní, e postačuící doplnit nové tréninkové vzory do tréninkové matice a provést přetrénování neuronové sítě (snadněší než nový vzorec)