Aplikace teorie neuronových sítí

Transkript

1 Aplikace teorie euroových sítí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické iforatiky Mateaticko-fyzikálí fakulta Uiverzity Karlovy v Praze

2 Zpracováí časových vzorů (teporal processig) Stadardí algoritus zpětého šířeí: statická struktura Vstupí vzor x zobraze a výstup y Výhodé pro rozpozáváí vzorů ( x i y sou prostorové vzory ezávislé a čase) I. Mrázová: ATNS (NAIL013) 2

3 Zpracováí časových vzorů (teporal processig) Vhodé i pro elieárí predikci stacioárích časových řad Jeich charakteristika se v čase eěí Vstupí vektor x x 1, x 2,..., x p. řád predikce z -1 edotkové zpožděí p T I. Mrázová: ATNS (NAIL013) 3

4 Časoprostorový odel eurou Dyaický odel eurou Každou syapsi yí představue lieárí časově ivariatí filtr I. Mrázová: ATNS (NAIL013) 4

5 Časoprostorový odel eurou Dyaický odel eurou h i (t) ipulzí odezva lieárího časově ivariatího filtru a syapsi i erou x i (t) stiul a syapsi i (i = 1,2,,p) odezva syapse i a vstup x i (t): kovoluce h i (t) a x i (t) h i t x t h x t d poteciál v (t) eurou s p syapsei: v i t Výstup y (t) eurou poocí sigoidy φ(.): i t u t h t x t p i1 t h i p i1 i i xi t d y t I. Mrázová: ATNS (NAIL013) 5 v i t 1 1 exp v t

6 Model ipulzí odezvy s koečou dobou trváí (FIR-odel) ~ Fiite-duratio Ipulse Respose Model Syaptické filtry sou kauzálí Syapse edává žádou odezvu, dokud í eí předlože ěaký vzor: h i (t) = 0 ; t < 0 Syaptické filtry aí koečou paěť = > h i (t) = 0 ; t > T T délka paěti (steá pro všechy syapse) v p T t h i xi t d i1 0 I. Mrázová: ATNS (NAIL013) 6

7 Model ipulzí odezvy s koečou dobou trváí (FIR-odel) Aproxiace poocí kovolučí suy: Diskrétí čas: t = Δt ; N Δt vzorkovací iterval v p M t h l t x t l i1 l0 p M i1 l0 w l t xi t l t M = T / Δt w i ( l Δt ) = h i ( l Δt ) ( l Δt ) ( i = 1,, p ) i i i t I. Mrázová: ATNS (NAIL013) 7

8 Model ipulzí odezvy s koečou dobou trváí (FIR-odel) Zedodušeí ( e diskrétí časová proěá): v p M w l x l i i i1 l0 chováíeurou včase chováíeurou v prosto ru I. Mrázová: ATNS (NAIL013) 8

9 Model ipulzí odezvy s koečou dobou trváí (FIR-odel) Zedodušeí ( e diskrétí časová proěá): w i váhový vektor syapse i eurou w o práh (pro pevý vstup x 0 = - 1) z -1 edotkové zpožděí I. Mrázová: ATNS (NAIL013) 9

10 Vícevrstvý perceptro typu FIR (Fiite-duratio Ipulse Respose) w i (l) váha l-tého kroku FIR-filtru a syapsi ezi euroe i a ; 0 l M ; M celkové zpožděí s i () sigál a výstupu i-té syapse eurou x i () vstupí sigál (v diskrétí čase ) s i Maticový zápis: xi xi w i w T s w i M w l x l l0 i, xi 1,, xi M w w M T i 0, i 1,, i x ; i 1,, p i i i I. Mrázová: ATNS (NAIL013) 10 T

11 Vícevrstvý perceptro typu FIR (Fiite-duratio Ipulse Respose) Výstup y () eurou (s p syapsei) Poteciál v () eurou s prahe p p v s w T i i xi i1 i0 Nelieárí přeosová fukce φ (.) : y () = φ ( v () ) Vícevrstvý FIR-perceptro Aalogicky vytváře ako statická verze Syaptické spoe ahrazey dyaickou verzí I. Mrázová: ATNS (NAIL013) 11

12 Učeí vícevrstvého FIR-perceptrou Učeí s učitele: Chybová fukce: euroy výstupí vrstvy e () = d () y ().. chybový sigál y ().. skutečý výstup v čase d ().. požadovaý výstup v čase Cílová fukce: E TOTAL = E() Gradietí přístup: E E w 1 2 TOTAL i e 2 E w i I. Mrázová: ATNS (NAIL013) 12

13 Učeí vícevrstvého FIR-perceptrou Rozviutí sítě v čase: Vytvořeí ekvivaletí statické sítě s větší počte euroů poocí stadardího algoritu zpětého šířeí Dopředé rozviutí v čase Zače se u vstupí vrstvy a postupue se dále vrstvu po vrstvě Nárůst architektury: O(DN) D celkový počet zpožděí N celkový počet volých paraetrů sítě Zpěté rozviutí v čase Zače se od výstupí vrstvy, postupue se po vrstvách sěre zpět Geoetrický árůst architektury I. Mrázová: ATNS (NAIL013) 13

14 Rozviutí sítě v čase - příklad Příklad: síť Dopředé rozviutí sítě: 102 vah ~ (5x12)+(3x12) +6=102 I. Mrázová: ATNS (NAIL013) 14

15 Rozviutí sítě v čase Probléy: Velké ožství redudatích vah Ztráta syetrie ezi dopředý šířeí stavu euroů a zpětý šířeí chybových čleů Chybí rekurziví vztah pro šířeí chybových čleů Nutá globálí evidece statických vah I. Mrázová: ATNS (NAIL013) 15

16 Časový algoritus zpětého šířeí Alterativí vyádřeí: E w časový idex přes v (), e přes E() Navíc platí: TOTAL E v TOTAL E v w i w = platí pouze pro suy přes všecha Adaptace vah podle: i w i E v TOTAL v w v w i η paraetr učeí I. Mrázová: ATNS (NAIL013) 16 1 w i E i i TOTAL v

17 Časový algoritus zpětého šířeí v w i Poto: w i x i a 1 w x i i E v TOTAL 1. Neuro e z výstupí vrstvy: E TOTAL E e v v v e ().. chyba ěřeá a výstupu eurou v v v y v I. Mrázová: ATNS (NAIL013) 17

18 Časový algoritus zpětého šířeí 2. Neuro e ze skryté vrstvy: A.. ožia všech euroů, které dostávaí svů vstup od eurou v ()..poteciál eurou z A A v A y E v v v v TOTAL E v A A y v v y I. Mrázová: ATNS (NAIL013) 18 TOTAL v v

19 Časový algoritus zpětého šířeí 2. Neuro e ze skryté vrstvy (pokračováí): y ().. výstup eurou φ (v ()) = y () / v () týká se eurou A v ( w 0 ( l ) = a y 0 ( l ) = -1 l, ) M. axiálí počet zpožděí syaptického filtru p... počet syapsí eurou + koutativí kovoluce Poto: p M w l y l v 0 l0 p M y l w l 0 l0 I. Mrázová: ATNS (NAIL013) 19

20 Časový algoritus zpětého šířeí 2. Neuro e ze skryté vrstvy (pokračováí): v w l 0 l M y 0 iak a tedy: dále defiuee: v w l A v l w A M l l M 0 I. Mrázová: ATNS (NAIL013) 20, 1, M, T v w A T

21 Časový algoritus zpětého šířeí Adaptačí pravidla: w 1 w i i xi e v v T A zeskrytévrstvy Zpěté šířeí chybových čleů () zahrue zpětou filtraci přes každou syapsi Zachováí syetrie ezi dopředý výpočte a zpětý šířeí chyby w z výstupívrstvy I. Mrázová: ATNS (NAIL013) 21

22 Časový algoritus zpětého šířeí Adaptačí pravidla (aalýza etody): Každý syaptický filtr e při výpočtu použit e edou (odpadá výpočet redudatích čleů) Předpoklad pevých syaptických filtrů při výpočtu gradietu Zpěté šířeí lokálích gradietů Výpočet () eí kauzálí (vyžadue zalost budoucích hodot a w euroy v ožiě A I. Mrázová: ATNS (NAIL013) 22

23 Časový algoritus zpětého šířeí Kauzálí oezeí: Adaptace vah podle aktuálích a předchozích hodot chybových sigálů => přidáí koečého počtu zpožďovacích edotek a příslušá ísta sítě Pro výstupí vrstvu lze Pro posledí skrytou vrstvu ( -- > -M ) M v M T M M M, 1 M,, A w I. Mrázová: ATNS (NAIL013) 23 T

24 Časový algoritus zpětého šířeí I. Mrázová: ATNS (NAIL013) 24 Kauzálí oezeí (pokračováí): NUTNOST uchovávat stavy kvůli výpočtu při adaptaci vah Pro další skryté vrstvy aalogicky s větší zpožděí Kauzálí adaptačí pravidla: Neuro e z výstupí vrstvy: Neuro e ze skryté vrstvy: M x i M x M i e x w w i i i 1 A T i i i w M l M l v M l M l x M l w w 1

25 Časový algoritus zpětého šířeí Kauzálí adaptačí pravidla: M.. délka syaptického zpožděí l ozačue l-tou vrstvu pod výstupí vrstvou (l=1 posledí skrytá vrstva) Chybové čley se v síti šíří bez zpožděí Je třeba uchovávat i zpožděé hodoty stavů zpěté šířeí probíhá bez zpožděí Zachovaá syetrie ezi dopředý šířeí stavů a zpětý šířeí chyb x i I. Mrázová: ATNS (NAIL013) 25

26 Časový algoritus zpětého šířeí s adaptiví zpožděí Syaptické zpožděí i (t) Váha syapse w i (t) Výstup syaptického filtru: s i (t) = w i (t) x i (t - i (t)) Poteciál eurou : u p p t s t w t x t t i i i i i1 i1 I. Mrázová: ATNS (NAIL013) 26

27 Časový algoritus zpětého šířeí s adaptiví zpožděí Výstup eurou : y (t) = φ ( u (t) - i (t) ) Chybová fukce: E t d t y t A => adaptace obou paraetrů ( w i (t) a i (t) ) podle: t t E w t t i 1 a i 2 w i E t t i I. Mrázová: ATNS (NAIL013) 27

28 Algoritus zpětého šířeí v čase Učeí rekuretích sítí Rozšířeí stadardího algoritu zpětého šířeí Odvozeí rozviutí časových operací v sítí do vícevrstvé dopředé sítě (eíž topologie s každý kroke arůstá o 1 vrstvu) I. Mrázová: ATNS (NAIL013) 28

29 Algoritus zpětého šířeí v čase Odvozeí adaptačích pravidel: Tréovací vzory sou rozděley a ETAPY 0 začátek etapy 1 koec etapy Cílová fukce pro učeí: A ožia idexů se specifikovaý požadovaý výstupe e () chyba a výstupu eurou 1 2, e => Etapový algoritus zpětého šířeí v čase E TOTAL 0 1 A I. Mrázová: ATNS (NAIL013)

30 Algoritus zpětého šířeí v čase Etapový algoritus zpětého šířeí v čase výpočet parciálích derivací E TOTAL ( 0, 1 ) podle syaptických vah v síti Neprve se provede dopředý průchod sítí přes iterval [ 0, 1 ]. Uchovávaí se veškerá vstupí data, stav sítě (~ syaptické váhy) a požadovaé výstupy Provede se zpětý průchod sítí a spočítaí se hodoty lokálích gradietů: ETOTAL 0, 1 ; A, 0 v 1 I. Mrázová: ATNS (NAIL013) 30

31 Algoritus zpětého šířeí v čase Etapový algoritus zpětého šířeí v čase v e v e wk k 1 ka φ (.) derivace přeosové fukce podle arguetu Výpočet (.) pak pokračue od 1 zpět sěre k 0 ; počet provedeých kroků odpovídá délce etap Poté, co bylo zpětý šířeí dopočítáo ( 0 +1), provede se adaptace váhy w i podle (η e paraetr učeí, x i (-1) ozačue i-tý vstup eurou v čase -1 ): w i E 1, 0 1 w 1 i TOTAL i 1 x I. Mrázová: ATNS (NAIL013) 31 0 if if 0 1 1