Neuronové sítě Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretcé nformat Matematco-fzální faulta Unverzt Karlov v Praze
Vrstevnaté neuronové sítě (1) D: Neuronová síť e uspořádaná 6-tce M=(N,C,I,O,,t), de: N e onečná neprázdná množna neuronů, C N N e neprázdná množna orentovaných I O spoů mez neuron N e neprázdná množna vstupních neuronů N e neprázdná množna výstupních neuronů : C R e váhová funce t: N R e prahová funce ( R označue množnu reálných čísel) I. Mrázová: Neuronové sítě (NAIL00)
Vrstevnaté neuronové sítě () D: Vrstevnatá síť (BP-síť) B e neuronová síť s orentovaným aclcým grafem spoů. Jeí množna neuronů e tvořena posloupností l + vzáemně dsuntních podmnožn zvaných vrstv. První vrstva zvaná vstupní vrstva e množnou všech vstupních neuronů B, tto neuron nemaí v grafu spoů žádné předchůdce; ech vstupní hodnota x e rovna ech výstupní hodnotě. Poslední vrstva zvaná výstupní vrstva e množnou všech výstupních neuronů B; tto neuron nemaí v grafu spoů žádné následní. Všechn ostatní neuron zvané srté neuron sou obsažen ve zblých l vrstvách zvaných srté vrstv. I. Mrázová: Neuronové sítě (NAIL00) 3
Algortmus zpětného šíření (1) Cíl: naít taovou matc vah, terá b zaručovala pro všechn vstupní vzor z trénovací množn to, že sutečný výstup neuronové sítě bude stený ao eí požadovaný výstup Přtom není specfována an sutečná, an požadovaná atvta srtých neuronů. Pro onečnou množnu trénovacích vzorů lze celovou chbu vádřt pomocí rozdílu mez sutečným a požadovaným výstupem sítě u aždého předloženého vzoru. I. Mrázová: Neuronové sítě (NAIL00) 4
Algortmus zpětného šíření () Chbová funce vadřue odchlu mez sutečnou a požadovanou odezvou sítě: vzor 1 d p cílem procesu učení e mnmalzovat tuto, p odchlu na dané trénovací množně, p výstupní neuron požadovaná odezva sutečná odezva algortmus zpětného šíření (Bac-Propagaton) I. Mrázová: Neuronové sítě (NAIL00) 5
Vrstevnaté neuronové sítě (BP-sítě) V Ý S T U P V S T U P výpočet sutečné odezv pro daný vzor porovnání sutečné a požadované odezv adaptace vah a prahů prot gradentu chbové funce od výstupní vrstv směrem e vstupní I. Mrázová: Neuronové sítě (NAIL00) 6
BP-sítě: adaptační pravdla (1) Atualzace snaptcých vah prot směru gradentu: t 1 t t t. přírůste váh přspívaící mnmalzac chba na výstupu sítě potencál neuronu sutečný výstup váha spoe I. Mrázová: Neuronové sítě (NAIL00) 7
I. Mrázová: Neuronové sítě (NAIL00) 8 BP-sítě: adaptační pravdla () Atualzace snaptcých vah pro výstupní vrstvu: f d f
I. Mrázová: Neuronové sítě (NAIL00) 9 BP-sítě: adaptační pravdla (3) Atualzace snaptcých vah pro srté vrstv: f
BP-sítě: adaptační pravdla (4) Výpočet dervace sgmodální přenosové funce podle: Atualzace vah podle: f ( ξ ) = λ ( 1 ) t 1 t t t 1 m de d (1 (1 ) ) pro výstupní neuron pro srtý neuron I. Mrázová: Neuronové sítě (NAIL00) 10
Algortmus zpětného šíření (1) Kro 1: Zvolte náhodné hodnot snaptcých vah Kro : Předložte nový trénovací vzor ve tvaru: [vstup x, požadovaný výstup d ] Kro 3: Vpočtěte sutečný výstup atvta neuronů v aždé vrstvě e dána pomocí: f 1, de 1 e Tato vádřené atvt pa tvoří vstup následuící vrstv. I. Mrázová: Neuronové sítě (NAIL00) 11
Algortmus zpětného šíření () Kro 4: Atualzace vah Př úpravě snaptcých vah postupute směrem od výstupní vrstv e vstupní. Váh se adaptuí podle: t 1 t t t 1 (t). váha z neuronu do neuronu v čase t α, α m... parametr, resp. moment učení ( 0 α, α m 1 ) ξ, resp. δ. potencál, resp. chba na neuronu. ndex pro neuron z vrstv nad neuronem λ. strmost přenosové funce Kro 5: Před e Krou d m (1 ) (1 ) I. Mrázová: Neuronové sítě (NAIL00) 1 pro výstupní neuron pro srtý neuron
BP-sítě: analýza modelu Jeden z nepoužívaněších modelů Jednoduchý algortmus učení Poměrně dobré výsled Nevýhod: nterní reprezentace znalostí - černá sříňa chbová funce (znalost požadovaných výstupů) větší a vvážené trénovací množn ontrola výstupů sítě př rozpoznávání počet neuronů a generalzační schopnost sítě prořezávání a doučování I. Mrázová: Neuronové sítě (NAIL00) 13
BP-sítě: analýza modelu Nevýhod: větší a vvážené trénovací množn I. Mrázová: Neuronové sítě (NAIL00) 14
Algortmus zpětného šíření a urchlení učení (1) Standardní algortmus zpětného šíření e poměrně pomalý špatná volba počátečních parametrů ho může eště zpomalt Problém učení umělých neuronových sítí e obecně NP-úplný výpočetní náročnost roste exponencálně s počtem proměnných přesto dosahue standardní algortmus zpětného šíření často lepších výsledů než mnohé rchlé algortm - hlavně v případě, že má úloha realstcou úroveň složtost a velost trénovací množn přesáhne rtcou mez I. Mrázová: Neuronové sítě (NAIL00) 16
Algortmus zpětného šíření a urchlení učení () Algortm s cílem urchlt proces učení: Zachovávaící pevnou topolog sítě Modulární sítě Výrazně zlepšuí aproxmační schopnost neuronových sítí Adaptace parametrů (vah, prahů apod.) topologe sítě I. Mrázová: Neuronové sítě (NAIL00) 17
Algortmus zpětného šíření: volba počátečních vah (1) Váh b měl být rovnoměrně rozdělené na ntervalu < - α m, α m > Nulová střední hodnota vede na očeávanou nulovou hodnotu celového vstupu aždého neuronu sítě (potencálu) Maxmální hodnota dervace sgmodální přenosové funce pro nulu (~ 0.5) Větší hodnot šířené chb Výrazněší změn vah na začátu učení I. Mrázová: Neuronové sítě (NAIL00) 18
Algortmus zpětného šíření: volba počátečních vah () Problém: Přílš malé váh paralzuí učení Chba šířená z výstupní vrstv směrem do srtých vrstev e přílš malá Přílš velé váh vedou saturac neuronů a pomalému učení (v plochých zónách chbové funce Proces učení e pa uončen v suboptmálním loálním mnmu Správná volba počátečních vah může rzo uvíznutí v loálním mnmu výrazně snížt I. Mrázová: Neuronové sítě (NAIL00) 19
Algortmus zpětného šíření: volba počátečních vah (3) Omezení loálních mnm: ~ ncalzace malým náhodným hodnotam Motvace: Malé hodnot vah Velé absolutní hodnot vah způsobuí saturac srtých neuronů (hodně atvní nebo naopa hodně pasvní pro všechn trénovací vzor) nelze e dále učt (dervace přenosové funce sgmod e téměř nulová) Náhodné hodnot vah Cílem e omezt smetr srté neuron b neměl mít navzáem podobnou func I. Mrázová: Neuronové sítě (NAIL00) 0
Algortmus zpětného šíření: volba počátečních vah (4) IDA: Potencál srtého neuronu e dán pomocí: ξ = 0 + 1 x 1 + + n x n x atvta -tého neuronu z předchozí vrstv váha od -tého neuronu z předchozí vrstv Střední hodnota potencálu srtého neuronu: x x 0 0 váh sou nezávslé na vzorech n 0 váh sou náhodné proměnné se střední hodnotou 0 n I. Mrázová: Neuronové sítě (NAIL00) 1
I. Mrázová: Neuronové sítě (NAIL00) Algortmus zpětného šíření: volba počátečních vah (5) IDA - poračování: Rozptl potencálu ξ e dán pomocí: 0 0, 0 0 n n n x x x x vzáemná nezávslost pro všechna = 0
Algortmus zpětného šíření: volba počátečních vah (5) IDA - poračování: Další předpolad: trénovací vzor sou normalzované a leží v ntervalu < 0, 1 >. Potom: x sou-l váh srtých neuronů taé náhodné proměnné se střední hodnotou 0 rovnoměrně rozložené v ntervalu [-a,a]. Potom: N počet vah vedoucích danému neuronu 1 0 x d x 3 a a 3 a d 3 3 a a x 3 3 I. Mrázová: Neuronové sítě (NAIL00) 3 1 0 1 3
Algortmus zpětného šíření: volba počátečních vah (6) IDA - poračování: Směrodatná odchla ted bude odpovídat: a 3 A N a a a A 3 N Potencál neuronu b měla být náhodná proměnná se směrodatnou odchlou A (navíc nezávslou na počtu vah vedoucích do tohoto neuronu); Počáteční váh b měl být volen (zhruba) z ntervalu: 3 0.8 A, N 3 N 0.8 A resp. 1.65 3 N 3 1.65, 3 N specálně pro A = 1 velý gradent (t. rchlé učení), 3 I. Mrázová: Neuronové sítě (NAIL00) 4 A A
Algortmus zpětného šíření s momentem (1) Mnmalzace chbové funce pomocí gradentní metod I. Mrázová: Neuronové sítě (NAIL00) 5
Algortmus zpětného šíření s momentem () Poud e pro danou úlohu mnmum chbové funce v úzém údolí, může vést sledování gradentu náhlým (častým a velým) osclacím během učení Řešení: zavést člen odpovídaící momentu Kromě atuální hodnot gradentu chbové funce e třeba vzít v úvahu předchozí změn parametrů (vah) Setrvačnost ~ měla b pomoc zamezt extrémním osclacím v úzých údolích chbové funce I. Mrázová: Neuronové sítě (NAIL00) 6
I. Mrázová: Neuronové sítě (NAIL00) 7 Algortmus zpětného šíření s momentem (3) Pro síť s n různým vaham 1,, n e změna váh v rou + 1 dána vztahem de: α.. parametr učení α m moment učení 1 1 m m
Algortmus zpětného šíření s momentem (4) Chceme-l urchlt onvergenc mnmu chbové funce: Zvětšt parametr učení až sté optmální hodnotě α, terá b vša stále eště vedla e onvergenc v procesu učení Zavedení momentu učení umožňue oslabt osclace v procesu učení Optmální hodnot α a α m závsí na charateru dané úloh I. Mrázová: Neuronové sítě (NAIL00) 8
I. Mrázová: Neuronové sítě (NAIL00) 9 Algortmus zpětného šíření s momentem (5) PŘÍKLAD: Lneární přenosová funce, p vzorů MINIMALIZAC : d d X d X X d X d X d X T T T T T p p n p n d d d x x x x X d n p X 1 1 1 1 1 ;...vetor ; ) matce (...
Algortmus zpětného šíření s momentem (6) e vadratcá funce pomocí gradentní metod lze nalézt mnmum Interpretace: představue parabolod v n rozměrném prostoru; eho tvar e určen vlastním čísl orelační matce X T X Gradentní metoda dává nelepší výsled pro nedůležtěší os stené dél (prncpal axes) Poud se dél os hodně lší, vede gradentní metoda osclacím I. Mrázová: Neuronové sítě (NAIL00) 30
Algortmus zpětného šíření s momentem (7) Osclace pa lze omezt malým α a větším momentem učení α m přílš malé hodnot α nebezpečí loálních mnm přílš velé hodnot α nebezpečí osclací I. Mrázová: Neuronové sítě (NAIL00) 31
Algortmus zpětného šíření s momentem (8) V nelneárním případě e pro oblast vzdálené od loálního mnma gradent chbové funce téměř nulový možnost výstu osclací v taovém případě může pomoc větší parametr učení návrat e onvexním oblastem chbové funce Řešení: Adaptvní parametr učení Předzpracování trénovací množn deorelace vstupních vzorů (PCA, ) I. Mrázová: Neuronové sítě (NAIL00) 3
Algortmus zpětného šíření: stratege pro urchlení procesu učení (1) 1. Adaptvní parametr učení: loální parametr učení α pro aždou váhu adaptace vah podle: Varant algortmů: Slva & Almeda Delta-bar-delta Super SAB I. Mrázová: Neuronové sítě (NAIL00) 33
Algortmus Slv & Almed (1) Předpolad: síť má n vah Kvadratcá chbová funce: c1 1 c... c C Kro v tém směru mnmalzue c 1 1, sou onstant, teré závsí na hodnotě zmrazených proměnných v daném teračním bodě (c udává zařvení parabol) n n d I. Mrázová: Neuronové sítě (NAIL00) 34
Algortmus Slv & Almed () Heursta: URYCHLUJ, poud se za poslední dvě po sobě doucí terace nezměnlo znaméno parcální dervace ZPOMALUJ, poud se znaméno změnlo Δ () parcální dervace chbové funce podle váh v té terac α (0) počáteční hodnota parametru učení ( = 1,, n ) ncalzace malým náhodným hodnotam I. Mrázová: Neuronové sítě (NAIL00) 35
I. Mrázová: Neuronové sítě (NAIL00) 36 Algortmus Slv & Almed (3) V té terac se hodnota parametru učení atualzue pro další ro (pro aždou váhu) podle: Konstant u a d sou pevně zvolené ta, že u > 1 a d < 1 Adaptace vah podle: 0 estlže, 0 estlže, 1 ) ( 1 ) ( 1) ( d u
Algortmus Slv & Almed (4) Problém: Parametr učení roste lesá exponencálně vzhledem u a d Problém mohou nastat, estlže po sobě následue mnoho urchlovacích roů I. Mrázová: Neuronové sítě (NAIL00) 37
I. Mrázová: Neuronové sítě (NAIL00) 38 Algortmus Delta-bar-delta Větší důraz na urchlování (především z malých počátečních vah) tá terace: u, d předem zvolené pevné onstant Atualzace vah bez momentu: na 0 estlže, 0 estlže, ) ( 1 ) ( 1 ) ( 1) ( d u e onstanta de, 1 1
Algortmus Super SAB Adaptvní acelerační stratege pro algortmus zpětného šíření Řádově rchleší než původní algortmus zpětného šíření Poměrně stablní Robustní vzhledem volbě počátečních parametrů Vužívá momentu: Urchlení onvergence v plochých oblastech váhového prostoru V přírých oblastech váhového prostoru moment tlumí osclace způsobené změnou znaména gradentu I. Mrázová: Neuronové sítě (NAIL00) 39
Super SAB algortmus učení (1) α +... multplatvní onstanta pro zvětšování parametru učení (α + = 1.05) α -... multplatvní onstanta pro zmenšování parametru učení (α - = ) α START počáteční hodnota parametru α,, (α START = 1. ) α m... moment (α m = 0.3) Kro 1: nastav všechna α na počáteční hodnotu α START Kro : proveď Kro ( t ) algortmu zpětného šíření s momentem Kro 3: poud se nezměnlo znaméno dervace (podle ), zvětš parametr učení (proveď ) : α (t+1) = α + α (t+1) I. Mrázová: Neuronové sítě (NAIL00) 40
Super SAB algortmus učení (1) Kro 4: poud se změnlo znaméno dervace (podle ): - anulu předchozí změnu vah (terá způsobla změnu znaména gradentu): Δ ( t + 1 ) = - Δ ( t ) - zmenš parametr učení: α ( t + 1 ) = α ( t ) / α - - a polož: Δ ( t + 1 ) = 0 ( př dalším rou učení se pa nebude brát v úvahu změna z předchozího rou ) Kro 5: před e Krou I. Mrázová: Neuronové sítě (NAIL00) 41
Algortmus zpětného šíření: stratege pro urchlení procesu učení (). Algortm druhého řádu: berou v úvahu více nformací o tvaru chbové funce než en gradent zařvení chbové funce metod. řádu používaí vadratcou aproxmac chbové funce vetor všech vah sítě,, 1 n chbová funce Talorova řada pro aproxmac chbové funce : T 1 T h h h h I. Mrázová: Neuronové sítě (NAIL00) 4
I. Mrázová: Neuronové sítě (NAIL00) 43 Algortm druhého řádu (). Hessovsá matce ( n n ) parcálních dervací druhého řádu: 1 1 1 1 1 n n n n n
Algortm druhého řádu (3) Gradent chbové funce (zdervováním h ): T T T h h Gradent b měl být nulový (hledá se mnmum ): 1 h ==> Netonovsé metod: Pracuí teratvně Atualzace vah v té terac podle: 1 1 Rchlá onvergence Problémem může být výpočet nverzní Hessovsé matce I. Mrázová: Neuronové sítě (NAIL00) 44
Algortm druhého řádu (4) Pseudonetonovsé metod: Pracuí se zednodušenou aproxmací Hessovsé matce V úvahu se berou pouze prv na dagonále: Ostatní prv Hessovsé matce sou vnulován Adaptace vah podle: 1 I. Mrázová: Neuronové sítě (NAIL00) 45
Algortm druhého řádu (5) Pseudonetonovsé metod: Odpadá potřebná nverze Hessovsé matce Metod dobře funguí, poud má chbová funce vadratcý tvar, v opačném případě vša mohou nastat problém Varant algortmů: Qucprop Levenberg-Marquardtův algrtmus I. Mrázová: Neuronové sítě (NAIL00) 46
Algortmus Qucprop (1) Bere v úvahu nformace. řádu Mnmalzační ro provádí pouze v ednom rozměru Informace o zařvení chbové funce ve směru adaptace se zísává ze současné a předchozí parcální dervace chbové funce Nezávslá optmalzace pro aždou váhu pomocí vadratcé ednorozměrné aproxmace chbové funce I. Mrázová: Neuronové sítě (NAIL00) 47
Algortmus Qucprop () Atualzace vah v té terac podle: 1, de 1 1 Předpolad: chbová funce bla spočtena v rou ( 1 ) a v rou, a to pro váh s rozdílem 1 - buď standardním algortmem zpětného šíření nebo pomocí algortmu Qucprop I. Mrázová: Neuronové sítě (NAIL00) 48
Algortmus Qucprop (3) Atualzac vah lze psát ao: Jmenovatel odpovídá dsrétní aproxmac parcální dervace. řádu Qucprop ~ pseudonetonovsá dsrétní metoda, terá používá tzv. SKANTOVÝ KROK 1 1 I. Mrázová: Neuronové sítě (NAIL00) 49
I. Mrázová: Neuronové sítě (NAIL00) 50 Levenberg-Marquardtův algortmus rchleší a přesněší v oblast mnma chbové funce ombnace gradentní a Netonov metod pro 1 výstup: d e g d e H I g mn 0 1 Hessovsá matce gradent
Algortmus zpětného šíření: stratege pro urchlení procesu učení (3) 3. Relaxační metod perturbace vah: V aždé terac se počítá dsrétní aproxmace gradentu porovnáním chbové funce pro výchozí váh a chbové funce pro mírně změněné váh ( váze bla přčtena malá perturbace β ) Atualzace vah pomocí: Atualzace se teratvně opaue pro vžd náhodně zvolenou váhu I. Mrázová: Neuronové sítě (NAIL00) 51
Relaxační metod () Alternatva s rchleší onvergencí: Perturbace výstupu tého neuronu o o Δo Vpočítá se rozdíl - Poud e rozdíl ladný ( > 0 ), lze nové chb dosáhnout výstupem o + Δo pro tý neuron V případě sgmodální přenosové funce, lze požadovaný potencál neuronu určt pomocí: pro m 1 s x 1 1 e s 1 o -1 e ξ s ln - I. Mrázová: Neuronové sítě (NAIL00) 5 o 1-
Relaxační metod (3) Poud bl předchozí potencál dán pomocí: s 1 Váh se adaptuí proporconálně e své velost: m o 1, sou nové váh ( to lze poněud omezt zavedením stochastcých fatorů anebo ombnací s metodou pro perturbac vah ) m 1 x x o I. Mrázová: Neuronové sítě (NAIL00) 53
Interní reprezentace znalostí počet neuronů a generalzační schopnost sítě prořezávání a doučování I. Mrázová: Neuronové sítě (NAIL00) 54
Interní reprezentace znalostí V Ý S T U P V S T U P I. Mrázová: Neuronové sítě (NAIL00) 55
Kondenzovaná nterní reprezentace V Ý S T U P V S T U P nterpretace atvt srtých neuronů: 1 atvní ANO 0 pasvní N 1 tchý nelze rozhodnout průhledná strutura sítě detece nadbtečných neuronů a prořezávání lepší generalzace I. Mrázová: Neuronové sítě (NAIL00) 56
Kondenzovaná nterní reprezentace D: Pro vrstevnatou síť B zpracovávaící vstupní vzor : x Srtý neuron s vaham ( 1,, n ), prahem ϑ, vstupním vzorem a přenosovou funcí f, z vtváří reprezentac r : r = = Vetor r f, z reprezentací vtvořených vrstvou srtých neuronů se nazývá nterní reprezentace x z I. Mrázová: Neuronové sítě (NAIL00) 57
Kondenzovaná nterní reprezentace D: Pro vrstevnatou síť B: Interní reprezentace r r,, bnární, estlže Interní reprezentace ondenzovaná, estlže r 0,1; m 1 r 1 r r,, 1 r m r m e e 0,0.5,1; m 1 I. Mrázová: Neuronové sítě (NAIL00) 58
Požadav na vnucování ondenzované nterní reprezentace formulace požadovaných vlastností ve formě cílové funce: G standardní chbová funce c F loální mnma reprezentační chbové funce s reprezentační chbová funce velost vlvu F na G odpovídaí atvním, pasvním a tchým stavům: F vzor p h srté neuron s 1 0. s h, p h, p h, p 5 pasvní stav tvar F atvní stav tchý stav I. Mrázová: Neuronové sítě (NAIL00) 59
reprezentaèní chba Vlv parametrů na vtváření ondenzované nterní reprezentace 0.016 0.014 0.01 0.01 0.008 0.006 0.004 0.00 0 0 0. 0.4 0.6 0.8 1 sutečný výstup neuronu t 1 t r t t 1 m pomaleší vtváření nterní reprezentace a požadovaná funce sítě stablta vtvářené nterní reprezentace a optmální archtetura sítě tvar reprezentační chbové funce, rchlost vtváření nterní reprezentace a eí forma časová náročnost př adaptac vah I. Mrázová: Neuronové sítě (NAIL00) 60
I. Mrázová: Neuronové sítě (NAIL00) 61 Chbový člen pro poslování ondenzované nterní reprezentace Kondenzovaná nterní reprezentace ( s ( 1 ) s ( - 0.5 ) ): proostatnísrténeuron ) (1 proneuron z nevššísrtévrstv 0.5 ) (1 ) (1 1 pro výstupníneuron 0 s s s s -
reprezentaèní chba Vlv parametrů na vtváření ondenzované nterní reprezentace 0.016 0.014 0.01 0.01 0.008 0.006 0.004 0.00 0 0 0. 0.4 0.6 0.8 1 sutečný výstup neuronu t 1 t r t t 1 m pomaleší vtváření nterní reprezentace a požadovaná funce sítě stablta vtvářené nterní reprezentace a optmální archtetura sítě tvar reprezentační chbové funce, rchlost vtváření nterní reprezentace a eí forma časová náročnost př adaptac vah I. Mrázová: Neuronové sítě (NAIL00) 6
reprezentační chba reprezentační chba reprezentační chba reprezentační chba Tvar reprezentační chbové funce 1 s 0. t s F 5 0.016 s1 t 8e-05 s4 t 0.01 6e-05 0.008 4e-05 0.004 e-05 0 0 0. 0.4 0.6 0.8 1 0 0 0. 0.4 0.6 0.8 1 sutečný výstup neuronu sutečný výstup neuronu s8 t s5 t4 1.6e-07 1.e-07 8e-08 4e-08 0 0 0. 0.4 0.6 0.8 1 sutečný výstup neuronu 1e-06 8e-07 6e-07 4e-07 e-07 0 0 0. 0.4 0.6 0.8 1 sutečný výstup neuronu I. Mrázová: Neuronové sítě (NAIL00) 63
I. Mrázová: Neuronové sítě (NAIL00) 64 Chbový člen pro poslování bnární nterní reprezentace Bnární nterní reprezentace ( ( 1 ) ): proostatnísrténeuron ) (1 proneuron z nevššísrtévrstv ) (1 1 pro výstupníneuron 0 - -
Jednoznačná nterní prezentace Hodně odlšným výstupům b měl odpovídat hodně odlšné nterní reprezentace Formulace požadavů ve formě modfované cílové funce: G F Krtérum pro ednoznačnost IR: H 1 H d o, p do, q, p, q p vzor srté neuron q p o výst. neuron I. Mrázová: Neuronové sítě (NAIL00) 66 = onst. pro dané p = onst. pro dané p = onst. pro dané p
Prořezávání podle nterní reprezentace (1) D: Pro danou vrstevnatou síť B a množnu S vstupních vzorů určuících vstupní vetor : z Srtý neuron s vaham ( 1,, n ), prahem ϑ a přenosovou funcí f, z vtváří unformní reprezentac r, estlže: r f, z const pro všechn v stupní vzor x S I. Mrázová: Neuronové sítě (NAIL00) 67
Prořezávání podle nterní reprezentace () D: Pro danou vrstevnatou síť B a množnu S vstupních vzorů určuících vstupní vetor : f Srtý neuron N s vaham ( 1,, n ), prahem ϑ a přenosovou funcí f vtváří, z reprezentac r dentcou reprezentac r vtvářené srtým neuronem N s vaham ( 1,, n ), prahem ϑ a přenosovou funcí, estlže: z pro všechn v stupní, z f, vzor x S f, z I. Mrázová: Neuronové sítě (NAIL00) 68 z
Prořezávání podle nterní reprezentace (3) D: Pro danou vrstevnatou síť B a množnu S vstupních vzorů určuících vstupní vetor : f Srtý neuron N s vaham ( 1,, n ), prahem ϑ a přenosovou funcí f vtváří, z reprezentac r nverzní reprezentac r vtvářené srtým neuronem N s vaham ( 1,, n ), prahem ϑ a přenosovou funcí, estlže:, z 1 f, z pro všechn v stupní vzor x S I. Mrázová: Neuronové sítě (NAIL00) 69 f, z z
Prořezávání podle nterní reprezentace (4) D: Pro danou vrstevnatou síť B a množnu vstupních vzorů S : reduovaná vrstva e vrstva, pro terou platí, že: žádný neuron nevtváří unformní reprezentac, žádný neuron nevtváří reprezentac dentcou reprezentac vtvářené ným neuronem a žádný neuron nevtváří reprezentac nverzní reprezentac vtvářené ným neuronem. Interní reprezentace vtvářená reduovanou vrstvou se nazývá reduovaná. I. Mrázová: Neuronové sítě (NAIL00) 70
Prořezávání podle nterní reprezentace (5) D: Pro danou množnu vstupních vzorů S : - vrstevnatá síť B e reduovaná, estlže sou všechn eí srté vrstv reduované. - vrstevnatá síť B e evvalentní vrstevnaté sít B, estlže e pro lbovolný vstupní vzor x S sutečný výstup sítě B roven B sutečnému výstupu sítě B : B B B I. Mrázová: Neuronové sítě (NAIL00) 71
Prořezávání podle nterní reprezentace (6) V: Ke aždé vrstevnaté sít B a množně vstupních vzorů S exstue evvalentní reduovaná vrstevnatá síť B. Důaz (dea): Pops onstruce reduované vrstevnaté sítě B : Nechť B = ( N, C, I, O,, t ) e původní vrstevnatá síť. 1. Postupná elmnace všech taových neuronů, teré vtvářeí unformní reprezentac r a přčtení součnu r e všem prahům ϑ v následuící vrstvě. I. Mrázová: Neuronové sítě (NAIL00) 7
Prořezávání podle nterní reprezentace (7) Důaz (poračování):. Postupná elmnace všech taových neuronů, teré vtvářeí reprezentac r d dentcou reprezentac r vtvářené ným neuronem a přčtení vah e aždé váze, de e neuron v následuící vrstvě. 3. Postupná elmnace všech taových neuronů, teré vtvářeí reprezentac r n nverzní reprezentac r vtvářené ným neuronem a nahrazení všech vah, de označue neuron z následuící vrstv, rozdílem a přčtení váh prahu ϑ aždého neuronu. I. Mrázová: Neuronové sítě (NAIL00) 73
Prořezávání podle nterní reprezentace (8) Důaz (poračování): Potom bude pro lbovolný vstupní vzor sutečný výstup vrstevnaté sítě B roven sutečnému B výstupu vrstevnaté sítě B. Vrstevnatá síť B onstruovaná ze sítě B popsaným způsobem e reduovaná a evvalentní B. QD B x I. Mrázová: Neuronové sítě (NAIL00) 74
Výsled expermentů: bnární sčítání [ 5((1,-1,1)) + 3((-1,1,1)) = 8((1,-1,-1,-1)) ] SCG-s nápovědou (přenos na. výstupní neuron) přenos první a druhý výstupní bt srté neurons 1 a 3 funce ostatních srtých neuronů není ta zřemá SCGIR-s nápovědou (přenos na. výstupní neuron) přenos pro všší výstupní bt srté neuron 1, 3, 5 podobná funce e zřemá pro ednotlvé výstupní neuron I. Mrázová: Neuronové sítě (NAIL00) 75
Austcá emse: smulace (s M. Chladou a Z. Převorovsým) MODLOVANÝ SIGNÁL 1 WAV 1 1.5 WAV 0.5 1 0 0.5-0.5 0-1 0 10 0 30-0.5 0 10 0 30 1.5 1 0.5 0 WAV 3 0.3*WAV1 + 0.*WAV + 0.5*WAV3 0.8 0.6 0.4 0. 0-0.5 0 10 0 30-0. 0 10 0 30 I. Mrázová: Neuronové sítě (NAIL00) 76
Smulovaná A-data (s M. Chladou a Z. Převorovsým) KONVOLUC S GRNOVOU FUNKCÍ 0.05 GRN FUNCTION - 140mm 0.08 INPUT SIGNAL (a=0.3, b=0., c=0.5) 0.06 0 0.04-0.05 0.0 0-0.1-0.0-0.15-0.04-0.06-0. 0 0 40 60 80 100 10 140 160 180 00-0.08 0 50 100 150 00 I. Mrázová: Neuronové sítě (NAIL00) 77
PARAMTRS Model závslost (s M. Chladou a Z. Převorovsým) Celová ctlvost sítě (přes Q vzorů) s-tého výstupu na r-tý vstup: 1 sens r 1 Q q, s q, SNSITIVITY COFFICINTS... X4 = (X1) 4 X4 = (X1) 4 1 0.3 0.16 0.08 0.04 q s 0.9 0.8 r 0.04 0.9 0.03 0.04 0.7 0.6 0.5 3 0.0 0.05 0.98 0.03 0.4 0.3 4 0.16 0.14 0.05 0.35 1 3 4 TARGT - PARAMTR 0. 0.1 0-1 -0.5 0 0.5 1 I. Mrázová: Neuronové sítě (NAIL00) 78
PARAMTRS Model závslost (s M. Chladou a Z. Převorovsým) SNSITIVITY COFFICINTS... X4 = sn(9*x1) 1 X4 = sn(9*x1) 1 0.77 0.13 0.06 0.11 0.8 0.6 0.03 0.89 0.05 0.03 0.4 0. 0 3 0.04 0.0 0.97 0.03-0. -0.4 4 0.1 0.11 0.05 0.59 1 3 4 TARGT - PARAMTR -0.6-0.8-1 -1-0.5 0 0.5 1 I. Mrázová: Neuronové sítě (NAIL00) 79
vstupní parametr INPUTS Fatorová vs. ctlvostní analýza vstupních parametrů (s M. Chladou a Z. Převorovsým) 1 3 4 5 6 7 8 9 10 11 1 13 14 0.173 0.093 0.30 0.301 0.564 0.196 0.099 0.065 0.0 0.053 0.035 0.039 0.081 0.60 SNSITIVITY COFFICINTS 0.66 0.068 0.193 0.178 0.50 0.3 0.063 0.015 0.014 0.00 0.01 0.050 0.134 0.17 0.149 0.047 0.184 0.196 0.06 0.158 0.043 0.030 0.016 0.01 0.03 0.0 0.08 0.109 1 3 OUTPUTS vbrané fator Vbráno 9 fatorů ( vsvětluí 98.4% proměnných) reduce lneárně závslých vstupních parametrů Vbráno 7 příznaů detece nelneární závslost vstupních parametrů (1, 3, 4, 5, 6, 13, 14) I. Mrázová: Neuronové sítě (NAIL00) 80
Analýza dat ze Světové ban WDI-ndátor (ndátor vývoe ve světě) aždoročně zveřeňován Světovou banou pomoc rozvoovým zemím př půčách / nvestcích odhad stavu eonom a ech vývoe v ednotlvých zemích původ údaů - neúplné a nepřesné údae používané techn regresní analýza - lneární závslost ategorzace států používaná v rozvnutých zemích(g. Ip, Wall Street Journal) ategorzace zemí podle HDP (Světová bana) Kohonenov map (T. Kohonen, S. Kas, G. Deboec) I. Mrázová: Neuronové sítě (NAIL00) 81
Analýza dat ze Světové ban: použté WDI-ndátor Implctní deflace HDP Vněší zadluženost (% HNP) Celové nálad na zadlužení (% z exportu zboží a služeb) xport hgh-tech technologí (% z vvážených výrobů) Výdae na armádu a zbroení (% HNP) Výdae na výz. a výv. (% HNP) Cel. výd. na zdrav. (% HDP) Veř. výd. na šolst. (% HNP) Očeávaná déla žvota u mužů Plodnost GINI-ndex (rozdělení přímů a spotřeb) Užv. nternetu na 10000 obvatel Počet moblních telefonů na 1000 obvatel HNP na obvatele podle part upní síl (PPP) HNP na obvatele (v USD) Růst HDP (% na obvatele) I. Mrázová: Neuronové sítě (NAIL00) 8
Analýza dat ze Světové ban: předzpracování 99 států se 16 WDI-ndátor po složách transformace vzorů do ntervalu (0,1) pomocí: x xmn 1 x a x 4( x x x 1 e max mn mnmum přes všechn vzor maxmum přes všechn vzor FCM-lastrování: 7 shluů, s 1.4 řízené učení a teratvní rozpoznávání: 99 (90+9) států s 14 (13+1) WDI-ndátor GRN-síť 14-1-1, BP-síť 13-10-1; 500-600 clů učení 1/ ) I. Mrázová: Neuronové sítě (NAIL00) 83
Analýza dat ze Světové ban: vlv ndátorů na stav eonom Indátor Síť 1 Síť GDP defl. 0.0 0.0 Vně. dluh 5.6 10.9 Cel. nál. na dluh 5.5 8.1 xport hgh-tech 1. 6.6 Voensé výdae 5.4 6.1 Výdae na výz. a výv. 16.0 1.0 Užv. nternetu 11.1 1.4 Mobl 8.3 10.0 GINI-ndex 7.1 3.9 Oče. déla žvota 1.3 7.6 Plodnost 4.4 5.0 Výdae na zdrav. 6.1 10.9 Veř. výd. na šolstv. 6.1 6.1 Relatvní ctlvost GRN-sítí Očeávaná déla žvota Venezuela Vetnam Urana tope H-tech xp. Výdae na V&V Iteratvní rozpoznávání všší HNP podle PPP (Síť 1) France Dánso Španělso ČR Polso I. Mrázová: Neuronové sítě (NAIL00) 84
ctlvost ctlvost ctlvost ctlvost Ctlvost na vstupní přízna (se Z. Retermanovou) průměrná ctlvost naučených sítí chudé stát přízna přízna všechn stát bohaté stát přízna přízna I. Mrázová: Neuronové sítě (NAIL00) 85
Vzáemná závslost parametrů (se Z. Retermanovou) Vzáemná závslost parametrů I. Mrázová: Neuronové sítě (NAIL00) 86