Neuronové sítě. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

Transkript

1 Neuronové sítě Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

2 Neuronové sítě Interní reprezentace znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

3 Interní reprezentace znalostí počet neuronů a generalizační schopnosti sítě prořezávání a doučování I. Mrázová: Neuronové sítě (NAIL002) 3

4 Interní reprezentace znalostí V Ý S T U P V S T U P I. Mrázová: Neuronové sítě (NAIL002) 4

5 Kondenzovaná interní reprezentace V Ý S T U P V S T U P interpretace aktivity skrytých neuronů: 1 aktivní ANO 0 pasivní NE tichý nelze rozhodnout 1 2 průhledná struktura sítě detekce nadbytečných neuronů a prořezávání lepší generalizace I. Mrázová: Neuronové sítě (NAIL002) 5

6 Kondenzovaná interní reprezentace D: Pro vrstevnatou síť B zpracovávaící vstupní vzor : x r Skrytý neuron s vahami (w 1,, w n ), prahem ϑ, r r vstupním vzorem a přenosovou funkcí f w, ϑ z r r vytváří reprezentaci r : r = y = Vektor r f [ w, ϑ ]( z ) reprezentací vytvořených vrstvou skrytých neuronů se nazývá interní reprezentace x r z r [ ]( ) I. Mrázová: Neuronové sítě (NAIL002) 6

7 Kondenzovaná interní reprezentace D: Pro vrstevnatou síť B: r = r,, Interní reprezentace e binární, estliže Interní reprezentace e kondenzovaná, estliže r i { 0,1} ; i m 1 r i ( ) 1 K r =, r m ( r, ) 1 K r m { 0,0.5,1} ; i m 1 I. Mrázová: Neuronové sítě (NAIL002) 7

8 Požadavky na vynucování kondenzované interní reprezentace formulace požadovaných vlastností ve formě cílové funkce: G = E + standardní chybová funkce c lokální minima reprezentační chybové funkce s F reprezentační chybová funkce velikost vlivu F na G odpovídaí aktivním, pasivním a tichým stavům: F vzory = s ( 1 ) s y ( 0. ) 2 h p yh p yh p p h skryté neurony,,, 5 pasivní stav tvar F aktivní stav tichý stav I. Mrázová: Neuronové sítě (NAIL002) 8

9 Vliv parametrů na vytváření kondenzované interní reprezentace reprezentaèní chyba w i skutečný výstup neuronu ( t + 1) = wi ( t) + αδ yi + αrρ yi + + w ( t) w ( t 1) α m ( ) i i pomaleší vytváření interní reprezentace a požadovaná funkce sítě stabilita vytvářené interní reprezentace a optimální architektura sítě tvar reprezentační chybové funkce, rychlost vytváření interní reprezentace a eí forma časová náročnost při adaptaci vah I. Mrázová: Neuronové sítě (NAIL002) 9

10 Chybový člen pro posilování kondenzované interní reprezentace Kondenzovaná interní reprezentace ( y s ( 1 y ) s ( y ) 2 ): ρ = 0-2 k pro s s ( s + 1) y (1 y ) y (1 y ) ( y 0.5) ρ k w k pro výstupní neurony y (1 y ) pro ostatní neurony s 2 z nevyšší skryté skryté neurony vrstvy I. Mrázová: Neuronové sítě (NAIL002) 10

11 Vliv parametrů na vytváření kondenzované interní reprezentace reprezentaèní chyba w i skutečný výstup neuronu ( t + 1) = wi ( t) + αδ yi + αrρ yi + + w ( t) w ( t 1) α m ( ) i i pomaleší vytváření interní reprezentace a požadovaná funkce sítě stabilita vytvářené interní reprezentace a optimální architektura sítě tvar reprezentační chybové funkce, rychlost vytváření interní reprezentace a eí forma časová náročnost při adaptaci vah I. Mrázová: Neuronové sítě (NAIL002) 11

12 Tvar reprezentační chybové funkce ( 1 y) s ( y 0. ) t s F = y 5 reprezentační chyba reprezentační chyba e e-07 8e-08 4e-08 0 s s = 1 t = skutečný výstup neuronu = 8 t = skutečný výstup neuronu reprezentační chyba reprezentační chyba 8e-05 6e-05 4e-05 2e e-06 8e-07 6e-07 4e-07 2e skutečný výstup neuronu I. Mrázová: Neuronové sítě (NAIL002) 12 s s = 4 t = skutečný výstup neuronu = 5 t = 4

13 Chybový člen pro posilování binární interní reprezentace Binární interní reprezentace ( y ( 1 y ) ): ρ = 0 - ( 1-2 y ) k ρ k w k pro výstupní y (1 y ) pro neurony y (1 y ) pro ostatní z neurony skryté nevyšší neurony skryté vrstvy I. Mrázová: Neuronové sítě (NAIL002) 13

14 Jednoznačná interní prezentace Hodně odlišným výstupům by měly odpovídat hodně odlišné interní reprezentace Formulace požadavků ve formě modifikované cílové funkce: G = E + F + Kritérium pro ednoznačnost IR: H 1 = 2 p vzory skryté neurony q p o výst. neurony I. Mrázová: Neuronové sítě (NAIL002) 15 H 2 ( d d ) ( y y ) 2 o, p o, q, p, q = konst. pro dané p = konst. pro dané p = konst. pro dané p

15 Prořezávání podle interní reprezentace (1) D: Pro danou vrstevnatou síť B a množinu S vstupních vzorů určuících vstupní vektory z r : Skrytý neuron s vahami ( w 1,, w n ), prahem r r ϑ a přenosovou funkcí f [ w, ϑ ]( z ) vytváří r = uniformní reprezentaci r, estliže: r r f w,ϑ z = const pro všechny vstupní vzory [ ]( ) x S r I. Mrázová: Neuronové sítě (NAIL002) 16

16 Prořezávání podle interní reprezentace (2) D: Pro danou vrstevnatou síť B a množinu S vstupních vzorů určuících vstupní vektory : f i Skrytý neuron i N s vahami ( w i1,, w in ), prahem r r ϑ i a přenosovou funkcí f vytváří i [ w i,ϑ i ]( z ) reprezentaci r i identickou k reprezentaci r vytvářené skrytým neuronem N s vahami ( w 1,, w n ), prahem ϑ a přenosovou funkcí r, estliže: r z pro všechny vstupní [ w, ϑ ]( z ) = f [ w, ϑ ]( ) vzory x S i f i r r [ w, ϑ ]( z ) r r I. Mrázová: Neuronové sítě (NAIL002) 17 z r r

17 Prořezávání podle interní reprezentace (3) D: Pro danou vrstevnatou síť B a množinu S vstupních vzorů určuících vstupní vektory : f Skrytý neuron i N s vahami ( w i1,, w in ), prahem r r ϑ i a přenosovou funkcí f vytváří i [ w i,ϑ i ]( z ) reprezentaci r i inverzní k reprezentaci r vytvářené skrytým neuronem N s vahami ( w 1,, w n ), r r prahem ϑ a přenosovou funkcí, i r estliže: r r, ϑ z = 1 f w, ϑ [ w ]( ) [ ]( z ) pro všechny vstupní vzory x S i i r I. Mrázová: Neuronové sítě (NAIL002) 18 f z r [ w, ϑ ]( z ) r

18 Prořezávání podle interní reprezentace (4) D: Pro danou vrstevnatou síť B a množinu vstupních vzorů S : redukovaná vrstva e vrstva, pro kterou platí, že: žádný neuron nevytváří uniformní reprezentaci, žádný neuron i nevytváří reprezentaci identickou k reprezentaci vytvářené iným neuronem a žádný neuron i nevytváří reprezentaci inverzní k reprezentaci vytvářené iným neuronem. Interní reprezentace vytvářená redukovanou vrstvou se nazývá redukovaná. I. Mrázová: Neuronové sítě (NAIL002) 19

19 Prořezávání podle interní reprezentace (5) D: Pro danou množinu vstupních vzorů S : - vrstevnatá síť B e redukovaná, estliže sou všechny eí skryté vrstvy redukované. - vrstevnatá síť B e ekvivalentní k vrstevnaté síti B, estliže e pro libovolný vstupní vzor x r S skutečný výstup y r B sítě B roven r skutečnému výstupu sítě B : r y B y B yb = r I. Mrázová: Neuronové sítě (NAIL002) 20

20 Prořezávání podle interní reprezentace (6) V: Ke každé vrstevnaté síti B a množině vstupních vzorů S existue ekvivalentní redukovaná vrstevnatá síť B. Důkaz (idea): Popis konstrukce redukované vrstevnaté sítě B : Nechť B = ( N, C, I, O, w, t ) e původní vrstevnatá síť. 1. Postupná eliminace všech takových neuronů, které vytvářeí uniformní reprezentaci r k a přičtení součinu w i r k ke všem prahům ϑ v následuící vrstvě. I. Mrázová: Neuronové sítě (NAIL002) 21

21 Prořezávání podle interní reprezentace (7) Důkaz (pokračování): 2. Postupná eliminace všech takových neuronů, které vytvářeí reprezentaci r id identickou k reprezentaci r k vytvářené iným neuronem k apřičtení vah w i ke každé váze w ik, kde i e neuron v následuící vrstvě. 3. Postupná eliminace všech takových neuronů, které vytvářeí reprezentaci r in inverzní k reprezentaci r k vytvářené iným neuronem k a nahrazení všech vah w ik, kde i označue neuron z následuící vrstvy, rozdílem w ik w i a přičtení váhy w i k prahu ϑ každého neuronu i. I. Mrázová: Neuronové sítě (NAIL002) 22

22 Prořezávání podle interní reprezentace (8) Důkaz (pokračování): Potom bude pro libovolný vstupní vzor skutečný r výstup y vrstevnaté sítě B roven skutečnému B výstupu vrstevnaté sítě B. Vrstevnatá síť B konstruovaná ze sítě B popsaným způsobem e redukovaná a ekvivalentní k B. QED y r B r x I. Mrázová: Neuronové sítě (NAIL002) 23

23 Výsledky experimentů: binární sčítání [ 5( (1,-1,1)) + 3( (-1,1,1)) = 8( (1,-1,-1,-1)) ] SCG-s nápovědou (přenos na 2. výstupní neuron) přenos první a druhý výstupní bit skryté neuronsy 1 a 3 funkce ostatních skrytých neuronů není tak zřemá SCGIR-s nápovědou (přenos na 2. výstupní neuron) přenos pro vyšší výstupní bity skryté neurony 1, 3, 5 podobná funkce e zřemá pro ednotlivé výstupní neurony I. Mrázová: Neuronové sítě (NAIL002) 24

24 Akustická emise: simulace (s M. Chladou a Z. Převorovským) MODELOVANÝ SIGNÁL 1 WAVE WAVE WAVE 3 0.3*WAVE *WAVE *WAVE I. Mrázová: Neuronové sítě (NAIL002) 25

25 Simulovaná AE-data (s M. Chladou a Z. Převorovským) KONVOLUCE S GREENOVOU FUNKCÍ 0.05 GREEN FUNCTION - 140mm 0.08 INPUT SIGNAL (a=0.3, b=0.2, c=0.5) I. Mrázová: Neuronové sítě (NAIL002) 26

26 Model závislosti (s M. Chladou a Z. Převorovským) Celková citlivost sítě (přes Q vzorů) s-tého výstupu na r-tý vstup: 1 sens r = 1 Q yq, s yq, SENSITIVITY COEFFICIENTS... X4 = (X1) 4 X4 = (X1) q s r PARAMETERS TARGET - PARAMETER I. Mrázová: Neuronové sítě (NAIL002) 27

27 Model závislosti (s M. Chladou a Z. Převorovským) SENSITIVITY COEFFICIENTS... X4 = sin(9*x1) 1 X4 = sin(9*x1) PARAMETERS TARGET - PARAMETER I. Mrázová: Neuronové sítě (NAIL002) 28

28 Faktorová vs. citlivostní analýza vstupních parametrů (s M. Chladou a Z. Převorovským) vstupní parametry INPUTS SENSITIVITY COEFFICIENTS OUTPUTS vybrané faktory Vybráno 9 faktorů ( vysvětluí 98.4% proměnných) redukce lineárně závislých vstupních parametrů Vybráno 7 příznaků detekce nelineární závislosti vstupních parametrů (1, 3, 4, 5, 6, 13, 14) I. Mrázová: Neuronové sítě (NAIL002) 29

29 Analýza dat ze Světové banky WDI-indikátory (indikátory vývoe ve světě) každoročně zveřeňovány Světovou bankou pomoc rozvoovým zemím při půčkách / investicích odhad stavu ekonomik a eich vývoe v ednotlivých zemích původ údaů - neúplné a nepřesné údae používané techniky regresní analýza - lineární závislosti kategorizace států používaná v rozvinutých zemích(g. Ip, Wall Street Journal) kategorizace zemí podle HDP (Světová banka) Kohonenovy mapy (T. Kohonen, S. Kaski, G. Deboeck) I. Mrázová: Neuronové sítě (NAIL002) 30

30 Analýza dat ze Světové banky: použité WDI-indikátory Implicitní deflace HDP Vněší zadluženost (% HNP) Celkové náklady na zadlužení (% z exportu zboží a služeb) Export high-tech technologií (% z vyvážených výrobků) Výdae na armádu a zbroení (% HNP) Výdae na výzk. a výv. (% HNP) Celk. výd. na zdrav. (% HDP) Veř. výd. na školst. (% HNP) Očekávaná délka života u mužů Plodnost GINI-index (rozdělení přímů a spotřeby) Uživ. internetu na obyvatel Počet mobilních telefonů na 1000 obyvatel HNP na obyvatele podle parity kupní síly (PPP) HNP na obyvatele (v USD) Růst HDP (% na obyvatele) I. Mrázová: Neuronové sítě (NAIL002) 31

31 Analýza dat ze Světové banky: předzpracování 99 států se 16 WDI-indikátory po složkách transformace vzorů do intervalu (0,1) pomocí: x x min 1 x = a x = 4 ( x x x 1 + e max min minimum přes všechny vzory maximum přes všechny vzory FCM-klastrování: 7 shluků, s = 1.4 řízené učení a iterativní rozpoznávání: 99 (90+9) států s 14 (13+1) WDI-indikátory GREN-síť , BP-síť ; cyklů učení 1 / 2 ) I. Mrázová: Neuronové sítě (NAIL002) 32

32 Analýza dat ze Světové banky: vliv indikátorů na stav ekonomiky Indikátor Síť 1 Síť 2 GDP defl Vně. dluh Celk. nákl. na dluh Export high-tech Voenské výdae Výdae na výzk. a výv Uživ. internetu Mobily GINI-index Oček. délka života Plodnost Výdae na zdrav Veř. výd. na školstv Relativní citlivost GREN-sítí Očekávaná délka života Venezuela Vietnam Ukraina Etiopie Hi-tech Exp. Výdae na V&V Iterativní rozpoznávání vyšší HNP podle PPP (Síť 1) Francie Dánsko Španělsko ČR Polsko I. Mrázová: Neuronové sítě (NAIL002) 33

33 Citlivost na vstupní příznaky (se Z. Reitermanovou) citlivost průměrná citlivost naučených sítí citlivost chudé státy příznak příznak všechny státy bohaté státy citlivost citlivost příznak příznak I. Mrázová: Neuronové sítě (NAIL002) 34

34 Vzáemná závislost parametrů (se Z. Reitermanovou) Vzáemná závislost parametrů I. Mrázová: Neuronové sítě (NAIL002) 35