Neuronové sítě. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

Transkript

1 Neuonové sítě Doc. RND. Iveta Mázová CSc. Kateda teoetcké nfoatk Mateatcko-fzkální fakulta Unvezt Kalov v Paze

2 Neuonové sítě Asocatvní aět Doc. RND. Iveta Mázová CSc. Kateda teoetcké nfoatk Mateatcko-fzkální fakulta Unvezt Kalov v Paze

3 Asocatvní sítě a asocatvní aět () Cíl učení: asocace znáého vstuního vzou s daný výstuní vzoe zobazt na výstu odovídající Okolí znáého vstuního vzou b se ělo také sávný výstu ak lze řřadt zašuěný vzoů BP-síť Asocatvní síť I. Mázová: Neuonové sítě (NAIL00) 3

4 Asocatvní sítě a asocatvní aět () Asocatvní aět lze leentovat oocí sítí se zětnou vazbou (ale bez ní) nejjednodušší zětná vazba: výstu sítě se oužívá oakovaně jako její nový vstu dokud síť nezkonveguje do stablního stavu ne všechn sítě zkonvegují o ředložení nového vzou do stablního stavu nutná dodatečná oezení na achtektuu sítě I. Mázová: Neuonové sítě (NAIL00) 4

5 Funkce asocatvní aět Rozoznat řede naučené vstuní vzo v říadě že jsou íně zašuěné Odezva každého neuonu je dána výhadně nfoace ocházející jeho vaha (Hebbovské učení) Tř t asocatvních sítí: heteoasocatvní autoasocatvní a sítě o ozoznávání vzoů I. Mázová: Neuonové sítě (NAIL00) 5

6 I. Mázová: Neuonové sítě (NAIL00) 6 Zobazují vstuních vzoů z n-ozěného ostou na výstuních vektoů v k ozěné ostou tak že Heteoasocatvní sítě K a K 0). ( ~ oto ~ Jestlže > < ε ε a

7 Autoasocatvní sítě Podnožna heteoasocatvních sítí (každý vekto je zobazen sá na sebe: o ) funkcí autoasocatvních sítí je oava zašuěných vzoů I. Mázová: Neuonové sítě (NAIL00) 7

8 Sítě o ozoznávání vzoů Secální t heteoasocatvních sítí (každéu vektou je řřazena skalání hodnota ) Cíle je dentfkace tříd vstuního vzou I. Mázová: Neuonové sítě (NAIL00) 8

9 Stuktua asocatvní aět Asocatvní aěť lze leentovat oocí jedné vstv neuonů Heteoasocatvní síť bez zětné vazb Nechť: w j váha ez vstue a neuone j W. n k atce vah vekto ( K n ) dává ectační vekto e W Poto se o každý neuon sočítá hodnota řenosové funkce - Po denttu dostáváe lneání asocáto a výstue bude ávě W I. Mázová: Neuonové sítě (NAIL00) 9

10 Stuktua asocatvní aět () Obecně: je třeba řřadt ůzný n ozěný K vektoů k ozěných vektoů K X. atce n (řádk odovídají jednotlvý vstuní vektoů) Y. atce k (řádk odovídají říslušný výstuní vektoů) I. Mázová: Neuonové sítě (NAIL00) 0

11 Stuktua asocatvní aět (3) hledáe takovou atc vah W ab X W Y (a v říadě autoasocatvní aět X W X ) Poznáka: o n je X čtvecová atce okud estuje k ní nvezní atce bude řešení W X - Y I. Mázová: Neuonové sítě (NAIL00)

12 Rekuentní asocatvní síť Výstu sítě ředstavuje její nový vstu Autoasocatvní síť se zětnou vazbou Předoklad: všechn neuon očítají svůj výstu současně síť dostává v každé koku na vstu vekto ( ) a dává nový výstu + ( ) I. Mázová: Neuonové sítě (NAIL00)

13 Rekuentní asocatvní síť () Otázka: estuje evný bod ξ takový že ξ W ξ vekto ξ je vlastní vektoe atce W s vlastní čísle síť se chová jako dnacký ssté vního řádu otože každý nový stav ( + ) je lně učen nejblžší ředchůdce I. Mázová: Neuonové sítě (NAIL00) 3

14 Vlastní autoat (egenvecto autoata) Nechť: W váhová atce autoasocatvní sítě jednotlvé neuon jsou lneání asocáto hledáe evné bod dnackého sstéu Poznáka: ne všechn atce vah vedou ke stablníu stavu Příklad: otace o 90 v ovně: W ckl délk I. Mázová: Neuonové sítě (NAIL00) 4

15 Vlastní autoat () Po aět jsou vhodnější čtvecové atce s úlnou nožnou vlastních vektoů n n atce W ůže ít až n lneáně nezávslých vlastních vektoů a n vlastních čísel K W λ vlastní vekto ak slňují n o K n a λ K λ n vlastní čísla W I. Mázová: Neuonové sítě (NAIL00) 5

16 Vlastní autoat (3) Každá váhová atce s lnou nožnou vlastních vektoů defnuje jstý t vlastního autoatu Po ředložení vstuního vektou bude nalezen vlastní vekto s největší vlastní čísle (okud takový estuje) Předokládeje búno že λ je vlastní číslo W takové že λ > λ n I. Mázová: Neuonové sítě (NAIL00) 6

17 I. Mázová: Neuonové sítě (NAIL00) 7 Vlastní autoat (4) Nechť λ >0 a je náhodně zvolený nenulový n-ozěný vekto lze vjádřt jako lneání kobnac n vlastních vektoů atce W : Předoklad: všechn konstant α jsou nenulové Po vní teac s W dostáváe: a 0 a 0 ( ) n n n n n W W a a K K λ α λ α λ α α α n n a K α α α

18 Vlastní autoat (5) Po t teacích dostanee: a t Po dostatečně velké očtu teací bude donovat největší vlastní číslo - λ vekto a t se ak ůže řblížt lbovolně blízko vlastníu vektou (týká se sěu ne nutně délk) v každé teac tak vekto řtahuje lbovolný jný vekto s nenulový člene o α t t α λ + α λ + K + a 0 je atakto α I. Mázová: Neuonové sítě (NAIL00) 8 n λ t n n

19 Vlastní autoat (6) Příklad: Matce W 0 á vlastní vekto ( 0 ) 0 a ( 0 ) s vlastní čísl a Po t teacích očátečního vzou ( ) ; 0 dostanee ( t ) Po dostatečně velké t se řblíží lbovolně blízko ( 0 ) > vekto ( 0 ) je atakto I. Mázová: Neuonové sítě (NAIL00) 9

20 Asocatvní učení Cíl: oužtí asocatvních sítí jako dnackých sstéů jejchž atakto b odovídal tě vektoů kteé chcee do aět uložt Př návhu sítě chcee ozístt ve vstuní ostou co ožná nejvíce ataktoů Každý z nch b ěl ít řesně danou a oezenou oblast vlvu v říadě vlastních autoatů zahnovala oblast vlvu jedného vektou téěř celý vstuní osto I. Mázová: Neuonové sítě (NAIL00) 0

21 Asocatvní učení () nelneání dnacké ssté Nelneání aktvace neuonů Skoková řenosová funkce: sgn ( ) < 0 Bolání kódování je vhodnější než bnání (u boláních vektoů je větší avděodobnost vzájené otogonalt) 0 I. Mázová: Neuonové sítě (NAIL00)

22 Hebbovské učení Předoklad: -vstvá síť s k neuon a skokovou řenosovou funkcí sgn Cíl: nalézt odovídající váh o zobazení n ozěného vstuního vektou na k ozěný výstuní vekto Idea: (Donald Hebb 949) Dva neuon kteé jsou současně aktvní b ěl ít všší stueň vzájené nteakce než neuon jejchž aktvta je nekoelovaná v takové říadě b ěla být vzájená nteakce hodně alá nebo nulová I. Mázová: Neuonové sítě (NAIL00)

23 Hebbovské učení () w j j Δw j γ j γ aaet učení W váhová atce (na začátku učení nulová) Adatační avdlo se oužje o všechn váh na vstuu je n ozěný vekto na výstuu k ozěný vekto adatovaná váhová atce W je koelační atcí o tto dva vekto W [ w j ] n k [ j ] n k I. Mázová: Neuonové sítě (NAIL00) 3

24 I. Mázová: Neuonové sítě (NAIL00) 4 Hebbovské učení (3) Matce W zobazí nenulový vekto ávě na vekto Po 0 latí že a výstu sítě je: o je výstu sítě: 0 > ( ) W n n k n K ( ) ( ) sgn W k K ( ) ( ) sgn sgn W W

25 Hebbovské učení (4) Obecně: Chcee-l řřadt n ozěný nenulový vektoů K k ozěných vektoů K oužjee Hebbovské učení o každou dvojc VSTUP/VÝSTUP Výsledná atce vah W bude ít tva: W W + W + + W kde každá atce W l vektoů l je n k koelační atce a l : W l [ l jl ] n k I. Mázová: Neuonové sítě (NAIL00) 5

26 I. Mázová: Neuonové sítě (NAIL00) 6 Hebbovské učení (5) Jestlže ak bude na vstuu sítě vekto bude ectační vekto sítě oven: Ectační vekto ted odovídá (vnásobenéu kladnou konstantou) s etubační člene kteý se označuje jako CROSSTALK ( ) ( ) ( ) l l l l l W W W W W W K ( ) l l l

27 I. Mázová: Neuonové sítě (NAIL00) 7 Hebbovské učení (6) Síť dává na výstuu ožadovaný vekto v říadě že je cosstalk nulový Pokud jsou vstuní vzo navzáje otogonální Síť ůže dávat oěně dobé výsledk o nenulový cosstalk cosstalk b ěl být enší než Výstu sítě bude oven: ( ) ( ) ( ) + l l l W sgn sgn ( ) K

28 I. Mázová: Neuonové sítě (NAIL00) 8 Hebbovské učení (7) Potože je kladná konstanta: Ab bl výstu sítě oven usí latt Tato odínka bude slněna okud bude absolutní hodnota všech složek etubačního členu enší než ( ) ( ) + l l l sgn ( ) ( ) ( ) + l l l W sgn sgn ( ) ( ) l l l

29 Hebbovské učení (8) Po bolání vekto to znaená že skalání součn usí být enší než duhá ocnna délk l Pokud jsou náhodně zvolený bolání vektoů řřazen (jné) náhodně zvolené bolání vekto je avděodobnost že budou navzáje otogonální oěně vsoká (okud jch ovše neblo zvoleno řílš noho) V takové říadě bude cosstalk alý a Hebbovské učení ovede k volbě vhodných vah o asocatvní síť I. Mázová: Neuonové sítě (NAIL00) 9

30 Geoetcká nteetace Hebbovského učení Po atce W ze vztahu W W + W + + W v říadě autoasocatvních sítí latí: ( ) T W ted o ( ) T W bude vstuní vekto z zobazen do lneáního odostou L učeného vektoe otože ( ) ( ( ) ) T T z W z z c Obecně neotogonální ojekce vektou z do L (c je konstanta) odobně o další atce vah W W I. Mázová: Neuonové sítě (NAIL00) 30

31 I. Mázová: Neuonové sítě (NAIL00) 3 Geoetcká nteetace Hebbovského učení () Matce zobazí vekto do lneáního odostou učeného vekto otože (obecně neotogonální ojekce) c c c W z W z W z W z K K K W W 0 z

32 Analýza chování asocatvních sítí Identfkace ataktoů (evných bodů sstéu) Mía vlvu jednotlvých ataktoů Hangovská vzdálenost ~ očet ůzných složek dvou boláních vektoů Příklad: - - S ostoucí očte ukládaných vzoů se sfé vlvu jednotlvých ataktoů zenšují neavé stablní stav Velký cosstalk Invezní vzo k uložený: sgn W sgn W ( ) ( ) I. Mázová: Neuonové sítě (NAIL00) 3

33 Analýza chování asocatvních sítí () Rekuentní síť (se zětnou vazbou) Leší konvegence oot asocatvní aět bez zětné vazb Větší sfé vlvu jednotlvých ataktoů nesí být uloženo řílš noho vzoů PROBLÉM: Kaacta atce vah Poovnání velkost sfé vlvu oocí ndeu I n h 0 h h h ocento vektoů s Hangovskou vzdáleností h od uloženého vzou kteé k něu zkonvegoval I. Mázová: Neuonové sítě (NAIL00) 33

34 Poblé kaact sítě Sfé vlvu uložených vzoů se zenšují s každý nový ukládaný vzoe Pokud bude cosstalk řílš velký ůže být dříve uložený vzo zaoenut avděodobnost výsktu takových obléů b ěla být co ožná nejenší I. Mázová: Neuonové sítě (NAIL00) 34

35 Poblé kaact sítě () Odhad očtu vzoů kteé lze bezečně uložt do autoasocatvní aět s váhovou atcí W ( n n ) Maální kaacta sítě: ~ 0.8 n Počet uložených vzoů b ěl být enší než 0.8 n kde n je denze vstuního vektou Pokud jsou ale vzo koelované ůže dojít k obléů o < 0.8 n I. Mázová: Neuonové sítě (NAIL00) 35

36 Odvození kaact sítě dea () Po ( ) T W n Cosstalk o n ozěné bolání vekto a vzoů autoasocatvní sítě: l ( l ) n l Pokud je tento člen větší než a á oačné znaénko u říslušné složk ůže řeklot odovídající bt jž uloženého vzou I. Mázová: Neuonové sítě (NAIL00) 36

37 Odvození kaact sítě dea () Předokládeje že uložené vzo bl zvolen náhodně: Cosstalk o bt vstuního vektou je učen jako l n l ( l ) (*) Potože bl složk všech vzoů zvolen náhodně dostáváe řádově n náhodných hodnot očekávaná hodnota tohoto součtu je 0 I. Mázová: Neuonové sítě (NAIL00) 37

38 Odvození kaact sítě dea (3) Součet (*) á bnocké ozdělení a o velké hodnot n ho lze aoovat noální ozdělení se sěodatnou odchlkou σ Pavděodobnost chb P že součet (*) bude větší než (anebo enší než -) je dána dle P σ π σ e ( ) d n I. Mázová: Neuonové sítě (NAIL00) 38

39 I. Mázová: Neuonové sítě (NAIL00) 39 Odvození kaact sítě dea (4) Ted: kde o honí ez chb na btu 0.0 dostanee: ~ 0.8 n () { } Φ > n P * ( ) t d e t Φ π Φ n 0.0

40 Asocatvní aět seudonvezní atce () Hebbovské učení dává dobé výsledk okud jsou uložené vzo téěř otogonální ~ okud blo boláních vektoů zvoleno náhodně z n ozěného ostou n je dostatečně velké a je dostatečně enší než n v eálných alkacích jsou vzo téěř vžd koelované a etubační člen ve výazu l l W + ( ) ( ) l ůže ovlvnt kvaltu ozoznávání otože skalání l součn nejsou o l dostatečně alé I. Mázová: Neuonové sítě (NAIL00) 40

41 Asocatvní aět seudonvezní atce () vzájená koelace ukládaných vzoů vede ke snížení kaact asocatvní aět ~očet vzoů kteé lze uložt a ozoznat ukládané vzo ak neokývají ovnoěně celý říznakový osto ale soustředí se do enší oblast je třeba hledat altenatvní etod učení schoné nalzovat etubac ez ukládaný vzo oužtí seudonvezní atce naísto koelační I. Mázová: Neuonové sítě (NAIL00) 4

42 Asocatvní aět seudonvezní atce (3) Defnce: Pseudonvezní atcí k atc n eálných čísel je atce eálných čísel X ~ s následující vlastnost: ~. X X X X ~ ~ ~. X X X X ~ ~ 3. X X a X X jsou setcké Pseudonvezní atce vžd estuje a je jednoznačně učena. I. Mázová: Neuonové sítě (NAIL00) 4

43 Pseudonvezní atce - vlastnost Nechť jsou n ozěné vekto kteý á být řřazeno k ozěných vektoů K K atcový zás: X. Matce n řádk atce tvořívekto Y. Matce k řádk atce tvořívekto K Hledáe atc vah W ; XW Y K I. Mázová: Neuonové sítě (NAIL00) 43

44 Pseudonvezní atce vlastnost () Potože obecně n a vekto K neusí být navzáje lneáně nezávslé neusí estovat k atc X atce nvezní hledáe atc kteá b nalzovala XW Y (~ součet duhých ocnn jednotlvých vků) ~ nalzace oocí W XY X ~. Pseudonvezní atce k X (~ nejleší aoace nvezní atce k X ~ okud X - estuje bude navíc XX I ) I. Mázová: Neuonové sítě (NAIL00) 44

45 Pseudonvezní atce vlastnost (3) Věta: Nechť X je atce eálných čísel n a Y je atce eálných čísel k. ~ Matce n k W X Y nalzuje XW Y. (Záoveň X ~ ~ nalzuje XX I. ) Důkaz: stoa atce Nechť E XW Y E lze vjádřt jako E t ( S ) kde S ( XW Y ) T (XW Y ) ( E ~součet vků na dagonále S ) I. Mázová: Neuonové sítě (NAIL00) 45

46 Pseudonvezní atce vlastnost (4) Důkaz (okačování): S lze vjádřt jako ~ S X Y W T ~ ~ ( ) ( ) ( T T X X X Y W + Y I X X )Y (Potože: ~ T ~ T S X Y W X X X Y X XW + Y Matce X X ~ je setcká (def.) a ted: S ( ) ( ) ( T I X X )Y ~ T ~ T T ~ ~ ( ) ( T T XY W X X X Y X XW + Y I XX )Y 443 X (def.) I. Mázová: Neuonové sítě (NAIL00) 46

47 Pseudonvezní atce vlastnost (5) Důkaz (okačování): (Poto: ( ~ ) T ( ) ( ) T T T ~ S XY W X Y X XW + Y I XX Y ( ~ ) T ( ) ( ) T T ~ XY W X Y XW + Y I XX Y ( ~ ) T XXY XW ( Y XW) Y ( I XX ) T ~ + Y T T ~ T XW Y XW + Y XX Y XW + Y T T T ( XW) ( Y XW) + Y ( XW) + Y Y T ( Y XW) ( Y XW) E lze ted vjádřt jako E t ( ) ( ) ( ) ( I XX ) ( ~ ) ( ) T ~ ( ( ~ ) ) T T XY W X X XY W + t Y I XX Y ~ konst. n E o W X Y QED ) ~ Y I. Mázová: Neuonové sítě (NAIL00) 47

48 Pseudonvezní atce - oužtí Motvace a oužtí: Ne ke vše atcí estuje atce nvezní Altenatvou je oužtí seudonvezní atce Mnalzace střední kvadatcké odchlk (nař. vstevnaté neuonové sítě) Ténovací nožna: d ; K {( ) P }. Vstuní vzo ( n ozěný) d. Požadovaný výstu ( ozěný). Skutečný výstu ( ozěný) I. Mázová: Neuonové sítě (NAIL00) 48

49 I. Mázová: Neuonové sítě (NAIL00) 49 Pseudonvezní atce oužtí () Odchlka: Mnalzace odchlk E vzhlede k vahá acální devace E odle vah b ěl být nulové: ( ) P j j j P d E E n j j w : 0 P n j j P j n j j j j w d w d w w E

50 Pseudonvezní atce oužtí (3) Matcový zás: W X X T D X T W. Matce n se složka w j X. Matce n P se složka D. Matce P se složka d j k atc XX T obecně neusí estovat nvezní atce neusí být ožné vřešt ovnc řío (a najít atc vah W v říadě že XX T neá lneáně nezávslých řádků) I. Mázová: Neuonové sítě (NAIL00) 50

51 Pseudonvezní atce oužtí (4) Řešení ůže být víc dodatečná odínka na oezení velkost vah: E λ n j w j ; λ > 0 λ konst. Mnalzace oocí acálních devací W ( X X T + λ I ) DX T ( λ > 0 k atc XX T + λ I estuje atce nvezní) W ( X X T + λ I ) ( X X T + λ I ) - DX T ( X X T + λ I ) - I. Mázová: Neuonové sítě (NAIL00) 5

52 Pseudonvezní atce oužtí (5) Ltně o λ 0 : W X ~ [ ] DX ( T l ) { DX XX + λi λ 0 T ~. Pseudonvezní atce k atc X Pokud estuje řešení více bude ít nejenší n hodnot j w j Pokud estuje k X nvezní atce bude X ~ ~ X X I. Mázová: Neuonové sítě (NAIL00) 5

53 Výočet seudonvezní atce Aoace oocí vstevnatých neuonových sítí tu zětného šíření Vstevnatá neuonová síť k nalezení vah asocatvní sítě w j + ( o ) + + ( o ) + E o výstu sítě ožadovaná asocace + ( o ) k k I. Mázová: Neuonové sítě (NAIL00) 53

54 Výočet seudonvezní atce () Cíl učení: Nalézt takovou atc vah W se složka w j kteá b nejlée zobazla vekto K na vekto K Po -tý vstuní vekto se oovná výstu síte s vektoe a vočítá se E Celková kvadatcká odchlka E E ak odovídá XW Y Algotus zětného šíření ak najde atc W kteá b ěla nalzovat XW Y I. Mázová: Neuonové sítě (NAIL00) 54