Neuronové sítě. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

Transkript

1 Neuoové sítě Doc. RND. Iveta Mázová, CSc. Kateda teoetcké fomatky Matematcko-fyzkálí fakulta Uvezty Kalovy v Paze

2 Neuoové sítě Asocatví pamět BAM a Hopfeldůvmodel Doc. RND. Iveta Mázová, CSc. Kateda teoetcké fomatky Matematcko-fyzkálí fakulta Uvezty Kalovy v Paze

3 Bdektví asocatví paměť BAM sychoí asocatví model s obousměým syapsem w y y w k y k I. Mázová: Neuoové sítě (NAIL) 3

4 Bdektví asocatví paměť () Rekuetí asocatví paměť Skládá se ze dvou vstev euoů, kteé s mez sebou ekuzvě posílají fomace. Vstupí vstva posílá výsledky svého výpočtu výstupí vstvě postředctvím vah sítě. Výstupí vstva vací výsledky svých výpočtů zpět vstupí vstvě postředctvím stejých vah. Otázka: Dosáhe síť stablího stavu, kdy se po ěkolka teacích už ebude mět fomace posílaá sem a tam? w w k y y y k I. Mázová: Neuoové sítě (NAIL) 4

5 BAM Bdectoal Assocatve Memoy (3) Rezoačí síť Aktvačí (přeosovou) fukcí je sg Ifomace kódováa pomocí bpoláích hodot w w k y y y k Síť zobazí -ozměý vekto a k-ozměý vekto Váhová matce síte je k matce W. Po pvím půchodu sítí dostáváme: Vstup po zpětém půchodu sítí bude: Výstup po dalším půchodu: y sg ( W ) T sg Wy ( ) sg W y I. Mázová: Neuoové sítě (NAIL) 5 y

6 BAM Bdectoal Assocatve Memoy (4) Po m teacích dostáváme m + dvojc vektoů y,,,, kteé splňují podmíku: ( ) ( ), K m y m ( ) T y sg W a + sg Wy Otázka: Naleze systém po ěkolka teacích pevý bod, y tak, aby platlo ( ) y sg ( ) T W a sg Wy? w w k y y y k I. Mázová: Neuoové sítě (NAIL) 6

7 BAM Bdectoal Assocatve Memoy (5) máme-l dvojc vektoů (, y ) a chceme astavt váhy bdektví asocatví pamět tak, aby tato uspořádaá dvojce představovala pevý bod systému, lze k výpočtu odpovídající matce vah použít Hebbovské učeí: W T y ( ) ( ) ( ) T y sg W sg y sg y y a záoveň: T sg ( ) ( ) ( ) T T T T T W y sg y y sg y I. Mázová: Neuoové sítě (NAIL) 7

8 BAM Bdectoal Assocatve Memoy (6) Chceme-l uložt do pamět více vzoů (, bude Hebbovské učeí efektvější, pokud y ) ( jsou vektoy y ),, K, m, m K a y K, y m avzájem otogoálí (meší cosstalk ),,, m po m dvojc vektoů bude matce W : W T T y + y K avíc lze bdektví asocatví paměť použít př kostukc autoasocatvích sítí, potože matce vah vytvořeé př Hebbovském učeí (aebo př výpočtu pseudovezí matce) jsou symetcké ( X X W a X T W X T ) + + I. Mázová: Neuoové sítě (NAIL) 8 m T y m

9 Eegetcká fukce po BAM Nechť po daou síť BAM představuje dvojce (, y ) stablí stav Př calzac je sít (zleva) předlože vstupí vekto (časem by měla dokovegovat k ) Výpočet vektou podle: y (, y ) y ( W ) sg Výstupí vekto y bude použt po ovou teac (zpava) I. Mázová: Neuoové sítě (NAIL) 9

10 Eegetcká fukce po BAM () Ectac euoů vlevo učt podle ectačího vektou e : e T W y ( ), y by odpovídalo stablímu stavu sítě, pokud sg ( e ) tj. pokud je e dostatečě blízko T e ( skaláí souč by měl být větší ež skaláí souč jých ectačích vektoů a, když jsou stejě dlouhé) I. Mázová: Neuoové sítě (NAIL)

11 Eegetcká fukce po BAM (3) T T souč E tedy bude e W y meší, pokud leží vekto W y blíže k možost sledováí kovegece systému ke stablímu stavu E ~ eegetcká fukce Lokálí mma eegetcké fukce odpovídají stablím stavům I. Mázová: Neuoové sítě (NAIL)

12 Eegetcká fukce po BAM (4) Defce: Nechť W je váhová matce sítě BAM a echť výstup y pavé vstvy euoů se v té teac spočítá podle y sg ( W ) a A výstup + levé vstvy euoů echť se T počítá podle sg W Eegetcká fukce sítě BAM je pak učea pomocí: ( ) T E, y W y ( ) + y I. Mázová: Neuoové sítě (NAIL)

13 Zobecěí eegetcké fukce Uvažujeme páh a skokovou přeosovou fukc Každý ozměý vekto bude tasfomová a vekto (,,, ) Každý k ozměý vekto, j w bude tasfomová a vekto ( y,, y k, ) Váhová matce W bude ozšířea a matc W, kteá má opot W řádek a sloupec avíc y ϑ y l, j I. Mázová: Neuoové sítě (NAIL) 3

14 Zobecěí eegetcké fukce () -ϑ l, w k -ϑ, y y k Zápoé pahy euoů z pavé vstvy sítě BAM tvoří (+) ířádku W Zápoé pahy euoů z levé vstvy sítě tvoří (k+) í sloupec W Pvek ( +, k+ ) matce W bude I. Mázová: Neuoové sítě (NAIL) 4

15 Zobecěí eegetcké fukce (3) Tato tasfomace odpovídá zavedeí dalšího euou s kostatím výstupem do obou vstev Váhy vedoucí z těchto přdaých euoů odpovídají zápoé hodotě pahu euoů, do chž vedou Eegetcká fukce modfkovaé sítě BAM: T T E, y W y + θ y + θ l θ ( ) T T l θ. Vekto pahů k euoů (v levé vstvě sítě). Vekto pahů euoů (v pavé vstvě sítě) I. Mázová: Neuoové sítě (NAIL) 5

16 Asychoí sítě BAM Každý euo áhodě spočítá svou ectac a Změí svůj stav a ebo - ezávsle a ostatích (ale podle zaméka své ectace) Pavděpodobost, že budou dva euoy současě mět svůj stav, je ulová Předpoklad: stav euou se eměí, je-l celková ectace ulová I. Mázová: Neuoové sítě (NAIL) 6

17 Asychoí sítě BAM () BAM aleze stablí stav v koečém počtu teací (sekvečí pocházeí euoů sítě) Stablí stav ~ dvojce vektoů, y ; y sg W a T sg W y ( ) ( ) ( T ) Věta: Bdektví asocatví paměť s lbovolou matcí vah W dosáhe stablího stavu v koečém počtu teací a to jak pomocí sychoí, tak také pomocí asychoí aktualzace. I. Mázová: Neuoové sítě (NAIL) 7

18 Asychoí sítě BAM (3) Důkaz: ( ) Po vektoy ( ),, K, a y y, y, K, y k a váhovou matc k W {w j } je eegetcká fukce E(, y) ova: w w L w k y w ( ) ( ) w L w k y E, y, K, M M O M M w w L wk yk I. Mázová: Neuoové sítě (NAIL) 8

19 Asychoí sítě BAM (4) Důkaz (pokačováí): Souč téřádky W a udává míu ectace tého euou z levé vstvy g po ectačí vekto levé vstvy ( g,, g ) pak platí: g ( ) ( ) E, y, K, M g podobě po pavou vstvu a její ectačí vekto ( e,, e k ) pak platí: y E, y e K e,, k M y y T ( ) ( ) k I. Mázová: Neuoové sítě (NAIL) 9

20 Asychoí sítě BAM (5) Důkaz (pokačováí): Eegetckou fukc lze vyjádřt dvěma avzájem ekvvaletím způsoby: E, y ( ) a E (, y ) g V případě asychoích sítí se v každém koku vybee áhodě jede euo z levé č pavé vstvy: Spočítá se ectace a ový stav euou k I. Mázová: Neuoové sítě (NAIL) e y

21 Asychoí sítě BAM (6) Důkaz (pokačováí): Pokud se stav euou ezměí, zůstae beze změy eege sítě Stav euou z levé vstvy sítě se změí pouze v případě, že má ectace g ůzé zaméko ež jeho aktuálí stav Potože ostatí euoy svůj stav eměí (asychoí dyamka), bude ozdíl mez předchozí eegí E, y a ovou eegí E( y) odpovídat: E, y E, y g, ( ) ( ) ( ) ( ) I. Mázová: Neuoové sítě (NAIL)

22 Asychoí sítě BAM (7) Důkaz (pokačováí): Potože má ůzé zaméko od g, bude: E (, y ) E (, y ) > (pokud by mělo stejé zaméko jako g, eastala by změa stavu euou) Nový stav sítě (, y ) má tedy žší eeg ež původí stav (, y ) Aalogcky po euoy z pavé vstvy sítě: E (, y ) E (, y ) > (Pokud došlo ke změě stavu euou.) I. Mázová: Neuoové sítě (NAIL)

23 Asychoí sítě BAM (8) Důkaz (pokačováí): Každá aktualzace stavu sítě vede ke sížeí její celkové eege Potože estuje koečě moho kombací bpoláích hodot stavů, musí poces skočt v ějakém stavu a,b kdy už elze eeg sítě dále sžovat síť alezla lokálí mmum eegetcké fukce a stav a, b je ataktoem systému QED ( ) ( ), I. Mázová: Neuoové sítě (NAIL) 3

24 Asychoí sítě BAM (9) Pozámka: Věta platí po sítě se sychoí dyamkou lbovolá eálá matce vah W má bdektví stablí bpoláí stavy I. Mázová: Neuoové sítě (NAIL) 4

25 Hopfeldovy sítě Skoková přeosová fukce: f h + - euoů se skokovou přeosovou fukcí Bpoláí vstupy výstupy { +, - } Syaptcké váhy w j (mez všem euoy avzájem) m téovacích vzoů (tříd) Učeí s učtelem Rozpozáváí Použtí: Asocatví paměť Optmalzačí úlohy I. Mázová: Neuoové sítě (NAIL) 5

26 Hopfeldův model (bpoláí) Kok : Učeí - astavte hodoty syaptckých vah w j m s w j. Váha syapse mez euoy a j s {-,+}. tá složka s tého vzou,j s s j po po I. Mázová: Neuoové sítě (NAIL) 6 j j

27 Hopfeldův model (bpoláí) () Kok : Icalzace - předložte ezámý vstupí vzo: y () Kok 3: Iteace y (t). Výstup euou v čase t {-,+}. tá složka předložeého vzou y j + h ( t ) f w y ( t ) j f h. Skoková přeosová fukce j I. Mázová: Neuoové sítě (NAIL) 7

28 Hopfeldův model (bpoláí) (3) Iteatví poces se př ozpozáváí opakuje, dokud se výstupy euoů eustálí. Výstupy euoů pak epezetují te téovací vzo, kteý ejlépe odpovídá předložeému (ezámému) vzou. Kok 4: Přejděte ke Koku. I. Mázová: Neuoové sítě (NAIL) 8

29 Hopfeldův model (bpoláí) (4) Kovegece (Hopfeld): Symetcké váhy: w j w j Asychoí aktualzace výstupu jedotlvých euoů Nevýhody: Kapacta ( m <.5 ) / log Stablta ( otogoalzace) I. Mázová: Neuoové sítě (NAIL) 9

30 Hopfeldův model příklad Učeí: Vzoy: [-, -,, ] [, -,, -] Nastaveí vah: w w j j M m ( m ) ( m ) j j j I. Mázová: Neuoové sítě (NAIL) 3

31 I. Mázová: Neuoové sítě (NAIL) 3 Hopfeldův model příklad () Nastaveí vah: Rozpozáváí: Vzo: [-, -,, -] [, -,, -] [-, -,, ] W

32 I. Mázová: Neuoové sítě (NAIL) 3 Hopfeldův model - ozpozáváí Po předložeí vzou bude vekto potecálů sítě ( ) { { { ( ) 443 K K PERTURBACE m j j j m T m T T m T m T m I m mi W m α ξ α α

33 Hopfeldův model ozpozáváí (), K, m Stav je stablí, jestlže m < a m petubace α je malá α,, α m. Skaláí souč s každým dalším vektoem ( sg ( ξ ) sg ( ) ) j Malý počet otogoálích vzoů j j I. Mázová: Neuoové sítě (NAIL) 33

34 Hopfeldův model ozpozáváí (3) Stav euoů zachová, dokud ejsou vybáy k aktualzac Výbě po aktualzac se povádí áhodě Neuoy jsou avzájem plě popojey Symetcké váhy: w j w j w Kovegece ke stablímu řešeí př ozpozáváí - utá podmíka: symetcká váhová matce s ulovou dagoálou a asychoí dyamkou I. Mázová: Neuoové sítě (NAIL) 34

35 Hopfeldůvmodel -příklady Váhová matce s eulovou dagoálou emusí vést ke stablím stavům W Sychoí dyamka: (-, -, -) (,, ) Asychoí dyamka: Náhodý výbě jedoho z osm možých vzoů I. Mázová: Neuoové sítě (NAIL) 35

36 Hopfeldůvmodel příklady () Nesymetcká matce: W Asychoí dyamka: (, ) (, -) (-, ) (-, -) cyklcké změy - I. Mázová: Neuoové sítě (NAIL) 36

37 Eegetcká fukce Eegetcká fukce Hopfeldovy sítě s euoy a váhovou matcí W vyjadřuje eeg sítě ve stavu : E W ( ) E ( ) T j ( Obdobě po sítě s pahovým euoy: T T E ( ) W + θ j w j j I. Mázová: Neuoové sítě (NAIL) 37 + w ϑ j j )

38 Eegetcká fukce () Věta: Hopfeldova síť s asychoí dyamkou dosáhe z lbovolého počátečího stavu sítě stablího stavu v lokálím mmu eegetcké fukce. Idea důkazu: Počátečí stav ( ) Předložeý vzo:, K,,, k K I. Mázová: Neuoové sítě (NAIL) 38

39 Eegetcká fukce (3) Idea důkazu (pokačováí): E ( ) j w j j K aktualzac vybá euo k k ezměí svůj stav E( ) se ezměí k změí svůj stav, K, k, K, I. Mázová: Neuoové sítě (NAIL) 39

40 I. Mázová: Neuoové sítě (NAIL) 4 Eegetcká fukce (4) Idea důkazu (pokačováí): ( ) k k j j k kj k k k j j k j j w w w w E symete vah

41 Eegetcká fukce (5) Idea důkazu (pokačováí): Rozdíl eegí: E E w kk ( ) ( ) ůzé zaméko (jak by edošlo ke změě stavu) w k k k k POTENCIÁL k wk k w > I. Mázová: Neuoové sítě (NAIL) 4

42 Eegetcká fukce (6) Idea důkazu (pokačováí): Vždy, když dojde ke změě stavu euou, síží se celková eege sítě Koečý počet možých stavů Stablí stav, kdy eeg sítě už elze sžovat QED I. Mázová: Neuoové sítě (NAIL) 4

43 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model V ěkteých případech elze alézt pomocí Hebbovského učeí váhovou matc Hopfeldovy sítě tak, aby m daých vektoů odpovídalo stablím stavům sítě ( když taková matce estuje) pokud leží vektoy, kteé mají být do sítě uložey, hodě blízko, může být cosstalk přílš velký hoší výsledky Hebbovského učeí Alteatva: Peceptoové učeí po Hopfeldovy sítě I. Mázová: Neuoové sítě (NAIL) 43

44 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model () Peceptoové učeí po Hopfeldovy sítě Hopfeldova síť s euoy, kteé mají eulový páh a skokovou přeosovou fukc Neuo má stav, je-l potecál větší ež Neuo má stav -, je-l potecál meší ebo ove I. Mázová: Neuoové sítě (NAIL) 44

45 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model (3) Uvažujme Hopfeldovu síť:.. počet euoů W {w j }.. matce vah ϑ.. páh euou, (, ) Má-l s síť zapamatovat vekto, bude teto vekto odpovídat stablímu stavu sítě tehdy, jestlže se po jeho předložeí stav sítě ezměí K I. Mázová: Neuoové sítě (NAIL) 45

46 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model (4) potecál euou by měl mít stejé zaméko jako jeho předchozí stav Nulovým hodotám bude odpovídat zápoé zaméko Měly by platt ásledující eovost: Neuo : Neuo : K Neuo : sg sg sg ( )( + w + K + w ϑ ) ( )( w + + K + w ϑ ) ( )( w + w + K + ϑ ) > K > > K K I. Mázová: Neuoové sítě (NAIL) 46

47 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model (5) w j w j ( ) / eulových pvků váhové matce a pahů v v echť je vekto dmeze + ( ) / v (složky odpovídají pvkům w j ad dagoálou matce W ; < j ; a pahům se zápoým zamékem) w K K, w3, K, w, w3, w4, K, w,, w,, ϑ,, ϑ složek složek složka složek I. Mázová: Neuoové sítě (NAIL) 47

48 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model (6) tasfomace vektou do pomocých vektoů z, z, K, z dmeze + ( ) / : z z z K 443 K, 3, K,,,,,,,,, 4 43 složek složek 4 K 43 4 K 43 K 443 K,,,, 3,,,,,,,,, složek složek složek K K K K K K K K K K K K,, 4 K, 43 složek,,, 4 K, 43 složek,,, K I. Mázová: Neuoové sítě (NAIL) 48, 443,, K, složek

49 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model (7) složky vektoů z, z, K, z umožňují ekvvaletí záps předchozích eovostí: Neuo : sg Neuo : sg K Neuo : ( ) ( ) K z z v v > > K K sg ( ) z v > I. Mázová: Neuoové sítě (NAIL) 49

50 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model (8) k leáí sepaac vektoů (podle sg ( ) ) lze použít peceptoové učeí v Spočítat vekto vah utý po leáí sepaac z z, K, z a astavt váhovou matc W, Pokud s má Hopfeldova síť zapamatovat m vektoů,, K, m, je třeba použít popsaou tasfomac po každý vekto z z,, K, z I. Mázová: Neuoové sítě (NAIL) 5

51 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldův model (9) m pomocých vektoů, kteé je třeba leáě odsepaovat Pokud jsou vektoy leáě sepaablí, ajde peceptoové učeí řešeí zakódovaé ve fomě v I. Mázová: Neuoové sítě (NAIL) 5

52 Ekvvalece Hebbovského a peceptoového učeí po Hopfeldůvmodel() Příklad: ϑ w w 3 w 3 w 3 -ϑ -ϑ w ϑ w 3 ϑ 3 Učeí Hopfeldovy sítě s euoy -ϑ 3 Učeí peceptou s dmezí vstupího postou + ( )/ ( (+)/ ) Pozámka: lokálí aplkace delta-pavdla I. Mázová: Neuoové sítě (NAIL) 5

53 Použtí Hopfeldova modelu př řešeí optmalzačích úloh Báí kódováí: / Multflop:,,. Báí stavy jedotlvých euoů Hopfeldovy sítě Síť by se měla dostat do stavu, kdy bude pávě euo aktví; stav všech ostatích euoů by měl být Cíl: alézt mmum fukce E(,, ) E, ( K, ) I. Mázová: Neuoové sítě (NAIL) 53

54 I. Mázová: Neuoové sítě (NAIL) 54 Použtí Hopfeldova modelu př řešeí optmalzačích úloh () ( ) ( ) ( ) j j j j j j E,K, po báí stavy poováí s eegetckou fukcí Hopfeldova modelu astaveí vah a pahů sítě

55 Použtí Hopfeldova modelu př řešeí optmalzačích úloh (3) E + j (,K, ) ( ) + ( ) j astaveí vah a pahů sítě I. Mázová: Neuoové sítě (NAIL) 55

56 Použtí Hopfeldova modelu př řešeí optmalzačích úloh (4) Poblém věží: Umístt a šachovc, věží tak, aby se avzájem eohožovaly každá věžby měla být v jém řádku sloupku ež ostatí j. stav euou a pozc j šachovce ( ) j. počet stavů ve sloupc j v každém sloupc by měla být je jeda jedčka I. Mázová: Neuoové sítě (NAIL) 56

57 Použtí Hopfeldova modelu př řešeí optmalzačích úloh (5) Mmalzace: E Podobě po řádky: E j j 4 43 ( ), K, ( ),K, j j Mmalzovat E E + E MULTIFLOP I. Mázová: Neuoové sítě (NAIL) 57

58 Použtí Hopfeldova modelu př řešeí optmalzačích úloh (6) Nastaveí vah a pahů sítě: I. Mázová: Neuoové sítě (NAIL) 58

59 Použtí Hopfeldova modelu př řešeí optmalzačích úloh (7) Poblém obchodího cestujícího: (~ NP-úplý poblém) A C D G Nalézt cestu přes měst M,, M tak, aby bylo každé město avštíveo alespoň jedou a délka okuží jízdy byla mmálí B F E I. Mázová: Neuoové sítě (NAIL) 59

60 Použtí Hopfeldova modelu př řešeí optmalzačích úloh (8) Repezetace pomocí matce: město pořadí ávštěv M M M M 3 4 j.. Stav euou ~ odpovídá údaj k matce k jk+... Město M je avštíveo v k-tém koku a M j je avštíveo v (k+)-ím koku d j.. Vzdáleost mez M a M j d j přčíst k celkové délce cesty 3 4 Kovece: (+)-í sloupec je stejý jako kužce I. Mázová: Neuoové sítě (NAIL) 6

61 Použtí Hopfeldova modelu př řešeí optmalzačích úloh (9) Mmalzace délky cesty: povolea jedá ávštěva vždy je jedoho města přdat požadavky a přípustou cestu E > mmalzace E: γ d + jkjk+ j, k + j j, j j L d j k jk +, j, k I. Mázová: Neuoové sítě (NAIL) 6

62 Použtí Hopfeldova modelu př řešeí optmalzačích úloh () Nastaveí vah a pahů sítě: w k,jk+ - d j + t k,jk+ t k,jk+ - γ t k,jk+ ϑ j - γ / ; kde po euoy ve stejé řádce č ve stejstejém sloupc jak I. Mázová: Neuoové sítě (NAIL) 6

63 Stochastcké modely euoových sítí Hopfeldův model se používá k řešeí optmalzačích poblémů, kteé lze vyjádřt ve fomě mmalzovaé eegetcké fukce ( když eí zaučeo alezeí globálího optma) Poblém: zabát uvízutí v lokálím mmu eegetcké fukce I. Mázová: Neuoové sítě (NAIL) 63

64 Stochastcké modely euoových sítí () Modfkace Hopfeldova modelu:. statege: zvětšeí počtu možých cest k řešeí ve stavovém postou dovolt stavy ve fomě eálých hodot ( sgmodálí přeosová fukce) > spojtý model. statege: omezeí lokálích mm eegetcké fukce pomocí zašuměé dyamky sítě dočasé povoleí aktualzace stavu sítě za ceu přechodého zvýšeí eegetcké hlady > smulovaé žíháí, Boltzmaův stoj I. Mázová: Neuoové sítě (NAIL) 64

65 Spojtý model Hopfeldovy sítě Aktvace euou vybaého po aktualzac podle: s + e ( u ) u u ozačuje ectac euou Dodatečý předpoklad pomalé změy ectace euou v čase podle: du dt γ u + + wj j γ u j γ >. Adaptačí paamet w j. váha mez euoem a j j ( u ) I. Mázová: Neuoové sítě (NAIL) 65 w j s j

66 Spojtý model Hopfeldovy sítě () Př smulacích spočítat dskétí apomac du a přčíst j k aktuálí hodotě u výsledkem bude ový stav s ( u ) Asychoí dyamka vede k dosažeí ovovážého stavu Eegetcká fukce po spojtý model: E w j j j + s ( )d I. Mázová: Neuoové sítě (NAIL) 66

67 Spojtý model Hopfeldovy sítě (3) Po každé aktualzac stavu euou se hodota eegetcké fukce sžuje: de dt d w + j j j dt s ( ) d dt Potože je síť symetcká, w j w j a záoveň u s - ( ) de dt d dt j w j j u I. Mázová: Neuoové sítě (NAIL) 67

68 Spojtý model Hopfeldovy sítě (4) Přtom: du dt γ j w j j u de dt γ d dt du dt Potože s ( u ) de dt γ s ( u ) du dt I. Mázová: Neuoové sítě (NAIL) 68

69 Spojtý model Hopfeldovy sítě (5) Navíc platí s - ( )> (sgmoda je mootoě ostoucí fukce) de Potože γ > dt stablího stavu síť dosáhe, pokud de / dt vymzí Taková stuace astae, pokud du / dt dosáhe satuačí oblast sgmody, kde bude du / dt ~ QED I. Mázová: Neuoové sítě (NAIL) 69

70 Spojtý model Hopfeldovy sítě (6) Po kombatocké poblémy může spojtý model alézt lepší řešeí ež model dskétí Po velm složté poblémy (typu TSP) ovšem spojtý model obecě eachází výazě lepší řešeí I. Mázová: Neuoové sítě (NAIL) 7

71 Smulovaé žíháí B B A A C C I. Mázová: Neuoové sítě (NAIL) 7

72 Smulovaé žíháí () Př mmalzac eegetcké fukce E se teto jev smuluje ásledujícím způsobem: Hodota poměé se změí vždy, když může aktualzace Δ zmešt hodotu eegetcké fukce E Pokud by se př aktualzac aopak hodota E zvýšla o ΔE, bude ová hodota (tj. + Δ ) přjata s pavděpodobostí p ΔE : Δ E kde T je tzv. teplotí kostata p Δ E I. Mázová: Neuoové sítě (NAIL) 7 + e T

73 Smulovaé žíháí (3) Po velké hodoty T bude: p ΔE a aktualzace stavu astae zhuba v polově těchto případů Po T bude docházet pouze k takovým aktualzacím, kdy se hodota E síží Postupá změa hodot T z velm vysokých hodot směem k ule odpovídá zahřátí a postupému ochlazováí v pocesu žíháí I. Mázová: Neuoové sítě (NAIL) 73

74 Smulovaé žíháí (4) Navíc lze ukázat, že touto stategí lze dosáhout (asymptotcky) globálího mma eegetcké fukce Sgmoda ejlépe odpovídá fukcím používaým v temodyamce (po aalýzu teplotí ovováhy) I. Mázová: Neuoové sítě (NAIL) 74

75 Boltzmaův stoj Defce: Boltzmaův stojje Hopfeldova síť, kteá se skládá z euoů se stavy,,,. Stav euou se aktualzuje asychoě podle pavdla: kde p s s pstí pstí + e p p j w I. Mázová: Neuoové sítě (NAIL) 75 j j ϑ T

76 I. Mázová: Neuoové sítě (NAIL) 76 Boltzmaův stoj () Ve vztahu: ozačuje T kladou teplotí kostatu, w j váhy sítě a ϑ pahy euoů Eegetcká fukce Boltzmaova stoje: + j j j w E ϑ T w j j j e p + ϑ

77 Boltzmaův stoj (3) Rozdíl mez Boltzmaovým stojem a Hopfeldovým modelem spočívá ve stochastcké aktvac euoů Pokud je T velm malé, bude p ~, jestlže je j w j j ϑ pokud je ectace euou zápoá, bude p ~ > dyamka Boltzmaova stoje apomuje dyamku dskétí Hopfeldovy sítě a Boltzmaův stoj ajde lokálí mmum eegetcké fukce I. Mázová: Neuoové sítě (NAIL) 77

78 Boltzmaův stoj (4) Po je T > je pavděpodobost změy aebo posloupost změ ze stavu,, do jého stavu vždy eulová Boltzmaův stoj ezůstae v jedém stavu sžováí a záoveň možost zvyšováí eege systému Po velké hodoty T pojde síť téměř celý stavový posto V ochlazovací fáz má síť tedec zůstávat déle v oblastech blízkých ataktoům lokálích mm I. Mázová: Neuoové sítě (NAIL) 78

79 Boltzmaův stoj (5) Pokud se teplota sžuje spávým způsobem, můžeme očekávat, že systém dosáhe globálího mma s pavděpodobostí I. Mázová: Neuoové sítě (NAIL) 79