Aplikace teorie neuronových sítí

Transkript

1 Alace teore euroových sítí Doc. RNDr. Iveta Mrázová CSc. Katedra teoretcé formaty Matematco-fyzálí faulta Uverzty Karlovy v Praze

2 Alace teore euroových sítí Asocatvíamět a restaurace obrazu Doc. RNDr. Iveta Mrázová CSc. Katedra teoretcé formaty Matematco-fyzálí faulta Uverzty Karlovy v Praze

3 Hofeldovy sítě Soová řeosová fuce: f h - euroů se soovou řeosovou fucí Bolárí vstuy výstuy { - } Syatcé váhy w (mez všem euroy avzáem) m tréovacích vzorů (tříd) Učeí s učtelem Rozozáváí Použtí: Asocatví aměť Otmalzačí úlohy I. Mrázová: ATNS (NAI03) 3

4 Hofeldův model (bolárí) Kro : Učeí - astavte hodoty syatcých vah w m s 0 w. Váha syase mez euroy a s {-}. tá složa s tého vzoru s s ro ro I. Mrázová: ATNS (NAI03) 4

5 Hofeldův model (bolárí) () Kro : Icalzace - ředložte ezámý vstuí vzor: y (0) Kro 3: Iterace y (t). Výstu eurou v čase t {-}. tá složa ředložeého vzoru y h ( t ) f w y ( t ) f h. Soová řeosová fuce I. Mrázová: ATNS (NAI03) 5

6 Hofeldův model (bolárí) (3) Iteratví roces se ř rozozáváí oaue doud se výstuy euroů eustálí. Výstuy euroů a rerezetuí te tréovací vzor terý elée odovídá ředložeému (ezámému) vzoru. Kro 4: Předěte e Krou. I. Mrázová: ATNS (NAI03) 6

7 Hofeldův model (bolárí) (4) Kovergece (Hofeld): Symetrcé váhy: w w Asychroí atualzace výstuu edotlvých euroů Nevýhody: Kaacta ( m < 0.5 ) / log Stablta ( ortogoalzace) I. Mrázová: ATNS (NAI03) 7

8 I. Mrázová: ATNS (NAI03) 8 Hofeldův model - rozozáváí Po ředložeí vzoru bude vetor otecálů sítě r ( ) { { { ( ) 443 r r r r r r K r r r r r r r r K r r r r r PERTURBACE m m T m T T m T m T m I m mi W m α ξ α α

9 Hofeldův model rozozáváí () r K m Stav r e stablí estlže m < a m r erturbace α e malá α α m. Salárí souč r r s aždým dalším vetorem r ( sg ( ξ ) sg ( ) ) Malý očet ortogoálích vzorů r I. Mrázová: ATNS (NAI03) 9

10 Hofeldův model rozozáváí (3) Stav euroů zachová doud esou vybráy atualzac Výběr ro atualzac se rovádí áhodě Neuroy sou avzáem lě rooey Symetrcé váhy: w w w 0 Kovergece e stablímu řešeí ř rozozáváí - utá odmía: symetrcá váhová matce s ulovou dagoálou a asychroí dyamou I. Mrázová: ATNS (NAI03) 0

11 Eergetcá fuce Eergetcá fuce Hofeldovy sítě s euroy a váhovou matcí W vyadřue eerg r sítě ve stavu : r E r W r ( ) E r ( ) T ( Obdobě ro sítě s rahovým euroy: r r r r T r T E ( ) W θ w I. Mrázová: ATNS (NAI03) w ϑ )

12 Eergetcá fuce () Věta: Hofeldova síť s asychroí dyamou dosáhe z lbovolého očátečího stavu sítě stablího stavu v loálím mmu eergetcé fuce. Idea důazu: Počátečí stav r ( ) Předložeý vzor: K K I. Mrázová: ATNS (NAI03)

13 Eergetcá fuce (6) Idea důazu (oračováí): Vždy dyž dode e změě stavu eurou síží se celová eerge sítě Koečý očet možých stavů Stablí stav dy eerg sítě už elze sžovat QED I. Mrázová: ATNS (NAI03) 3

14 Použtí Hofeldova modelu ř řešeí otmalzačích úloh Bárí ódováí: 0 / Multflo:. Bárí stavy edotlvých euroů Hofeldovy sítě Síť by se měla dostat do stavu dy bude rávě euro atví; stav všech ostatích euroů by měl být 0 Cíl: alézt mmum fuce E( ) E ( K ) I. Mrázová: ATNS (NAI03) 4

15 I. Mrázová: ATNS (NAI03) 5 Použtí Hofeldova modelu ř řešeí otmalzačích úloh () ( ) ( ) ( ) E K ro bárí stavy orováí s eergetcou fucí Hofeldova modelu astaveí vah a rahů sítě

16 Použtí Hofeldova modelu ř řešeí otmalzačích úloh (3) E ( K ) ( ) ( ) astaveí vah a rahů sítě I. Mrázová: ATNS (NAI03) 6

17 Použtí Hofeldova modelu ř řešeí otmalzačích úloh (7) Problém obchodího cestuícího: (~ NP-úlý roblém) A C D G Nalézt cestu řes měst M M ta aby bylo aždé město avštíveo alesoň edou a déla oruží ízdy byla mmálí B F E I. Mrázová: ATNS (NAI03) 7

18 Stochastcé modely euroových sítí Hofeldův model se oužívá řešeí otmalzačích roblémů teré lze vyádřt ve formě mmalzovaé eergetcé fuce ( dyž eí zaručeo alezeí globálího otma) Problém: zabrát uvízutí v loálím mmu eergetcé fuce I. Mrázová: ATNS (NAI03) 8

19 Smulovaé žíháí B B A A C C I. Mrázová: ATNS (NAI03) 9

20 Smulovaé žíháí () Př mmalzac eergetcé fuce E se teto ev smulue ásleduícím zůsobem: Hodota roměé se změí vždy dyž může atualzace Δ zmešt hodotu eergetcé fuce E Poud by se ř atualzac aoa hodota E zvýšla o ΔE bude ová hodota (t. Δ ) řata s ravděodobostí ΔE : Δ E de T e tzv. telotí ostata e Δ E I. Mrázová: ATNS (NAI03) 0 T

21 Smulovaé žíháí (3) Pro velé hodoty T bude: ΔE a atualzace stavu astae zhruba v olově těchto říadů Pro T 0 bude docházet ouze taovým atualzacím dy se hodota E síží Postuá změa hodot T z velm vysoých hodot směrem ule odovídá zahřátí a ostuému ochlazováí v rocesu žíháí I. Mrázová: ATNS (NAI03)

22 Smulovaé žíháí (4) Navíc lze uázat že touto strategí lze dosáhout (asymtotcy) globálího mma eergetcé fuce Sgmoda elée odovídá fucím oužívaým v termodyamce (ro aalýzu telotí rovováhy) I. Mrázová: ATNS (NAI03)

23 Restaurace degradovaého obrazu Model degradace obrazu: y ( a b ) h( a b; α β) ( α β) dα dβ ( a b) h ( a b; α β ) rozmývací fuce ( a b) adtví šum ( α β ) ůvodí obraz y ( a b) degradovaý obraz Je-l systém rostorově varatí lze rozmývací fuc vyádřt ao: h ( a b; α β ) h ( a - α ; b - β ) I. Mrázová: ATNS (NAI03) 3

24 Restaurace degradovaého obrazu () Poud lze vyádřt rozmývací fuc h (. ) ao ovoluc ro malé oéo K K ( K lché) lze sotý model osat dsrétě: y ( ) ( ) h ( ) ( ) K K K l K * oerátor ovoluce K ( K ) / ( l ) h ( l ) ( ) Y HX N ; H rozmývací fuce N adtví šum X ůvodí obraz Y degradovaý obraz I. Mrázová: ATNS (NAI03) 4

25 Restaurace degradovaého obrazu (3) Rerezetace obrazu Neuroová síť obsahue redudatí euroy ro rerezetac růzých úroví šed: M vzáemě rooeých euroů.. velost obrazu M evyšší hodota šed Obraz e osá oečou možou úroví šed: { ( ) ; } ( ) celé ladé číslo začí hodotu šed lu ( ) I. Mrázová: ATNS (NAI03) 5

26 Restaurace degradovaého obrazu (4) Rerezetace obrazu (oračováí): Nechť V { v ; M } e bárí moža stavů euroové sítě v začí stav eurou ( ) Fuce šed e ro obraz rerezetováa součtem stavových roměých eurou: Síť s taovou rerezetací má: stablích stavů ro obraz M ( ) v ; de m ( ) m M! ( )! ( M ( ))! I. Mrázová: ATNS (NAI03) 6

27 Restaurace degradovaého obrazu (5) Rerezetace obrazu (oračováí): Výhody: -) Jede euro s oačým výstuem ezůsobí velé šody v číselé rerezetac -) Více šací alézt srávé řešeí -) Rychleší overgece Každý euro ( ) v tomto modelu dostává áhodě a asychroě vstuy ode všech euroů a rahový vstu: T ;l I M u T ; l v l I l ředstavue váhu syase ( záorou) mez euroy () a (l) rahový vstu I. Mrázová: ATNS (NAI03) 7

28 Restaurace degradovaého obrazu (6) Rerezetace obrazu (oračováí): Předolady: Váhy sou symetrcé a euroy maí zětou vazbu (selffeedbac): T ;l T l; a T ; 0 Dále ro aždý euro: v g(u ) de g() e eleárí fuce: ( ) 0 Stav aždého eurou se atualzue omocí atuálí formace od ostatích euroů g oud oud I. Mrázová: ATNS (NAI03) 8 < 0 0

29 Restaurace degradovaého obrazu (7) Odhad arametrů modelu: Pomocí eergetcé fuce E a mmalzace chybové fuce defovaé ao: de Z e orma λ e ostata ~ á formulace restauračího roblému M M T ; l l l E Y H Xˆ v v D Xˆ M I v I. Mrázová: ATNS (NAI03) 9

30 I. Mrázová: ATNS (NAI03) 30 Restaurace degradovaého obrazu (8) Odhad arametrů modelu (oračováí): Potom: M M M l l M M l l y v h y v v d d v v h h d h y E λ λ zaedbat

31 I. Mrázová: ATNS (NAI03) 3 Restaurace degradovaého obrazu (9) Odhad arametrů modelu (oračováí): Porováím s oefcety eergetcé fuce dostaeme: ; l h y I d d h h T λ

32 Restaurace degradovaého obrazu (0) Odhad arametrů modelu (oračováí): Zaímavé asety: Váhy ezávsí a a l Prahy ezávsí a T ; 0 utý feedbac Váhy určue rozmývací fuce oerátor D a ostata λ T ;l lze sočítat bez chyby za ředoladu že záme rozmývací fuc I. Mrázová: ATNS (NAI03) 3

33 I. Mrázová: ATNS (NAI03) 33 Restaurace degradovaého obrazu () Zaímavé asety (oračováí): Prahy sou fucem degradovaého obrazu e-l obraz degradová ouze rostorově varatí rozmývací fucí lze určt I a e ráh I ovlvě šumem h h h h h I h y šum

34 Restaurace degradovaého obrazu () Restaurace: Provádí se vyhodocováím euroů a ostrucí obrazu Jsou-l ž zámy arametry T ;l a I může aždý euro áhodě a asychroě vyhodott svů stav a atualzovat ho Poud bylo dosažeo quas-otmálího eergetcého bodu lze ostruovat obraz: ( ) T ;l 0 (~ self-feedbac) eí zaručea overgece sítě M v m I. Mrázová: ATNS (NAI03) 34

35 Restaurace degradovaého obrazu (3) Restaurace (oračováí): Návrh determstcého ebo stochastcého rozhodovacího ravdla (odle toho zda ožadueme overgec loálímu ebo globálímu mmu) Determstcé ravdlo: Je-l změa eerge ΔE vzhledem e změě stavu Δv meší ew ež ula > ový stav eurou ( ) : v Je-l ΔE vzhledem e změě stavu větší ež ula edode e změě stavu I. Mrázová: ATNS (NAI03) 35

36 Restaurace degradovaého obrazu (4) Restaurace (oračováí): Stochastcé ravdlo: Podobé ao u tech smulovaého žíháí Pravděodobost řetí: P T { ( ew accet v K v K v )} ΔE e změa eerge T e arametr (~ telota) ew Nový stav estlže e M Δ E T ΔE ΔE Rychlost overgece algortmu závsí a volbě teloty T < 0 0 v { ( ew )} P accet v K v K v T M I. Mrázová: ATNS (NAI03) 36

37 Restaurace degradovaého obrazu (5) Restauračí algortmus: Kro : Icalzace stavu euroů Kro : Atualzace stavu všech euroů áhodě asychroě odle rozhodovacího ravdla Kro 3: Poud se hodota eergetcé fuce eměí roveď Kro 4; a roveď Kro Kro 4: Kostruce obrazu omocí: ( ) I. Mrázová: ATNS (NAI03) 37 M v m

38 Restaurace degradovaého obrazu (6) Restauračí algortmus (oračováí): Obtížá smulace a běžém očítač Rozměry obrázu: lů M úroví šed M euroů a ½ 4 M syatcých vah 4 M oerací (sčítáí ásobeí) v aždé terac Prostorová složtost: O ( 4 M ) Časová složtost: O ( 4 M K ) K ~ očet terací Obvyle: 0 K M 56 I. Mrázová: ATNS (NAI03) 38

39 I. Mrázová: ATNS (NAI03) 39 Restaurace degradovaého obrazu (7) Restauračí algortmus (oračováí): Možé zedodušeí za ředoladu že se euroy atualzuí ostuě: ( ) < 0 oud 0 0 oud ; M l l l u u u g v I v T u

40 I. Mrázová: ATNS (NAI03) 40 Restaurace degradovaého obrazu (8) Možé zedodušeí (oračováí): Váhy ezávsí a a l rahy ezávsí a ; l h y I d d h h T λ

41 I. Mrázová: ATNS (NAI03) 4 Restaurace degradovaého obrazu (9) Možé zedodušeí (oračováí): M euroů ro rerezetac úrově šed má steé váhy a rahy reduce dmeze váhové matce o čle M ; ; M l l I T I v T u ( ) ( ) M m m v ;

42 Restaurace degradovaého obrazu (0) Možé zedodušeí (oračováí): Váhy sou dáy omocí rozmývací fuce H ostaty λ a oerátoru D euroy sou loálě rooeé a větša vah bude ulových Je-l rozmývací fuce rostorově varatí a euvažuí-l se orae obrázu e třeba uchovávat mohem méě údaů: Stav ( ) tého eurou se atualzue odle hodoty vstuu u a to omocí rozhodovacího ravdla I. Mrázová: ATNS (NAI03) 4

43 Restaurace degradovaého obrazu () Možé zedodušeí (oračováí): Změa stavu ( ) tého eurou vyvolá změu úrově šed : old oud Δ v 0 ew old oud Δ v old oud Δ v Δ ew old v v v de e změa stavu eurou ( ) ozačue úroveň šed (~ rerezetovaou výstuem M euroů) I. Mrázová: ATNS (NAI03) 43

44 I. Mrázová: ATNS (NAI03) 44 Restaurace degradovaého obrazu () Možé zedodušeí (oračováí): Jedotlvé euroy racuí ostuě á formulace rocesu atualzace ( ) < Δ > Δ Δ Δ 0 oud 0 oud 0 oud 0 u v u v u v u g v ; I T u

45 Restaurace degradovaého obrazu (3) Možé zedodušeí (oračováí): ew old Δv old oud oud ΔE ΔE < 0 0 lze oužít stochastcé rozhodovací ravdlo Kotrola hodot úrově šed v aždém rou adatace: 0 ew 55 I. Mrázová: ATNS (NAI03) 45

46 Restaurace degradovaého obrazu (4) Restauračí algortmus zedodušeí: Kro : Icalzace omocí degradovaého obrázu Kro : Postuě rod všechy ly: Pro aždý el roveď atualzac omocí výše uvedeých vztahů Poud edode žádé změě (~ estlže Δ v 0 ebo Δ E 0 ) řed dalšímu lu Kro 3: Zotrolu hodotu eergetcé fuce Poud edošlo žádé změě obráze byl zrestaurová V oačém říadě řed e Krou a roveď další terac I. Mrázová: ATNS (NAI03) 46

47 I. Mrázová: ATNS (NAI03) 47 Restaurace degradovaého obrazu (5) Restauračí algortmus zedodušeí (oračováí): Výočet vstuu u ( ) tého eurou a změy hodoty eergetcé fuce Δ E lze zedodušt: Provádíme-l oaovaě atualzac úrově šed ro říslušý el lze využít ředchozích hodot: de u - e vstu ( ) íhoeurou ( ) ; v T v u E Δ Δ Δ Δ ; T v u u

48 Restaurace degradovaého obrazu (6) Reduce složtost: Prostorová: O ( 4 M ) O ( ) Výočetí: O ( 4 M K ) O (M K) Pro aždý el e třeba e ěol málo atualzací hodoty šed a aždou terac:o ( ) I. Mrázová: ATNS (NAI03) 48