Alace teore euroových sítí Doc. RNDr. Iveta Mrázová CSc. Katedra teoretcé formaty Matematco-fyzálí faulta Uverzty Karlovy v Praze
Alace teore euroových sítí Asocatvíamět a restaurace obrazu Doc. RNDr. Iveta Mrázová CSc. Katedra teoretcé formaty Matematco-fyzálí faulta Uverzty Karlovy v Praze
Hofeldovy sítě Soová řeosová fuce: f h - euroů se soovou řeosovou fucí Bolárí vstuy výstuy { - } Syatcé váhy w (mez všem euroy avzáem) m tréovacích vzorů (tříd) Učeí s učtelem Rozozáváí Použtí: Asocatví aměť Otmalzačí úlohy I. Mrázová: ATNS (NAI03) 3
Hofeldův model (bolárí) Kro : Učeí - astavte hodoty syatcých vah w m s 0 w. Váha syase mez euroy a s {-}. tá složa s tého vzoru s s ro ro I. Mrázová: ATNS (NAI03) 4
Hofeldův model (bolárí) () Kro : Icalzace - ředložte ezámý vstuí vzor: y (0) Kro 3: Iterace y (t). Výstu eurou v čase t {-}. tá složa ředložeého vzoru y h ( t ) f w y ( t ) f h. Soová řeosová fuce I. Mrázová: ATNS (NAI03) 5
Hofeldův model (bolárí) (3) Iteratví roces se ř rozozáváí oaue doud se výstuy euroů eustálí. Výstuy euroů a rerezetuí te tréovací vzor terý elée odovídá ředložeému (ezámému) vzoru. Kro 4: Předěte e Krou. I. Mrázová: ATNS (NAI03) 6
Hofeldův model (bolárí) (4) Kovergece (Hofeld): Symetrcé váhy: w w Asychroí atualzace výstuu edotlvých euroů Nevýhody: Kaacta ( m < 0.5 ) / log Stablta ( ortogoalzace) I. Mrázová: ATNS (NAI03) 7
I. Mrázová: ATNS (NAI03) 8 Hofeldův model - rozozáváí Po ředložeí vzoru bude vetor otecálů sítě r ( ) { { { ( ) 443 r r r r r r K r r r r r r r r K r r r r r PERTURBACE m m T m T T m T m T m I m mi W m α ξ α α
Hofeldův model rozozáváí () r K m Stav r e stablí estlže m < a m r erturbace α e malá α α m. Salárí souč r r s aždým dalším vetorem r ( sg ( ξ ) sg ( ) ) Malý očet ortogoálích vzorů r I. Mrázová: ATNS (NAI03) 9
Hofeldův model rozozáváí (3) Stav euroů zachová doud esou vybráy atualzac Výběr ro atualzac se rovádí áhodě Neuroy sou avzáem lě rooey Symetrcé váhy: w w w 0 Kovergece e stablímu řešeí ř rozozáváí - utá odmía: symetrcá váhová matce s ulovou dagoálou a asychroí dyamou I. Mrázová: ATNS (NAI03) 0
Eergetcá fuce Eergetcá fuce Hofeldovy sítě s euroy a váhovou matcí W vyadřue eerg r sítě ve stavu : r E r W r ( ) E r ( ) T ( Obdobě ro sítě s rahovým euroy: r r r r T r T E ( ) W θ w I. Mrázová: ATNS (NAI03) w ϑ )
Eergetcá fuce () Věta: Hofeldova síť s asychroí dyamou dosáhe z lbovolého očátečího stavu sítě stablího stavu v loálím mmu eergetcé fuce. Idea důazu: Počátečí stav r ( ) Předložeý vzor: K K I. Mrázová: ATNS (NAI03)
Eergetcá fuce (6) Idea důazu (oračováí): Vždy dyž dode e změě stavu eurou síží se celová eerge sítě Koečý očet možých stavů Stablí stav dy eerg sítě už elze sžovat QED I. Mrázová: ATNS (NAI03) 3
Použtí Hofeldova modelu ř řešeí otmalzačích úloh Bárí ódováí: 0 / Multflo:. Bárí stavy edotlvých euroů Hofeldovy sítě Síť by se měla dostat do stavu dy bude rávě euro atví; stav všech ostatích euroů by měl být 0 Cíl: alézt mmum fuce E( ) E ( K ) I. Mrázová: ATNS (NAI03) 4
I. Mrázová: ATNS (NAI03) 5 Použtí Hofeldova modelu ř řešeí otmalzačích úloh () ( ) ( ) ( ) E K ro bárí stavy orováí s eergetcou fucí Hofeldova modelu astaveí vah a rahů sítě
Použtí Hofeldova modelu ř řešeí otmalzačích úloh (3) E ( K ) ( ) ( ) astaveí vah a rahů sítě - - - - - - - - - - I. Mrázová: ATNS (NAI03) 6
Použtí Hofeldova modelu ř řešeí otmalzačích úloh (7) Problém obchodího cestuícího: (~ NP-úlý roblém) A C D G Nalézt cestu řes měst M M ta aby bylo aždé město avštíveo alesoň edou a déla oruží ízdy byla mmálí B F E I. Mrázová: ATNS (NAI03) 7
Stochastcé modely euroových sítí Hofeldův model se oužívá řešeí otmalzačích roblémů teré lze vyádřt ve formě mmalzovaé eergetcé fuce ( dyž eí zaručeo alezeí globálího otma) Problém: zabrát uvízutí v loálím mmu eergetcé fuce I. Mrázová: ATNS (NAI03) 8
Smulovaé žíháí B B A A C C I. Mrázová: ATNS (NAI03) 9
Smulovaé žíháí () Př mmalzac eergetcé fuce E se teto ev smulue ásleduícím zůsobem: Hodota roměé se změí vždy dyž může atualzace Δ zmešt hodotu eergetcé fuce E Poud by se ř atualzac aoa hodota E zvýšla o ΔE bude ová hodota (t. Δ ) řata s ravděodobostí ΔE : Δ E de T e tzv. telotí ostata e Δ E I. Mrázová: ATNS (NAI03) 0 T
Smulovaé žíháí (3) Pro velé hodoty T bude: ΔE a atualzace stavu astae zhruba v olově těchto říadů Pro T 0 bude docházet ouze taovým atualzacím dy se hodota E síží Postuá změa hodot T z velm vysoých hodot směrem ule odovídá zahřátí a ostuému ochlazováí v rocesu žíháí I. Mrázová: ATNS (NAI03)
Smulovaé žíháí (4) Navíc lze uázat že touto strategí lze dosáhout (asymtotcy) globálího mma eergetcé fuce Sgmoda elée odovídá fucím oužívaým v termodyamce (ro aalýzu telotí rovováhy) I. Mrázová: ATNS (NAI03)
Restaurace degradovaého obrazu Model degradace obrazu: y ( a b ) h( a b; α β) ( α β) dα dβ ( a b) h ( a b; α β ) rozmývací fuce ( a b) adtví šum ( α β ) ůvodí obraz y ( a b) degradovaý obraz Je-l systém rostorově varatí lze rozmývací fuc vyádřt ao: h ( a b; α β ) h ( a - α ; b - β ) I. Mrázová: ATNS (NAI03) 3
Restaurace degradovaého obrazu () Poud lze vyádřt rozmývací fuc h (. ) ao ovoluc ro malé oéo K K ( K lché) lze sotý model osat dsrétě: y ( ) ( ) h ( ) ( ) K K K l K * oerátor ovoluce K ( K ) / ( l ) h ( l ) ( ) Y HX N ; H rozmývací fuce N adtví šum X ůvodí obraz Y degradovaý obraz I. Mrázová: ATNS (NAI03) 4
Restaurace degradovaého obrazu (3) Rerezetace obrazu Neuroová síť obsahue redudatí euroy ro rerezetac růzých úroví šed: M vzáemě rooeých euroů.. velost obrazu M evyšší hodota šed Obraz e osá oečou možou úroví šed: { ( ) ; } ( ) celé ladé číslo začí hodotu šed lu ( ) I. Mrázová: ATNS (NAI03) 5
Restaurace degradovaého obrazu (4) Rerezetace obrazu (oračováí): Nechť V { v ; M } e bárí moža stavů euroové sítě v začí stav eurou ( ) Fuce šed e ro obraz rerezetováa součtem stavových roměých eurou: Síť s taovou rerezetací má: stablích stavů ro obraz M ( ) v ; de m ( ) m M! ( )! ( M ( ))! I. Mrázová: ATNS (NAI03) 6
Restaurace degradovaého obrazu (5) Rerezetace obrazu (oračováí): Výhody: -) Jede euro s oačým výstuem ezůsobí velé šody v číselé rerezetac -) Více šací alézt srávé řešeí -) Rychleší overgece Každý euro ( ) v tomto modelu dostává áhodě a asychroě vstuy ode všech euroů a rahový vstu: T ;l I M u T ; l v l I l ředstavue váhu syase ( záorou) mez euroy () a (l) rahový vstu I. Mrázová: ATNS (NAI03) 7
Restaurace degradovaého obrazu (6) Rerezetace obrazu (oračováí): Předolady: Váhy sou symetrcé a euroy maí zětou vazbu (selffeedbac): T ;l T l; a T ; 0 Dále ro aždý euro: v g(u ) de g() e eleárí fuce: ( ) 0 Stav aždého eurou se atualzue omocí atuálí formace od ostatích euroů g oud oud I. Mrázová: ATNS (NAI03) 8 < 0 0
Restaurace degradovaého obrazu (7) Odhad arametrů modelu: Pomocí eergetcé fuce E a mmalzace chybové fuce defovaé ao: de Z e orma λ e ostata ~ á formulace restauračího roblému M M T ; l l l E Y H Xˆ v v D Xˆ M I v I. Mrázová: ATNS (NAI03) 9
I. Mrázová: ATNS (NAI03) 30 Restaurace degradovaého obrazu (8) Odhad arametrů modelu (oračováí): Potom: M M M l l M M l l y v h y v v d d v v h h d h y E λ λ zaedbat
I. Mrázová: ATNS (NAI03) 3 Restaurace degradovaého obrazu (9) Odhad arametrů modelu (oračováí): Porováím s oefcety eergetcé fuce dostaeme: ; l h y I d d h h T λ
Restaurace degradovaého obrazu (0) Odhad arametrů modelu (oračováí): Zaímavé asety: Váhy ezávsí a a l Prahy ezávsí a T ; 0 utý feedbac Váhy určue rozmývací fuce oerátor D a ostata λ T ;l lze sočítat bez chyby za ředoladu že záme rozmývací fuc I. Mrázová: ATNS (NAI03) 3
I. Mrázová: ATNS (NAI03) 33 Restaurace degradovaého obrazu () Zaímavé asety (oračováí): Prahy sou fucem degradovaého obrazu e-l obraz degradová ouze rostorově varatí rozmývací fucí lze určt I a e ráh I ovlvě šumem h h h h h I h y šum
Restaurace degradovaého obrazu () Restaurace: Provádí se vyhodocováím euroů a ostrucí obrazu Jsou-l ž zámy arametry T ;l a I může aždý euro áhodě a asychroě vyhodott svů stav a atualzovat ho Poud bylo dosažeo quas-otmálího eergetcého bodu lze ostruovat obraz: ( ) T ;l 0 (~ self-feedbac) eí zaručea overgece sítě M v m I. Mrázová: ATNS (NAI03) 34
Restaurace degradovaého obrazu (3) Restaurace (oračováí): Návrh determstcého ebo stochastcého rozhodovacího ravdla (odle toho zda ožadueme overgec loálímu ebo globálímu mmu) Determstcé ravdlo: Je-l změa eerge ΔE vzhledem e změě stavu Δv meší ew ež ula > ový stav eurou ( ) : v Je-l ΔE vzhledem e změě stavu větší ež ula edode e změě stavu I. Mrázová: ATNS (NAI03) 35
Restaurace degradovaého obrazu (4) Restaurace (oračováí): Stochastcé ravdlo: Podobé ao u tech smulovaého žíháí Pravděodobost řetí: P T { ( ew accet v K v K v )} ΔE e změa eerge T e arametr (~ telota) ew Nový stav estlže e M Δ E T ΔE ΔE Rychlost overgece algortmu závsí a volbě teloty T < 0 0 v { ( ew )} P accet v K v K v T M I. Mrázová: ATNS (NAI03) 36
Restaurace degradovaého obrazu (5) Restauračí algortmus: Kro : Icalzace stavu euroů Kro : Atualzace stavu všech euroů áhodě asychroě odle rozhodovacího ravdla Kro 3: Poud se hodota eergetcé fuce eměí roveď Kro 4; a roveď Kro Kro 4: Kostruce obrazu omocí: ( ) I. Mrázová: ATNS (NAI03) 37 M v m
Restaurace degradovaého obrazu (6) Restauračí algortmus (oračováí): Obtížá smulace a běžém očítač Rozměry obrázu: lů M úroví šed M euroů a ½ 4 M syatcých vah 4 M oerací (sčítáí ásobeí) v aždé terac Prostorová složtost: O ( 4 M ) Časová složtost: O ( 4 M K ) K ~ očet terací Obvyle: 0 K 00 56 04 M 56 I. Mrázová: ATNS (NAI03) 38
I. Mrázová: ATNS (NAI03) 39 Restaurace degradovaého obrazu (7) Restauračí algortmus (oračováí): Možé zedodušeí za ředoladu že se euroy atualzuí ostuě: ( ) < 0 oud 0 0 oud ; M l l l u u u g v I v T u
I. Mrázová: ATNS (NAI03) 40 Restaurace degradovaého obrazu (8) Možé zedodušeí (oračováí): Váhy ezávsí a a l rahy ezávsí a ; l h y I d d h h T λ
I. Mrázová: ATNS (NAI03) 4 Restaurace degradovaého obrazu (9) Možé zedodušeí (oračováí): M euroů ro rerezetac úrově šed má steé váhy a rahy reduce dmeze váhové matce o čle M ; ; M l l I T I v T u ( ) ( ) M m m v ;
Restaurace degradovaého obrazu (0) Možé zedodušeí (oračováí): Váhy sou dáy omocí rozmývací fuce H ostaty λ a oerátoru D euroy sou loálě rooeé a větša vah bude ulových Je-l rozmývací fuce rostorově varatí a euvažuí-l se orae obrázu e třeba uchovávat mohem méě údaů: Stav ( ) tého eurou se atualzue odle hodoty vstuu u a to omocí rozhodovacího ravdla I. Mrázová: ATNS (NAI03) 4
Restaurace degradovaého obrazu () Možé zedodušeí (oračováí): Změa stavu ( ) tého eurou vyvolá změu úrově šed : old oud Δ v 0 ew old oud Δ v old oud Δ v Δ ew old v v v de e změa stavu eurou ( ) ozačue úroveň šed (~ rerezetovaou výstuem M euroů) I. Mrázová: ATNS (NAI03) 43
I. Mrázová: ATNS (NAI03) 44 Restaurace degradovaého obrazu () Možé zedodušeí (oračováí): Jedotlvé euroy racuí ostuě á formulace rocesu atualzace ( ) < Δ > Δ Δ Δ 0 oud 0 oud 0 oud 0 u v u v u v u g v ; I T u
Restaurace degradovaého obrazu (3) Možé zedodušeí (oračováí): ew old Δv old oud oud ΔE ΔE < 0 0 lze oužít stochastcé rozhodovací ravdlo Kotrola hodot úrově šed v aždém rou adatace: 0 ew 55 I. Mrázová: ATNS (NAI03) 45
Restaurace degradovaého obrazu (4) Restauračí algortmus zedodušeí: Kro : Icalzace omocí degradovaého obrázu Kro : Postuě rod všechy ly: Pro aždý el roveď atualzac omocí výše uvedeých vztahů Poud edode žádé změě (~ estlže Δ v 0 ebo Δ E 0 ) řed dalšímu lu Kro 3: Zotrolu hodotu eergetcé fuce Poud edošlo žádé změě obráze byl zrestaurová V oačém říadě řed e Krou a roveď další terac I. Mrázová: ATNS (NAI03) 46
I. Mrázová: ATNS (NAI03) 47 Restaurace degradovaého obrazu (5) Restauračí algortmus zedodušeí (oračováí): Výočet vstuu u ( ) tého eurou a změy hodoty eergetcé fuce Δ E lze zedodušt: Provádíme-l oaovaě atualzac úrově šed ro říslušý el lze využít ředchozích hodot: de u - e vstu ( ) íhoeurou ( ) ; v T v u E Δ Δ Δ Δ ; T v u u
Restaurace degradovaého obrazu (6) Reduce složtost: Prostorová: O ( 4 M ) O ( ) Výočetí: O ( 4 M K ) O (M K) Pro aždý el e třeba e ěol málo atualzací hodoty šed a aždou terac:o ( ) I. Mrázová: ATNS (NAI03) 48