1. Sítě se vzájemnými vazbami

Transkript

1 Obsah 1. Sítě se vzáemným vazbam Základní nformace Výstupy z učení Obecná charakterstka umělých neuronových sítí se vzáemným vazbam Hopfeldova síť Organzační dynamka Aktvní dynamka Hopfeldovy sítě Adaptační dynamka Boltzmannův stro Organzační dynamka Aktvní dynamka Obousměrná asocatvní paměť (bdrectonal assocatve memory, BAM ) Organzační dynamka Adaptační dynamka Aktvní dynamka Seznam použté lteratury... 14

2 1. Sítě se vzáemným vazbam 1.1 Základní nformace Následuící text e součástí učebních textů předmětu Umělá ntelgence a e určen hlavně pro studenty Matematcké bologe. Tato kaptola se zabývá konceptem neuronových sítí se vzáemným vazbam, nazývaným také sítěm asocatvním. Topologe těchto sítí e významně odlšná od dopředných neuronových sítí, bologcká analoge chování těchto sítí nevíce odpovídá vybavování s zapamatovaných vzorů. Podrobně e rozebrán základní teoretcký model Hopfeldovy sítě. 1.2 Výstupy z učení Zvládnutí učebního textu umožní studentům: Seznámt se prncpem asocatvních neuronových Porozumět organzační a aktvní dynamce Hopfeldovy síťě Pochopí zavedení pomů stav, energe a atraktory Hopfeldovy sítě. Nastavt atraktorů sítě nerovnostm včetně postupů zabránění falešným atraktorům. Pochopt odlšnost stochastckého neuronu od eho determnstcké varantya popsat Boltzmanův stro ako stochastcké rozšíření Hopfeldovy sítě. Dokáží demontrovat algortmus aktvní dynamky Boltzmanova strroe - smulované žíhání - na příkladu sítě se třem uzly. 1.3 Obecná charakterstka umělých neuronových sítí se vzáemným vazbam Skupna sítí se vzáemným vazbam se také často nazývá asocatvním č atraktorovým sítěm, protože prncp ech aktvní dynamky spočívá ve vybavování s, asocac předem naučených vzorů - atraktorů. Vzhledem k charakteru, kdy s sítě pamatuí určté naučené vzory, sou modely asocatvních sítí označovány také ako asocatvní pamět. Pro sítě se vzáemným vazbam mez neurony e typcké, že zde exstuí zpětné vazby mez neurony, sgnál se tedy nešíří edním směrem po ednotlvých vrstvách ako v případě perceptronů. Propoení mez neurony může být úplné (Hopfeldova síť). Bývá také symetrcké, synapse sou tedy ohodnocena ednou hodnotou váhy, která se používá pro oba směry šíření nformace synapsí. Nečastě sou používány neurony s bnární č bpolární charakterstkou, které maí schopnost vyádřt dva stavy. Vzáemné propoení neuronů způsobue, že v aktvní dynamce sou ednotlvé neurony vzáemně ovlvňovány okolním neurony, se kterým maí společnou vazbu. Aktvní dynamka spočívá v postupném výběru ednoho z neuronů (ať už determnstcky, nebo náhodně) a úpravě eho stavu na základě vlvu okolních neuronů. Změnou stavů neuron pak postupně přechází síť do stablního stavu, kdy ž není žádná změna možná, síť dosáhla atraktoru. U sítí se vzáemným vazbam tedy pozorueme oprot aktvní dynamce perceptronů rozdíl. Zatímco perceptrony v aktvní dynamce poskytuí okamžtou odezvu na předložený vstup výpočtem, aktvní

3 dynamka sítí se vzáemným vazbam představue teratvní proces směřuící k nalezení ednoho z atraktorů. Aktvní a adaptační dynamka má tedy oprot perceptronům opačný charakter. Iteratvní proces vybavování s vzorů a přechodu systému do stablního stavu má opět svo analog v bologcké oblast, kde odpovídá kogntvním funkcím mozku, například př rozpoznávání obektů. Analog lze nalézt v oblast fyzkální, kdy Hopfeldova síť vznkla ako model spnových skel, která popsuí původně náhodné uspořádání směrů magnetckých momentů atomů v krytstalcké mřížce, které ale směřue k uspořádanému stablnímu stavu. Obr. 1 Obecná organzační dynamka Hopfeldovy sítě. Asocatvní neuronové sítě můžeme rozdělt do dvou oblastí, na autoasocatvní a heteroasocatvní. Autoasocatvní sítě s na základě daného předloženého vstupu snaží vybavt odpovídaící vzor v úplné podobě. Příkladem může být předložení poškozené č neúplné fotografe oblčee sté osoby sít. Výsledkem vybavování sítě by pak byl nepoškozený a úplný obraz, který byl dříve do vah sítě uložen ako eden z atraktorů. Oprot tomu heteroasocatvní sítě s nevybavuí přímo předkládaný vzor, ale doplňuí k němu něaké souvseící nformace ného charakteru. Příkladem může být síť, která po předložení fotografe oblčee provede dentfkac dané osoby a přřadí k ní dříve zapamatované osobní údae. 1.4 Hopfeldova síť Organzační dynamka Topolog Hopfeldovy sítě tvoří pevné uspořádání N neuronů dle obrázku 1. Neurony sou propoeny obousměrným vazbam každý s každým, každý -tý neuron má tedy na své vstupy přvedeny výstupy všech ostatních -tých neuronů. Pro váhy platí, že sou symetrcké w = w (1) a w = 0. (2)

4 Výstup neuronu e zde reprezentován vntřním stavem neuronu, ak s ukážeme dále. V Hopfeldově sít bývaí použty zpravdla neurony s bnární (0,1,hardlm) č bpolární (-1,1) charakterstkou. Každý neuron obsahue explctně vyádřený práh. Počáteční nastavení stavu neuronu po přložení vstupu e možné provést ednorázovým nastavením stavu neuronu. Je dobré s uvědomt, že v základním modelu Hopfeldovy sítě bez skrytých uzlů platí, že počet prvků vstupního vektoru x, e roven počtu vzorků výstupního vektoru V, a ten e roven počtu neuronů v sít N Stav Hopfeldovy sítě Příklad Hopfeldovy sítě se třem uzly e uveden na následuícím obrázku. Symetrcké váhy sou označeny znakem w, explctní prahy neuronů a výstupy, tedy stavy neuronů V. Obr. 2 Hopfeldova síť se třem uzly. Výstup V ednotlvého -tého neuronu e defnován v souladu s dříve zavedenou defncí ednotlvého neuronu ako V y ( ) ( w V ), kde představue explctní práh a aktvační výstupní funkce ( ) má bpolární nebo bnární charakter. (3) Varantu, kdy e aktvační výstupní funkce defnována ako spotá, například sgmodální funkce, ( 1 ) 1 e (4), nazýváme spotou Hopfeldovou sítí, narozdíl od eí dskrétní realzace s bnárním č bpolárním neurony. Hopfeldova síť s N neurony e v každém dskrétním okamžku charakterzována vektorem výstupů V ednotlvých neuronů. Výstup každého -tého neuronu také označueme za stav neuronu V. Stav sítě

5 e pak dán vektorem o N elementech, kde každý prvek představue stav ednoho z neuronů. Zvláštní význam má pak stav sítě v ustáleném stavu, kdy tento stav sítě představue ukončení aktvní dynamky sítě a tedy hledaný atraktor Aktvní dynamka Hopfeldovy sítě Předpokládeme, že máme ustavenou Hopfeldovu síť s bnárním neurony s explctním prahem a máme nastaveny hodnoty vah synapsí mez neurony. Zaháení aktvní dynamky sítě odpovídá přložení vstupního vektoru x na ednotlvé neurony. Nastavíme tak počáteční stav V všech neuronů a tedy celé sítě. Stav každého -tého neuronu e dán odpovídaící -tou hodnotou prvku vstupního vektoru. V našem případě bnárních neuronů bude tedy počáteční stav každého neuronu nastaven na 0 nebo 1. Poté e náhodně vybrán eden z neuronů a e aktualzován eho stav dle vztahu (3). Po aktualzac stavu může být tedy stav bnárního neuronu změněn na opačný, nebo může zůstat beze změny. O změně stavu rozhodue, zda bude neuron dostatečně buzen svým sousedy (vntřní potencál překročí práh buzeného neuronu), se kterým e propoen ohodnoceným spo. Síla a charakter spoení neuronů určue míru ech vzáemného ovlvnění a může mít nhbční č exctační charakter. Po změně stavu každého neuronu přechází síť do dalšího stavu ako celek. Dalším krokem aktvní dynamky e volba dalšího (náhodně, tedy steného) neuronu a stuace se opakue. Algortmus takto postupně vybírá ednotlvé neurony a síť tak prochází ednotlvým stavy, až dosáhne ustáleného stavu, kdy už není žádný přechod provedtelný. Jnak řečeno, nelze ž zvolt žádný neuron, který by změnl svů stav na opačný. Obr. 3 Applet pro demonstrac schopností Hopfeldovy sítě ([ Energetcká funkce Pro lepší pochopení problematky Hopfeldovy sítě defnueme poem energe -tého neuronu. (5) E V V ( w V )

6 Celková energe sítě e pak opět podobně ako stav sítě v daném dskrétním okamžku vyádřena sumací dílčích energí všech neuronů ako E (6) V Energetcká funkce evdentně závsí na stavu sítě. V procesu aktvní dynamky, tedy př změně stavu akéhokol ednotlvého neuronu sítě dochází ke změně energetcké funkce, kde tato změna může být vyádřena ako E V (7) Je závslá pouze na změně stavu neuronu V, protože vntřní potencál neuronu zvoleného aktvní dynamkou zůstává v daném kroku aktvní dynamky konstantní. U bnárních neuronů může doít pouze ke dvěma změnám stavu V. Buď ze stavu V = 0 na stav V = 1, nebo ze stavu V = 1 na stav V = 0. Změna energe e v těchto dvou případech tedy: Změna V z 0 -> 1. Zde platí, že V 0. Tato stuace ale může nastat en v případě, kdy platí, že 0. Důsledkem dle vztahu (7) e tedy, že E 0. Změna V z 1 -> 0. Zde platí, že V 0. Tato stuace ale může nastat en v případě, kdy platí, že 0. Důsledkem dle vztahu (7) e tedy, že E 0. Energe každého neuronu tedy může př eho aktvac pouze klesnout, nebo zůstat stená. Z předchozích vztahů plynou pro energetckou funkc důležté závěry. Celková energe sítě, která e součtem energí ednotlvých neuronů, může pouze klesat, nebo zůstat nezměněna. Stavy sítě s nízkou energí sou stablněší, než stavy s energí vysokou. Síť tedy v ednotlvých (po neuronech dskrétních) krocích přechází postupně do stavů s nžší energí, až dosáhne stavu, kdy ž není realzovatelný žádný přechod žádného neuronu do stavu s nžší energí. Síť ustálla svů stav ve stavu s nízkou energí, odkud není realzovatelný žádný další přechod - uvízla v lokálním mnmu energetcké funkce, v ednom z atraktorů. Tento stav představue vybavený vzor sítě, tedy fnální odezvu sítě na předložený vstup Stavová mapa přechod Proces aktvní dynamky pro konkrétní Hopfeldovu síť můžeme zobrazt pomocí stavové mapy pžechodů. Každý uzel v této mapě obsahue nformac o aktuálním stavu sítě a také energ, která tomuto stavu odpovídá. Obr. 4 Uzel ve stavové mapě přechodů a eho obsah.

7 Jednotlvé uzly e možné v dagramu uspořádat od uzlů s nevyšší energí E, až po uzly s energí nenžší. Přložení vstupu na síť odpovídá nastavení sítě do stavu rovnaícímu se tomuto vstupu. Pokud budeme předpokládat síť, kde sou ednotlvé neurony voleny dskrétně a náhodně se stenou pravděpodobností,můžeme Hopfeldovu síť a eí mapu přechodů zobrazt následovně: Obr. 5 Hopfeldova síť se třem uzly a odpovídaící mapa přechodů. Hrany mez ednotlvým uzly odpovídaí pravděpodobnost, s akou e ten který přechod proveden. V našem případě e výběr každého ze tří neuronů steně pravděpodobný. Po stém počtu kroků se síť dostane do stavu vyádřeného ako 011, který odpovídá mnmální hodnotě energe sítě a e v tomto případě dokonce globálním atraktorem. Ať e ž v tomto stavu zvolen/aktvován kterýkol z neuronů, nezmění svů stav a síť tedy zůstává v tomto stablním stavu Adaptační dynamka Adaptační dynamka opět vychází z trénovací množny, která obsahue pmax vzorů o rozměru N. Není k nm však přřazen žádný očekávaný výstup, ako v případě dopředných sítí, každý vzor e vzhledem ke konceptu autoasocatvních sítí rovnou edním z požadovaných atraktorů sítě. M = {x 1, x 2,. x pmax } = {V 1, V 2,. V pmax } (8) Cílem adaptační dynamky e př pevné topolog sítě nalézt takové nastavení parametrů sítě, aby předkládané vzory představovaly lokální mnma energetcké funkce. Obvykle se edná pouze o adaptac vah spouících ednotlvé neurony, prahové hodnoty sou považovány za nulové. Ve fáz aktvní dynamky sou pak všechny předkládané vzory přtahovány do neblžšího zapamatovanému vzoru. Je zřemé, že síť dané topologe s dokáže zapamatovat pouze omezený počet vzorů. Pravděpodobnost p(s) stablního stavu sítě můžeme vyádřt ako 1 p( s) 2 1 N 2P e 2 0 x dx

8 (9) Hopfeld expermentálně odvodl, že počet bnárních vzorů P, které s síť dokáže zapamatovat a poté také vybavt, e přblžně rovno kde N e počet neuronů. (10) Dle uvedené lteratury e tento počet eště nadhodnocený, kdy pro požadované atraktory lokálním mnmům energetcké funkce. odpovídaí Pro bpolární neurony e přblžný vztah pro počet vzorů následuící: (11) Hopfeldova síť tedy pro stablní uložení vzorů vyžadue relatvně vysoký počet uzlů. Paměť sítě lze rošířt přdáním tzv. skrytých uzlů, které sou do struktury sítě začleněny, ncméně neposkytuí vstup an výstup Hebbovo pravdlo Pro nastavení symetrckých vah w = w mez neurony lze ak v případě bnárních, tak v případě bpolárních výstupů neuronů použít Hebbovo pravdlo. Na síť postupně přkládáme ednotlvé vzory z trénovací množny. Váhy w sou pak kladně poslovány př souhlasné poztvní aktvac neuronů na předložený vstup. Př nesouhlasné aktvac sousedních neuronů propoených vazbou s vahou w sou ech vzáemné vazby oslabovány. Výsledná váha pak představue rozdíl mez souhlasným a nesouhlasným stavy (výstupy V ) neuronů pro všechny vstupy z trénovací množny. Konkrétní hodnota váhy w mez neurony tak může být nastavena pro bnární neurony dle vztahu w [ x 1][ x 1] [ V 1][ V 1], pro p max p max (12) Pro bpolární neurony e vztah ednodušší. w (13) x x p max p max VV pro Jednotlvé vzory sou tedy v sít uloženy nepřímo, formou vaham ohodnocených vztahů mez neurony a ech stavy. Tato metoda učení však může vést ke vznku fantomů, falešných traktorů, které představuí lokální mnma energetcké funkce, ale nereprezentuí žádný z požadovaných předkládaných atraktorů.

9 Nastavení nerovnostm Postup nastavení vah nerovnostm s obasníme na realzac konkrétního příkladu. Jde o postup, po kterém má síť požadované atraktory. Měme opět Hopfeldovu síť se třem propoeným uzly. Obr. 6 Příklad Hopfeldovy sítě. Požadueme, aby atraktory byly prvky A a B množny M = {A=010, B=111}. Hledáme tedy takové odpovídaící nastavení vah w a prahů pro tyto atraktory, aby v nch byla síť stablní a svů stav udržela. Pro požadovaný atraktor A = 010 můžeme sestavt soustavu nerovnc. V 1 = 0 V 2 = 1 V 3 = 0 Tab. 1 Soustava nerovnc pro atraktor A. Podobně pro atraktor B = 111. V 1 = 1 V 2 = 1 V 3 = 1

10 Tab. 2 Soustava nerovnc pro atraktor B. Uvedené vztahy představuí soustavu šest lneárních rovnc o šest neznámých. Soustava má nekonečně mnoho řešení splňuících dané podmínky, například w 12 = 0,5; w 13 = 0,4; w 23 = 0,1; a 1 = 0,7; a 2 = -0,2; a 3 = 0,4. An tento postup ale nezabrání vznku falešných atraktorů, které představuí nechtěná lokální mnma energetcké funkce, která sou ve všech směrech (tedy možných změnách stavu) ohrančena vyšším hodnotam energetcké funkce. Aktvní dynamka sítě pak může v těchto nechtěných mnmech trvale uváznout. Řešením, které zamezí falešným atraktorům, může být doplnění nerovností pro každý stav, který nesmí být atraktorem. Toto bývá ale v prax obtížně řeštelné. Alternatvu představue učení sítě pomocí delta pravdla, které lze shrnout do následuících kroků: 1. Zvolíme množnu požadovaných atraktorů M = {x 1, x 2,. x pmax } 2. Přložíme eden ze vzorů x na síť a vypočteme aktvační funkce a výstupy (stavy) neuronů 3. Pokud se stavy plynoucí z aktvační funkce shoduí s požadovaným (předloženým), neděle nc. 4. V opačném případě uprav váhy buzených vstupů a práh aktuálního neuronu o zvolené ± v závslost na odezvě neuronu a. Pokud V = 0 a má být 1 (x = 1) => snížíme práh a posílíme buzené váhy o b. Pokud V = 1 a má být 0 (x = 0) =>zvýšíme práh a snížíme buzené váhy o 1.5 Boltzmannův stro Organzační dynamka Organzační dynamka Boltzmannova stroe e naprosto stená ako u Hopfeldovy sítě, nečastě Hopfeldovy sítě se skrytým neurony. Rozdíl e v typu použtých neuronů. Ty se nechovaí determnstcky, ako v případě Hopfeldovy sítě, ale změna stavu neuronu na opačný (0 ->1 a 1 -> 0) závsí neen na hodnotě aktvační funkce, ale také na velčně nazývané teplota sítě T 0. Tato teplota se obvykle mění v průběhu práce sítě a e zodpovědná za stochastcké chování neuronů. Základem Boltzmannova stroe e tedy stochastcký neuron, u kterého známe pravděpodobnost P, se kterou se bude nacházet v daném stavu na základě hodnoty vntřního potencálu neuronu. Funkcí vyadřuící závslost pravděpodobnost změny stavu e často sgmoda, která e modfkována právě parametrem T. V závslost na teplotě tedy může stochastcký neuron s stou pravděpodobností změnt svů stav bez ohledu na hodnotu vntřního potencálu. (14) P 1 ( ) 1T 1 e Pro T = 0 dostáváme pro pravděpodobnost změny stavu standardní sgmodální funkc a neuron se tedy s vysokou pravděpodobností bude chovat dle hodnoty svého vntřního potencálu. Ze vztahu (13) dále vyplývá, že s rostoucí hodnotou parametru T dochází k vyrovnání pravděpodobnost volby

11 obou stavů bez ohledu na hodnotu vntřního potencálu a pro T -> se neuron chová zcela náhodně, oba stavy sou steně pravděpodobné. Obr. 7 Průběh pravděpodobnostní aktvační funkce v závslost na T a dle [1] Aktvní dynamka Aktvní dynamka Boltzmannova stroe e opět analogcká s Hopfeldovou sítí. V procesu aktvní dynamky e opět (náhodně) zvolen v dskrétním kroku t eden z neuronů a e provedeno vyhodnocení eho reálného vntřního potencálu v souladu s (3). ( t) w y ( t) (15) Změna stavu neuronu ale nezávsí en na hodnotě tohoto potencálu a tedy v případě bnárních neuronů eho porovnání s nulou, změna stavu e určena stochastcky a neuron e aktvní/1, respektve pasvní/0 s pravděpodobnostm (16) respektve (17) P{ y ( t 1) 1} ( ( t)) P{ y ( t 1) 0} 1 P{ y ( t 1) 1} ( ( t)). Předpokládeme síť dle obrázku (8). V závslost na teplotě T se mění pravděpodobnost přechodů sítě mez stavy. Zaměřme se na příklad na pravděpodobnost přechodo ze stavu 011 do dalších stavů, tabulka (3).

12 Obr. 8 Příklad sítě pro lustrac stochastckého chování. T /3 1/ ,25 0,58 0,23 0,02 0,17 1 0,54 0,18 0,11 0,17 Tab. 3 Pravděpodobnost přechodů sítě z obr. 7 ze stavu 011 v závslost na teplotě T. Pro T = 0 dostáváme Hopfeldovu síť s determnstckým chováním. S rostoucí teplotou T roste pravděpodobnost výskytu sítě ve stavech, který by nebyl v Hopfeldově sít vůbec dosažtelný. Proces aktvní dynamky sítě, kdy e pracováno s hodnotou teploty T se nazývá smulované žíhání. Aktvta sítě probíhá tak, že neprve nastavíme vysokou teplotu T. Př vysoké teplotě se ednotlvé neurony a tedy síť chová velm nedetermnstcky a přechází spíše náhodně mez ednotlvým stavy. Po něaké době aktvty sítě dode k ustálení stavu sítě. Poté o něco snížíme teplotu T a proces se opakue. Takto postupueme až do hodnoty T = 0 včetně. Stochastcké chování neuronů umožňue s vyšší pravděpodobností překonat lokální mnma energetcké funkce, která mohou představovat falešné traktory. Pro Hopfeldovu síť bylo na rozdíl od Boltzmannova stroe uváznutí v lokálním mnmu konečné. Uvedený postup zašťue, že s vyšší pravděpodobností dosáhneme globálního mnma energetcké funkce a tedy skončíme v požadovaném atraktoru. Chování Boltzmannova stroe e tedy v tomto ohledu výhodněší, než chování Hopfeldovy sítě. 1.6 Obousměrná asocatvní paměť (bdrectonal assocatve memory, BAM ) Obousměrnou asocatvní paměť představl v roce 1987 Bart Kosko. BAM e reprezentantem heteroasocatvních sítí, tedy sítí, kdy s síť po předložení vstupního vektoru vybavue vektor ný, s předkládaným vektorem asocovaný. Výsledný vektor zpravdla obsahue údae, které předkládaný vzor blíže popsuí č k němu přpouí něaké souvseící nformace Organzační dynamka Jedná se o síť, která se skládá ze dvou vrstev vzáemně úplně propoených neuronů. Každá z vrstev e současně vstupní výstupní vrstvou. Vstupní vektor x asocue po předložení sít na první vrstvu výstupní vektor y a naopak po předložení vektoru y na vstupy druhé vrstvy e asocován vektor x.

13 Obr. 9 Topologe BAM dle [5] Adaptační dynamka Předpokládeme bpolární realzac neuronů, tedy neuronů s výstupy (-1,1). Nastavení vah sítě e realzováno na základě trénovací množny, která e představována dvocem souvseících párů vektorů x a y. Maxmální počet párů asocací, které s e schopna síť zapamatovat e mn(m,n). M = {[x 1,y 1 ], [x 2,y 2 ]. [x pmax,y pmax ]} (18) Váhy lze nastavt dle vztahu w (19) p max p1 w p max p p x y p1, který lze upravt na matcový záps W p max p1 ( X p ) T Y p (20) Celá konfgurace sítě e tedy reprezentována matcí vah W. Předpokládeme, že máme trénovací množnu M složenou ze dvou párů. M = {[x 1 = ( 1;-1; 1; -1; 1; -1), y 1 = ( 1; 1; -1; -1)], [x 2 = ( 1; 1; 1; -1; -1; -1), y 2 = ( 1; -1; 1; -1)] } Matc vah W spočteme dle vztahu (20) a dostaneme výslednou matc vah.

14 1.6.3 Aktvní dynamka Aktvní dynamka sítě probíhá v ednotlvých dskrétních krocích. Síť fungue symetrcky, tedy po předložení vektoru na vstupní vrstvu vypočtou neurony této vrstvy svo odezvu (synchronně, v ednom kroku) a tento sgnál násobený vaham se rozšíří do neuronů protlehlé vrstvy, které opět synchronně vypočtou své výstupy a vytvoří tak výstupní vektor. V dalším kroku se role vrstev otočí a vypočtený výstupní vektor e strukturou sítě opět šířen zpět na protlehlou, původně vstupní vrstvu. Toto vzáemné předávání sgnálů probíhá až do ustálení stavu sítě, kdy už se výstupy an na edné vrstvě sítě nemění. Po dosažení toho ustáleného stavu se na vstupní vrstvě nachází vektor z trénovací množny, který nevíce odpovídal předloženému vstupnímu vektoru a na výstupní vrstvě se pak nachází vektor, který byl v trénovací množně s tímto vzorem spoen. Pro bpolární BAM lze eí odezvu v ustáleném tvaru vyádřt snadno dle vztahů Y sgn(xw ) (21) X sgn( YW (22) T ) Například po předložení vstupu x 1 =( 1;-1; 1; -1; 1; -1) dostaneme př použtí matce vah W z předchozího odstavce Y = sgn(xw) = sgn(8, 4, -4, -8) => (+,+,-,-) => (1,1,-1,-1). 1.7 Seznam použté lteratury [1] Šíma, J., Neruda, R.: Teoretcké otázky neuronových sítí, MATFYZPRESS, 1996, ISBN [2] Jan, J.: Číslcová fltrace, analýza a restaurace sgnálů. VUT v Brně, VUTIUM, ISBN [3] Volná, E.: Neuronové sítě 1. Skrpta Ostravská unversta v Ostravě, Ostrava, [4] Kosko B.: Bdrectonal Assocatve Memores, IEEE Trans. on Systems, Man, and Cybernetcs, [5] [6] V. Kvasnčka, L. Beňušková, J. Pospíchal, I. Farkaš, P. Tňo, and A. Kráľ. Úvod do teóre neurónových setí, IRIS, Bratslava, 1997, ISBN [7] [8]