OBSAH 1 } w!"#$%&'()+,-./012345<y A Obsah Neuronov s t zpracoval Martin Kuba 7. dubna 1995 1 vod 3 1.1 Historie * : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3 1.2 Kr tk exkurze do biologie * : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3 1.2.1 Funkce biologick ho neuronu : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4 2 McCulloch v a Pitts v neuron 5 3 Perceptrony 5 3.1 Prahov perceptrony : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7 3.1.1 Line rn separabilita : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7 3.1.2 U en (adaptace) : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 3.1.3 V cevrstv s t perceptron : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 3.2 Line rn perceptrony * : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9 3.3 Neline rn perceptrony : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9 3.3.1 Adaptace s u itelem : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 10 3.3.2 Gradient descent learning : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 10 3.3.3 Back-Propagation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11 3.4 Aplikace v cevrstv ch s t : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15 3.4.1 Benz nov pumpy p klad generalizace : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15 3.4.2 Srde n arytmie p klad klasikace : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15 3.4.3 P edpov d n budoucnosti predikce : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 16 3.4.4 Komprese dat : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 16 3.4.5 NETtalk : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 16 3.4.6 Rozpozn v n obekt na sonaru * : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17 3.4.7 zen auta * : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17 3.5 Vhodn velikost s t : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17 4 Hopeld v model 17 4.1 Pomy neline rn ch dynamick ch syst m : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17 4.2 Asociativn pam : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 18 4.2.1 F ze u en : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 18 4.2.2 F ze vybavov n : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19 4.2.3 Princip vybavov n : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19 4.2.4 Kapacita asociativn pam ti * : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21

OBSAH 2 4.2.5 Shrnut : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 22 4.3 Optimizace pomoc s t Hopeldova typu : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 22 5 U en samoorganizac 23 5.1 Later ln inhibice : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23 6 Kohonenovy mapy 23 6.1 Funkce Kohonenovy s t : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24 6.2 U en kohonenovy s t : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24 6.3 Counter propagation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 25 7 Adaptive Resonance Theory 26 8 Genetick algoritmy 27

1 VOD 3 1 vod Tento text vznikl na podklad p edn ky doc. Ho e e "Neuronov s t ". Je dopln n poznatky, kter sem z skal b hem vypracov v n sv diplomov pr ce. seky, kter doc. Ho e nevykl dal, tak e e nebude po adovat u zkou ky a tud sou en dopl u c, sem ozna il hv zdi kou. 1.1 Historie * Tuhle st sem za adil na za tek, proto e e to zvykem, ale doporu ui i st a pln nakonec, proto e a po zvl dnut teorie v s budou za mat drby o tom, ak vznikla. Z klady teorie polo ili p nov McCuloch a Pitts v roce 1943, kdy p edstavili prvn model neuronu, kter e po nich nazv n. N sledu c ch patn ct let se piln pracovalo na s t ch s prahov mi neurony,kdybylo dok z no, e sou schopn prov d t libovoln algoritmus. V roce 1949 pan Hebb vyslovil na z klad pozorov n biologick ch neuron sv pravidlo (v anglick literatu e Hebb learning rule), e synaptick spoen mezi dv ma ve stenou chv li aktivovan mi neurony se posilue. Kolem roku 1960 vypracovala skupina pana Franka Rosenblatta nov model neuronu nazvan perceptron. Pro ednovrstevnou s perceptron dokonce dok zali stanovit u c algoritmus a dok zat eho konvergenci. Bohu el pro teorii neuronov ch s t v roce 1969 p nov Minsky a Papert dok zali, e ednovrstevn s perceptron nedok e e it OR probl m. A proto e pan Minsky se s panem Rosenblattem n ak nepohodl a pan Misky byl ve v d tou dobou velk zv e, doporu il, aby sezastavilo nancov n v zkumu pana Rosenblatta a bylo v nov no na in "perspektivn " v zkumy. Na e bylo asi dvacet let ticho po p in a v zkumu neuronov ch s t se v novalo en p r nad enc. Rosenblatt sice v d l, e v cevrstv s t sou schopny ak chkoliv v po t v etn OR probl mu, ale nena el pro n u c algoritmus. (Mimochodem, v te, pro se neud lue Nobelova cena za matematiku? Proto e panu Nobelovi utekla ena s edn m matematikem. Cesty v voe v dy b va slo it... ) Prudk v vo v oblasti neuronov ch s t po roce 1985 nav zal v podstat tam, kde byl p ed 20 letyutnut. Algoritmus u en v cevrstv ch s t, nezbytn pro dal v vo a zn m ako back-propagation (zp tn en chyby), poprv obevil pan Werbos v roce 1974 a znovu byl nez visle obeven v roce 1985 p ny Rumelhartem, Hintonem a Williamsem a tak panem Parkerem. A koliv back-propagation nen e t ide ln m obecn m algoritmem pro u en neuronov ch s t, mimo in proto e zcela ist nen t m algoritmem, kter k u en pou va biologick s t neuron, dok e e it mnoho probl m (nap.or), kter ednovrstevn perceptrony nedok ou e it. V t ina sou asn ho v zkumu e zam ena na back-propagation a eho roz en. 1.2 Kr tk exkurze do biologie * B hem sv ho v voe mnohobun n ivo ichov za ali pot ebovat d c informa n syst m. Vyvinuli dva: pomal v esm rov chemick, kdy do krve souuvol ov ny molekuly hormon, kter sou rozn eny do cel ho t la a n kter bu ky pak na n reagu sv m zp sobem. Nap klad na adrenalin reagu bu ky c v smr t n m a t m zvy u krevn tlak a bu ky srdce reagu tak, e srdce za ne rychlei b t. Druh informa n syst m e rychl p esn sm rovan nervov. Prvotn reexn oblouk vznikl u ahavc (med zy) podle tohoto schematu: po podr d n receptorov bu ky, reagu c nap klad na dotyk (tlak), tato bu ka vy le dlouh m vl knem vzruch dosvalov bu ky a ta se smr t, tak e ivo ich uhne, pop pad ch apne ko ist. Tato nervov soustava sest vala z osamocen ch nervov ch bun k a naz v se rozpt len. Pozd i bylo t eba reagovat slo it i, tak e vznikla eb kov nervov soustava, kterou m nap klad ala. Dal m pokrokem bylo vytvo en nervov ch uzlin, kter m t eba plo t nka. N sledovala nervov trubice douc p es cel t lo, kter se dal m v voem diferencovala na mozek a m chu. Biologick neuron (viz obr zek 1.2) m t lo (soma) velik n kolik mikrometr, kter obsahue organely nutn pro ivot bu ky. Z n vyb ha tis ce kr tk ch v b k dendrit kter tvo vstup neuronu. Z t la vyb h edno vl kno (axon), obalen b l m tukov m ochrann m obalem (myelinem). Toto vl kno m e b t mnoho metr dlouh, u irafy vede z hlavy a do konce zadn ch nohou. Nervy sou tvo enysvazky t chto vl ken a e v sil ch dne n chirurgie e navazovat, nap klad p i zp tn m p i v n amputovan ruky. Konec axonu sev tv do mnoha v b k, kter kon synapsemi. Synapse p il ha na dendrity dal ch neuron. Mozek lov ka etvo en asi 10 11 neurony, axon ka d ho neuronu p il h synapsemi na dendrity n kolika des tek tis c dal ch neuron. ed hmota mozkov e tvo ena ed mi t ly neuron, b l hmota mozkov e tvo ena axony on ch neuron. Celkov hmotnost lidsk ho mozku e 1350g u mu a 1200g u en, hustota neuron e8:10 4 na 1mm 3, v k e mozkov (cortexu) e e t dov vy.

1 VOD 4 axon synapse dendrity soma Obr zek 1: Biologick neuron Mozek e vzhledem ke sv v ze nev t m spot ebitelem kysl ku a koliv eho hmota p edstavue 2% z celkov hmoty lov ka, spot ebue a 23% z celkov ho obemu vdechovan ho kysl ku, co odpov d p konu asi 20W. Zem el neurony se neobnovu, u lov ka ich denn zahyne asi 10 000, co za 75 let ivota in asi 0.2 a 0.5% celkov ho po tu. 1.2.1 Funkce biologick ho neuronu Vl kno (axon) v klidov m stavu m rozd l elektrick ho potenci lu mezi sv m vnit kem a vn kem asi 70mV, kter e zp soben p e erp v n m kladn ch iont Na + ven a z porn ch iont K ; dovnit. Po povrchu axonu e rozprost ena vodiv membr na, kter e schopna se p i zv en elektrick ho potenci lu uvnit t la neuronu nadprahovou rove prudce depolarizovat, m se vytvo elektick impuls c se po axonu ako potenci lov vlna rychlost od n kolika a do 120 metr za sekundu. Mechanismus en vlny nen e t zcela obasn n. Pozoruhodn e, e p i n m nedoch z ke sni ov n amplitudy impulsu. Impuls b c po axonu doraz k synapsi, ze kter se v m st dotyku s dendritem n sledn ho neuronu uvoln molekuly chemick l tky (tzv. medi tory nebo transmitery), kter zp sob lok ln zm nu polarizace transmisn membr ny pokr va c t lo a dendrity. T m vyvola tzv. dendriticko-somatickou potenci lovou vlnu, kter se rozv tven m syst mem dendrit sm rem k somatu neuronu. V s ti dendrit se cel skupina potenci lov ch vln p i l ch od r zn ch synaps (a od r zn ch neuron ). Synapse samy mohou m t bu excita n (vzru iv ) nebo inhibi n (tlumiv ) charakter podle medi tor v nich p sob c ch, kter ma depolariza n nebo hyperpolariza n inek. Potenci lov vlny se navz em s ta a od ta, a doraz k axonov mu hrbolku. Pokud souhrn p i l ch podn t p ekro ur itou prahovou rove, dode k prudk depolarizaci t la a po axonu se za ne it potenci lov vlna (vzruch). Po vysl n impulsu se membr nov potenci l neuronu vr t na istou zbytkovou rove. Po kr tk as (refraktern perioda) nen neuron citliv na podn ty. Po t to dob se membr nov potenci l za ne op t p ibli ovat prahov hodnot. Po e m op tovn m p ekro en se cel d opakue. Neuron za ne generovat cel sled impuls, kter mohou m t kmito et a do 1000 impuls za sekundu, a to podle toho, o kolik p eva ue hrn p soben stimulu c ho sign lu nad prahovou rovn. Obvykl frekvence e n kolik ednotek a des tek impuls za sekundu. Kmito et t chto impuls e m rn integr lu p es tu st potenci lov vlny, kter p esahue prahovou rove. Aby tonebylo tak ednoduch, hodnota prahu nen v ase konstantn. U neuronov ch s t iv ch organism ma sign ly v nich p sob c charakter sledu impuls. Informace m e b t na sign lech tohoto druhu p en ena celou adou veli in, od zm ny tvaru, velikosti i polohy ednotliv ch impuls a po zm nu rychlosti, se kterou sou vys l ny. Lze soudit, e velk st informace e p en ena frekven n modulac posloupnosti impuls. P i del m zaznamen v n pr b hu impuls zist me, e amplituda i tvar impuls se m n en nepatrn, av ak v razn se m n eich frekvence. Ale informace m e b t nesena i zm nou rychlosti en vzruchu, kter se m n v rozp t 0.5 a 2 m/s.

2 MCCULLOCH V A PITTS V NEURON 5 Kdy to shrneme, tak funkce re ln ho biologick ho neuronu evelice slo it a dosud ne pln prozkouman. P ou se o n tlust knihy anem eme se tud divit, e form ln ch matematick ch model neuronu e v ce a dn nen dokonal. 2 McCulloch v a Pitts v neuron Prvn form ln model neuronu uvedli v roce 1943 McCulloch a Pitts. Byl to bin rn prahov neuron (binary treshold neuron). 1/0 w 1 w 2 w 4 w 5 w 6 w 3 1/0 1/0 1/0 1/0 1/0 1/0 inhibi n excita n 2 AND 1 OR 0 NOT Obr zek 2: McCulloch v a Pitts v neuron Do neuronu p ich z bin rn vzruchy ( 0 nep ich z vzruch,1p ich z vzruch), ka d synapse e bu excita n nebo inhibi n, tedy v p pad, e p ich z vzruch (1), excita n spo p isp v +1, inhibi n -1. P soben vzruch se s t. Pokud sou et v ech vzruch p es hne prahovou hodnotu, neuron d na v stup 1, inak 0. Form ln zaps no n i (t +1)=sgn( sgn(x) = w i n (t) ; i ) 1 x 0 0 x<0 kde n i (t+1) e stav i-t ho neuronu v ase t+1, w i e synaptick v ha vstupu z -t ho do i-t ho neuronu (excita n +1, inhibi n ;1), i e prahov hodnota pro i-t neuron, sgn e funkce, kter se v nule skokem m n z nuly na edni ku. McCulloch a Pitts dok zali, e synchronn pole takov chto neuron e v principu schopno libovoln ho v po tu a tud m e prov d t sten v po ty ako digit ln po ta. Tento model neuronu m n kolik vad na kr se: Skute n neurony ma odpov nikoliv skokovou, ale spoitou, i kdy siln neline rn (graded responce). Mnoho bun k prov d neline rn sou et vstup. Re ln neuron produkue sled puls, ne en ednu rove v stupu. I kdy reprezentueme sled puls re ln m slem, ignorueme dost informace, kter mohla b t sledem p en ena. N kte experti tvrd, e f ze puls nehrae podstatnou roli, ale in experti s nimi nesouhlas. Skute n neurony nesou ni m synchronizov ny. 3 Perceptrony Model perceptronu vymyslel v 60. letech pan Rosenblatt. Ned ve e t eba si uasnit, co to znamen perceptron. Je v tom trochu nepo dek, musel sem tuhle kapitolu n kolikr t p ed l vat, ne sem i p ivedl do v sledn ho stavu. Tak tedy: Perceptron e v cevrstv neuronov s s dop edn mi vazbami (multilayered feed-forward network). Jsou v dy propoeny v echny neurony edn vrstvy se v emi neurony n sledu c vrstvy, neexistu v ak dn spoe mezi vzd len mi vrstvami nebo mezi neurony v r mci edn vrstvy. Do ednotliv ho neuronu p ch z impulzy ako re ln sla,

3 PERCEPTRONY 6 ka d e vyn soben emu p slu nou synaptickou vahou, co e op t re ln slo, ud v c "v znam" spoe. Impulzy vyn soben synaptick mi vahami sou se teny, e ode ten pr h neuronu a na v sledek e aplikov na aktiva n funkce (gain function). Form ln z pis: N i := g( w i N ; i ) kde N i e stav i-t ho neuronu, w i e synaptick v ha spoe z -t ho do i-t ho neuronu, i e pr h neuronu i. v stupn neurony O n O = g(h) h n h = P w V skryt vrstva V = g(h) h = P m k=1 w kx k V 1 V 2 V h 1 h 2 h neline rn transformace sumace impuls vstupn neurony x 1 x 2 x 3 x m Obr zek 3: Obecn sch ma perceptronu Z form ln chd vod se pr h i nahrad ktivn m vstupem slo nula, kter m v dy hodnotu ;1 aemu p slu nou synaptickou vahou w 0, kter m stenou velikost ako i. Z pis sumy se tak zednodu a m eme i pak zapsat ako skal rn sou in ~w:~x vektoru vah synaps ~w avektoru vstupn ch impuls ~x. Pak m eme ps t N i := g( ~w:~x) x 1-1 x 1 w 1 w 2 x 2 w 0 w 1 w 2 x 2 <0,1> w 3 w 4 w 5 w 6 x 3 x 4 x 5 <0,1> w 3 w 4 w 5 w 6 x 3 x 4 x 5 x 6 x 6 Obr zek 4: Perceptron Perceptron s prahem form ln ako nult m vstupem Aktiva n funkce m e b t skokov, spoit line rn nebo spoit neline rn. Neurony pak rozli ueme na prahov (treshold units), line rn (linear units) a neline rn (non-linear units). O ka d m druhu zvl poedn va n sledu c t i podkapitoly. Pokud e s en ednovrstevn, mluv me speci ln o ednoduch ch perceptronech (simple perceptrons). U line rn ch ednotek ani nem smysl vytv et v ce vrstev, proto e vrstva line rn ch neuron prov d vlastn line rn zobrazen a skl d n m v ce line rn ch zobrazen dostaneme zase en line rn zobrazen, tedy v ce line rn ch vrtev m e d lat en to, co zvl dne i edna vrstva. A nakonec, pro zmaten, budeme ednotliv neurony v perceptronech naz vat taky perceptrony.

3 PERCEPTRONY 7 1 1 1 0 0 0 Obr zek 5: Aktiva n funkce: skokov, line rn a sigmoida 3.1 Prahov perceptrony U prahov ch perceptron e aktiva n funkce skokov : g(x) = 1 x 0 0 x<0 Neuron tedy d v na v stup en bu 1, pokud sou et p es hl prahovou hodnotu, nebo 0, pokud nep es hl. 3.1.1 Line rn separabilita Jeden edin prahov perceptron m e e it en probl my, kter sou line rn separabiln. est b patn separace nov separace hospodyn Obr zek 6: Line rn separabilita Na obr zku e n +1-rozm rn prostor mo n ch podn t p i l ch do neuronu, kde n e po et rozm r podn tu a eden rozm r e p id n zaveden m prahov hodnoty ako v hy. Mohli bychom tent obr zek nakreslit tak v n rozm rn m prostoru. Pak by separu c nadrovina nemusela proch zet po tkem sou adn ch osa e posun by byl m rn velikosti prahu. Podn ty, kter sou d le it, sou ozna eny kole ky. Pln kole ka sou ty podn ty, nakter neuron mus zareagovat, pr zdn naopak ty, na kter nem reagovat. V pod n pana Ho e e e tohle neuron zp sobu c t k ku ete do bezpe. Pln kole ka sou vemy signalizu c est ba, kter chce ku tko se rat, pr zdn kole ka sou vemy signalizu c hospodyni, kter ku e krm a proto se p ed n nem ut kat. Neuron se sv mi synaptick mi vahami (a prahovou hodnotou) ur ue nadrovinu (vyzna enou p eru ovanou arou), kter odd lue (separue) poloprostory podn t, na kter se reague a na kter ne. Pokud nadrovina odd lue bezchybn podn ty est ba od podn t hospodyn, ku e reague spr vn. Sta vz t vektor ~x vem a vyn sobit ho s vektorem vah ~w. Pokud ~w:~x >0, neuron zareague. (Pro? Proto e line rn algebra a geometrie skal rn m sou inem z sk v m

3 PERCEPTRONY 8 vzd lenost bodu ~x od roviny ~w. Pokud e v sledek kladn, le bod v ednom poloprostoru, pokud nulov, le p mo v nadrovin, a pokud e z porn, le v druh m poloprostoru.) Co se v ak stane, kdy takov d l c nadrovina neexistue? Pak nelze spr vn podn ty odli it a ku e bude se r no. Jinak e eno, takov loha e ne e iteln edn m perceptronem. P kladem line rn separabiln lohy efunkce AND, p kladem funkce, kter nen line rn separabiln, e OR funkce, pr v ta, kterou ako d kaz neschopnosti perceptron p edlo ili Minsky a Papert. Funkce OR e zvl tn m p padem paritn funkce, kter d v edna, pokud po et edni kov ch bit e lich, inak nulu. Je to eden z net ch probl m pro neuronov s t, proto e v stup mus m nit svou hodnotu po ka d zm n vstupu. 1 1 0 0 0 AND 1 0 1 OR Obr zek 7: AND e line rn separabiln, OR nen. 3.1.2 U en (adaptace) U en ednoho perceptronu spo v v nalezen takov ch vah, e d l c nadrovina spr vn rozd l podn ty. Postupn pro v echny podn ty, na kter m neuron reagovat, se pod v me, estli neuron d v spr vn v stup. Pokud na n ak podn t ~x neuron nereague a m l by, pak vektor vah ~w old zm n me p i ten m vektoru podn tu ~x, m dostaneme nov vektor vah ~w new, ~w new = ~w old + ~x se kter m u neuron na onen podn t reague. Pro te reague? Proto e ~w new :~x =(~w old + ~x):~x = ~w old :~x + ~x:~x 0 Pokud to takhle ud l me pro v echny podn ty, na kter se m reagovat, nakonec dostaneme takov vektor vah, e nadrovina spr vn odd l v echny tyto podn ty do ednoho poloprostoru. 3.1.3 V cevrstv s t perceptron U v me, e samotn perceptron nem e e it probl my, kter nesou line rn separabiln. Nem e e tedy e it ani ednovrstevn s perceptron. Ale na t st e m e vy e it v cevrstv s. Intuitivn d kaz e nazna en na obr zku 8. Jeden perceptron mi rozd l prostor na dva poloprostory nadrovinou. Zareague pak en na podn ty nach ze c se en v ednom poloprostoru. Jsou ozna eny pln mi kole ky. Dvouvrstevn s m e vymezit lib. konvexn tvar. Ka d neuron prvn vrstvy vymez eden poloprostor, neuron druh vrstvy pak vyhodnocue pr nik t chto poloprostor. Z kladn prostor podn t m b t diskr tn, aby k vymezen libovoln konvexn mno iny sta il kone n po et poloprostor. Na t st re ln sv t nepot ebue matematicky p esn vymezen, sta aproximace kone n m po tem poloprostor. T vrstevn s rozezn lib. po et konvexn ch tvar. Neurony prvn vrstvy op t vymezu poloprostory, neurony druh vrstvy rozli u pr niky t chto poloprostor, m vymezu konvexn mno iny, a neuron t et vrstvy prov d sednocen t chto konvexn ch mno in.

3 PERCEPTRONY 9-3 1 1 1-1 -3-3 -4 Obr zek 8: Schopnosti edno-, dvou- a t vstevn s t. 3.2 Line rn perceptrony * Line rn perceptrony pou va line rn aktiva n funkci g(x) =x Line rn s nen nutn u it, p slu n synaptick v hy se da p mo vypo tat. Nicm n vrstva line rn ch perceptron prov d en line rn zobrazen, co nen nic nov ho a nezn m ho, proto tento typ s t nem velk praktick pou it. Pro v po et vah e nutn, aby vzory byly navz em line rn nez visl, co nastane en tehdy, pokud e vzor m ne neuron vs ti. 3.3 Neline rn perceptrony Nyn se dost v me k nepou van mutypu s t. Neline rn perceptrony pou va ako aktiva n funkci tzv. satura n funkci, kter sou et impulz transformue do intervalu < 0 1 > atotak, evbl zkosti nuly funkce stoup velmi prudce, zat mco u vysok ch hodnot stoup en nepatrn, tak e p padn rozd l se tak moc neproev. Tato vlastnost byla p evzata od biologick ch neuron. Nap klad pro hladov ho studenta znamen eden rohl k mnohem v c, ne pro p eeden ho. Jako satura n funkce se ne ast i pou v sigmoida: 1 g(x) = 1+e ;x D se dok zat, e t vstevn s t chto neuron m e aproximovat libovoln re ln zobrazen mezi prostorem vstup a prostorem v stup. Jinak e eno, ke ka d funkci f : R n! R m existue 3-vstevn s, kter i realizue. D kaz sto na Kolmorogov teor mu, kter k :

3 PERCEPTRONY 10 Kolmogorov v teor m * m e b t zaps na ve tvaru Existu spoit rostouc funkce i na h0 1i tak, e ka d spoit funkce f na < 0 1 > n f (x 1 ::: x n )= kde i sou vhodn zvolen spoit funkce edn prom nn. 3.3.1 Adaptace s u itelem 2n+1 i=1 i ( n =1 i (x )) V me tedy, e v cevrstv s t mohou prov st libovoln zobrazen (v po et). Ke ka d mu probl mu m me zai t nu existenci e c s t, ale ak i z sk me? P m v po et synaptick ch vah neuron e nevhodn a ve v t in p pad neuskute niteln. Nastupue u en s t za pou it sady p klad. M me v cevrstvou s s m vstupn mi a n v stupn mi neurony. Tr novac mno inou nazveme mno inu dvoic vektor T = f[~x 1 ~y 1 ] ::: [~x P ~y P ]g kde ~x =(x 1 x 2 ::: x m ) e v dy vektor vstupn ch hodnota~y =(y 1 y 2 ::: y n ) e vektor po adovan ch v stupn ch hodnot. Tr novac mno ina obsahue P p klad, kter se s mus nau it. Takov muto u en se k u en s u itelem, proto e mus existovat n ak vy autorita, kter s ti p edkl d p klady dvoic vstup a v stup a pokud s odpov d patn, informue i o chyb a modikue i. Existue i u en bez u itele, kdy s nedost v dvoice vstup-v stup, ale en mno inu vstup a sama si e rozd lue do skupin podle podobnosti. Celkov chyba s t se po t ako E = 1 2 P n p=1 i=1 (O p i ; yp i )2 kde O p i e skute n v stup i-t ho neuronuve v stupn vrstv p i p edlo en vstupu p-t ho p kladu na neuronyvstupn vrstvy. Pro p ehlednost se m ete pod vat zp tky na obr zek 3. Pak (O p i ; yp i )2 e rozd l o ek van ho a po adovan ho vstupu, suma pro i s t p es v ech n v stupn ch neuron a suma pro p s t p es v ech P p klad. (*) Funkce E se v anglick literatu e naz v "cost function" a e ur ena pro m en chyby s t sasymetrick mi spoi. Je to n co in ho ne tzv. "energy function" zaveden v Hopeldov modelu, kter e ur ena pro m en stavu s t se symetrick mi spoi. 3.3.2 Gradient descent learning U en s t vych z z n sledu c my lenky.pokud s ti p edlo me pevn vektor ~x na vstup, chyba s t E e funkc v ech synaptick ch vah neuron. A proto e aktiva n funkce neuron (sigmoidy) sou derivovateln, e i E derivovateln podle ednotliv ch vah. Zn zorn me si to na grafu: E @E @w i E w i ~w Obr zek 9: Error landscape

3 PERCEPTRONY 11 Vodorovn osa p edstavue mnoharozm rn prostor vah neuron s t, svisl osa e hodnota chyby E pro dan v hy. Vstupn vektor ~x e pevn, te u me s eden konkr tn p klad. Graf E e mnoharozm rn a co e d le it, derivovateln plocha, tzv. Error landscape, kraina chyb. Pro n ak konkr tn nastaven vah sme n kde v t to krain. Na m kolem e se t co nen, minimalizovat chybu. Ide ln by bylo se t a na " rove mo e", na nulovou hodnotu chyby, ale to se poda en m lokdy. Budeme se chovat ako turista v hor ch, nebo akovoda, kter chce st ct do n in. Vyd me se po sp dnici dol. Sp dnici nademe zderivov n m krainy(chyby) v m st, kde sto me. Ud l me krok sm rem po sp dnici, dostaneme se tak na nov m sto a postup opakueme. Pokud bude krok p li dlouh, nap klad del ne svah kopce, na kter m sto me, m eme se dotat a na vedle kopec a dokonce v, ne sme byli. V takov m p pad se vr t me a ud l me krat krok. Tak se postupn dostaneme na neni m sto, ze kter ho v echny cesty povedou nahoru. Pokud to bude glob ln minimum chyby, sme doma, pokudtoelok ln minimum m stn bezodtokov dol, m me sm luamus me se dostat n kam pry. Zvol me sm r asko me mnoho mil a budeme doufat, e z nov ho m sta se k mo i dostaneme. Zkr tka a dob e, sme v pozici turisty v mlze, ale s v kom rem. Form ln zaps n vypad p edpis pro zm nu vah takto: w i = ; @E @w i + [w i ; w old i ] tedy zm na konkr tn v hy e d na parci ln derivac chyby E podle t to v hy, vyn sobenou d lkou kroku. Druh len s parametrem e ve v razu ako "setrva nost" pohybu, aby se eliminovalo mal houp n ter nu. Kdy du z dlouh ho prudk ho svahu, taky si nev m m mal ch kam nk, eich strana obr cen ke mn m opa n sklon ne svah. 3.3.3 Back-Propagation Te teoreticky v me, ak s u it pomoc metody "svahov ho sestupu" nebo "sestupu svahem", ak se d "gradient descent" p elo it. Prakticky e ale velice d le it, ak m zp sobem budeme synaptick v hy m nit. Byl to vyn lez metody zp tn ho en chyby, kter zp sobil obrovsk n r st z mu o neuronov s t po roce 1985. v stupn neurony O 1 O 2 O i W 11 W 23 W i skryt vrstva V 1 V 2 V 3 V w 11 w35 w k vstupn neurony x k x 1 x 2 x 3 x 4 x 5 Obr zek 10: Dvouvrstevn s ukazu c ozna en neuron avah Algoritmus back-propagation si p edvedeme na dvouvrstevn s ti, nakreslen na obr zku 10. M me i nau it tr novac mno inu P p klad T = f[~x 1 ~y 1 ] ::: [~x P ~y P ]g, kde ~x =(x 1 x 2 ::: x m ) a ~y =(y 1 y 2 ::: y n ). V stupn neurony sou ozna eny O i, skryt neurony V a vstupn neurony ozna me rovnou hodnotami vstup x k. Spoe w k vedou ze vstupn vrstvy do skryt vrstvy, spoew i ze skryt do v stupn. Index i v dy ozna ue v stupn neuron, skryt a k vstupn. P smeno p e pou v no pro indexov n p klad. P i zad n vektoru ~x p na vstup s t skryt neuron obdr vstup h p = w k x p k k

3 PERCEPTRONY 12 a po transformaci aktiva n funkc (sigmoidou) d v v stup.pak ov em v stupn neuron i obdr vstup h p i = W i V p a po transformaci aktiva n funkc (sigmoidou) d v v stup O p i V p = g(hp )=g( w k x p k ) k = W i g( = g(hp i )=g( W i V p )=g( W i g( k w k x p k ) k w k x p k )) Prahy neuron zad me ako zvl tn vstupn neurony nastaven na ;1, ak sme p edvedli i d ve. Celkov chyba s t m en ako se po dosazen m n na E[w] = 1 2 E[w] = 1 2 pi pi [y p i ; Op i ]2 [y p ; i g( W i g( k w k x p k ))]2 To e z em spoit diferencovateln funkce v ech vah, tak e m eme pou t gradient descent algoritmus pro nalezen spr vn ch vah. A dosud byly v echnyrovnice ednoduch a pr hledn, proto e sme en dosazovali za v razy. Ale te se soust e te, te to bude hor. Zm na vah pro v stupn neurony Pro spoe mezi skryt mi a v stupn mi neurony podle gradient descent vych z zm na konkr tn v hy W i na W i = ; @E @W i. Z le na d lce kroku, co e n mi zvolen konstanta, a derivaci chyby E podle t to v hy. Po parci ln m zderivov n chyby E podle v hy W i n m vyde 1 @E @W i = ; p [y p i ; Op i ]g0 (h p i )V p Zavedeme ozna en 1 Pokud mi nev te, tak suma pro i e a na eden len tvo ena konstantami @E a po zderivov n tohoto lenu dostanu = @W rs = 1 2 p p [y p r ; g( E[w] = 1 2 p i = g0 (h p i )[yp i ; Op i ] p 0+:::+0+ W r V p )](0 ; g0 ( i [y p i ; g( W i V p )]2 @[y p r ; g( P W rv p )]2 @W rs +0+:::+0 W r V p p )(0 + :::+ V s + :::+ 0)) z eho dostanu @E @W rs = ; p [y p r ; O p r ]g 0 (h p r )V p s

3 PERCEPTRONY 13 kde p i e chyba i-t ho (tedy v stupn ho) neuronu, z vis c na sklonu sigmoidy v m st hodnoty vstupu do neuronu h p i a na rozd lu skute n a po adovan hodnoty v stupu [y p i ; Op]. i Odtud slo en m dost v me W i = ; @E @W i = p p i V p : (1) Zm na vah pro vnit n neurony hloub i. Spoe w k mezi vstupn mi a vnit n mi neurony sou ve vzorci pro E mnohem w k = ; @E @w k = ; p @E @V p @V p @w k = p i[y p i ; Op i ]g0 (h p i )W ig 0 (h p )xp k = p i p i W ig 0 (h p )xp k Zavedeme ozna en p = g0 (h p ) W i p i i.kde p e chyba -t ho (tedy vnit n ho) neuronu, a z vis na sklonu sigmoidy v m st hodnoty vstupu do neuronu h p anachyb ch neuron, do kter ch pos l sv v stup n soben ch p slu n mi vahami spo. Dost v me tedy w k = p xp: (2) k p Princip back-propagation V imn me si, e p edpisy 1 a 2 sou sten a na denici. V eobecn, p i ak mkoliv po tu vrstev, p edpis pro zm nu vah bude m t tvar w pq = p output V input kde q e neuron, ve kter m spo za n a v p kon, V e v stup neuronu q. V znam z vis na tom, o kterou vrstvu se edn. Chyba v stupn ch neuron se spo t z rozd lu mezi skute n m a po adovan m vstupem a pak se zp tn (back) p ed v (propagation) vnit n m neuron m, p i em se n sob hodnotou v hy spoe. V hy spo se tak pou va dvakr t p i en sign l edn m sm rem a p i en chyby druh m sm rem. Obr zek 11 ukazue tuto my lenku. A koliv sme napsali pravidla pro zm nu vah ako sumy p es v echny p klady, v praxi se ned v p edlo eden p klad, uprav se v echny v hy a pak se teprve p edlo dal p klad. Dokonce e v hodn nep edkl dat p klady ve st le sten m po ad, ale vyb rat e n hodn. N hodn v b r po ad in cestu v hov m prostorem n hodnou a umo ue ir prozkoum n chybov krainy. To, e pot ebn hodnoty derivac chybov funkce mohou b t vypo t ny pomoc zp tn ho en chyby evelmi dobr. M to dva d le it n sledky: Pravidlo pro zm nu synaptick ch vah e lok ln. Pro v po et zm ny konkr tn v hy pot ebueme en hodnotu en chyby na ednom e m konci a hodnotu p en en ho sign lu V na druh m e m konci. T m p dem se d v po et back-propagation paralelizovat. V po etn slo itost e men, ne bychom mohli o ek vat. Pokud m me n spo, v po et chyby E sto n operac. V po et n derivac p mo by pak pot ebovalo n 2 operac, zat mco pomoc back-propagation n m posta n operac pro zm nu hodnoty v ech vah. Bohu el, back-propagation nen t m algoritmem, kter pou v pro u en s t p roda. Jeho v po et e sice lok ln, ale lok lnost e pro biologickou implementaci podm nkou nutnou, nikoliv v ak posta u c. Probl m spo v v obousm rnosti spo, kdy se po nich zp tn chyba. Re ln axony nesou v dn m p pad obousm rn.

3 PERCEPTRONY 14 1 2 3 x 1 x 2 Obr zek 11: Back-propagation ve v cevrstv s ti. Pln ipky ukazu sm r en sign l, zat mco rkovan sm r en chyby. a Jako aktiva n funkce g(h) se pou va funkce 1 g 1 (h) = 1+e ;h g 2 (h) =tanh(h) proto e eich derivace e snadn vy d it pomoc ich sam ch ako g 0 1 (h) =g 1(1 ; g 1 ) a g 0 2 (h) =(1 ; g2 2 ). Proto e asto v literatu e rovnice 1 vid t zaps na ako pro neurony s v stupem 0/1 a pro =1. p i =(yp i ; Op i )Op i (1 ; Op i ) Algoritmus back-propagation Proto e e back-propagation ned le it m a nepou van m algoritmem pro u en s t, zap eme ho zde po ednotliv ch kroc ch. M me s s L vrstvami l =1 ::: L a zna me Vi l v stup i-t ho neuronu vl-t vrstv. Vi 0 znamen x i, tedy i-t vstup. Ozna en wi l znamen spo z V l;1 do Vi l.pak algoritmus zn : 1. inicializu v hy na mal n hodn sla 2. Zade p klad ~x p na vstup s t (vrstva l =0), tak e 3. Nech it sign ly s t 4. Vypo te delty pro v stupn vrstvu V l i V 0 k = xp k = g(hl i )=g( w l iv l;1 ) M i = g 0 (h M i )[y p i ; V M i ] 5. Vypo te delty pro p edch ze c vrstvy zp tn m en m chyby l;1 i = g 0 (h l;1 i ) w l i l

3 PERCEPTRONY 15 6. Zm v hy podle pravidla 7. B na bod 2 a opaku pro dal p klad. w l i = l iv l;1 w new i = w old i +w i Vylep en back-propagation O ednom vylep en sme se i zm nili. Spo v v zaveden momentu setrva nosti ke zm n m vah, kdy zm na v hy z le i na velikosti p edchoz zm ny. w i = ; @E + w old i @w i I druh vylep en spo v v ur ov n d lky kroku. Pokud deme po planin ch, m eme krok prodlu ovat, pokud narz me na lenitou krainu, krok zkr t me. Dal vylep en m e b t takov, e na za tku u en s t budeme pou vat povlovn aktiva n funkci s men m, kekonci u en pak budeme "p itvrzovat", zv me ". 3.4 Aplikace v cevrstv ch s t Vt tokapitole s t rozum me s neline rn ch perceptron u enou pomoc back-propagation. Hlavn d vod, pro neuronov s t pou v me, e eich schopnost generalizace. Spo v v tom, e s p edstavue spoit zobrazen z prostoru vstup do prostoru v stup. Kdy nau me s spr vn odpov dat na ur itou mno inu p klad, ur ili sme vlastn hodnotu tohoto zobrazen v n kolika diskr tn chbodech prostoru vstup. Spoit zobrazen reprezentovan s t e vlastn hyperplocha prolo en t mito body. Proto kdy zad me s ti vstupn hodnotu, kter nebyla mezi p klady, kter um, s d n ak v stup. Za mav e to, e tento v stup e v lidsk m smyslu rozumn. Krom tr novac mno iny setakzav d poem testovac mno iny, co sou dvoice vstup a v stup, kter tak ma smysl, ale s na n nen nau ena. Pokud mezi p klady v tr novac mno in byla n ak z vislost, s i zist. Na testovac mno in se pak zist, nakolik e s t zi t n z vislost tou z vislost, kterou sme cht li zistit. Aplikace tohoto fantastick ho rysu neuronov ch s t e nab ledni. Pokud m me mno inu dat, o kter ch v me, e e mezi nimi n ak z vislost, ale neum me i obevit, zad me tato data s ti a ona n m tu z vislost nade. Uvedme si n kolik p klad pou it n. s t s uveden m funkce, kterou s prov d. 3.4.1 Benz nov pumpy p klad generalizace Jedna z prvn ch aplikac neuronov chs t byla tato. V americk rm provozu c s benz nov ch pump byl zam stn n lov k, kter u dlouh l ta ur oval, ak moc se m kter pumpa p edz sobit, nap klad e p ed sv tky se ma p edz sobit pumpy na v padovk ch z m sta a podobn. Tuto pr ci d lal velice dob e a nikdo in to neum l tak dob e ako on.tento lov k m l ale ode t do d chodu. Nebyl v ak schopen popsat, podle ak ch pravidel rozd lov n benz nu ur ue, proto e to d lal na z klad dlouholet zku enosti intuitivn. Proto nebylo mo n ani setavit klasick expertn syst m, proto e ten pot ebue p esn denovan pravidla. Vyrobili tedy neuronovou s, kter m la ako vstup sten dae, ako m l onen lov k, tzn. datum, po as a nev m co e t. Jako v stup se s u ila d vat sten rozd len distribuce benzinu ako lov k. Zkr tka a dob e, asi p l roku s pozorovala, ak to ten lov k d l, a nau ila se to taky. On mohl t klidn do d chodu a s m sto n pracue bez n roku na mzdu dodnes. 3.4.2 Srde n arytmie p klad klasikace Skupina l ka vzala mnoho z znam EKGauka d ho z nich ur ila, estli lov k, kter mu z znam pat il, trp srde n arytmi nebo ne. Pak tyto z znamy d vali neuronov s tina vstup a u ili i spr vn odpov dat, estli dan z znam vykazue arytmii. A byla nau en na t to tr novac mno in z znam, za ali p edkl dat z znamy, kter p edt m nevid la. A uk zalo se, e s pozn v arytmii velice dob e, dokonce l pe ne 90% norm ln ch l ka. Je to t m, e s rozhodue sten dob e, ako byrozhodovala skupina l ka, kte vyb rali tr novac mno inu, co ednak byli pi kov odborn ci a ednak ich bylo v c, tak e rozhodovali l pe ne ednotlivec. S tak vlastn prov d la klasikaci z znam na dv skupiny, ednu vykazu c arytmii a druhou nevykazu c. Klasikovat pomoc s t m eme i na v ce skupin, ne dv.

3 PERCEPTRONY 16 3.4.3 P edpov d n budoucnosti predikce Predikce dos hneme ednoduch m trikem. M me z znam pr b hu n ak veli iny (t eba teploty), e hodnota n ak z vis na p edchoz ch hodnot ch. Pak ako tr novac mno inu pou v me ak si plovouc okno, pohybu c se po z znamu, a s u me odpov dat na p edn st tohoto okna eho zadn st, viz obr zek 12 posuvn okno vstup v stup Obr zek 12: Princip u en p i predikci Nap klad vezmeme z znamy o teplot vzduchu za posledn ch dv st let, a s ti v dy zad me na vstup teploty v sedmi po sob n sledu c ch dnech a u me i odpov dat na v stupu teplotou n sledu c ho osm ho dne. A e nau en, zad me teploty za posledn ch sedm dn a dozv me se, ak bude z tra. (Nev m, estli zrovna tenhle p klad doopravdy fungue, proto e teplota nez vis en na p edchoz ch teplot ch, ale ako ilustrace se hodil). 3.4.4 Komprese dat Komprese se prov d tak, e s u me na identitu, tedy ako p klady m sten vstup a v stup. Vnit n vrstva neuron mus m t m n neuron ne vstupn a v stupn, proto e pak e s nucena v cerozm rn vstup transformovat do m n rozm rn ho prostoru reprentovan ho vnit n vrstvou. S se pak "rozst ihne" ve st edn vrstv ae p edn st se pou v prokompresi a e zadn st pro dekompresi. Obr zek 13: 4-2-4 enkoder a rozst ihnut s 3.4.5 NETtalk Proekt NETtalku m l za kol vy e it vyslovov n psan ho anglick ho textu. Vstupem bylo plovouc okno sedmi znak pohybu c se po textu. V stupem byl fon m p ed van gener toru e i. S m la 7 9 vstupn ch neuron k du c ch sedm znak z 29 mo n ch, 80 skryt ch neuron a 26 v stupn ch neuron k du c ch fon my.s byla tr nov na na 1024 slovech, po deseti tr novac ch epoch ch produkovala srozumitelnou e a po 50ti epoch ch m la na tr novac mno in 95%n spr vnost. Ned ve se nau ila v razn rysy ako mezery mezi slovy a potom postupn vylep ovala rozli ov n, tak e to zn lo ako d t u c se mluvit. Zistilo se, e n kter vnit n neurony reprezentu v znamn v ci ako t eba rozd l mezi samohl skami a souhl skami. Po nau en byla s zkou ena na dal ch slovech, na kter ch vyk zala 78%n spr vnost a produkovala celkem srozumitelnou e.

4 HOPFIELD V MODEL 17 Je za mav porovnat NETtalk s komer n m DEC-talkem, kter e zalo en na ru n zadan chpravidlech. Zat mco NETtalk se nau il z p klad, DEC-talk e v sledek desetilet pr ce mnoha lingvist. DEC-talk mluv rozhodn l pe, ale sil do n vlo en e tak mnohem v t. Toto byl p klad toho, ak sou pou iteln neuronov s t. Pou it neuronov ch s t edruh m nelep m e en m probl mu. Prvn m nelep m e en m e pou t zn m optim ln algoritmus. 3.4.6 Rozpozn v n obekt na sonaru * Gorman a Senovski v roce 1988 u ili dvouvrstevnou s rozpozn vat odezvy sonaru na dva druhy p edm t le c ch na dn Chesapeakesk ho z livu, na kameny akovov v lce. P ed vstupem do s t byla na datech provedena Fourierova transformace, kterou se z skalo frekven n rozlo en sign l. Tato transformace mohla b t v principu tak provedena neuronovou s t, ale takhle se u et ilo n kolik vrstev a rychlost. S m la 60 vstupn ch neuron adva v stupn, eden pro kameny, druh prov lce. Po et neuron skryt vrstvy se m nil od dn ho do 24. Bez vnit n ch neuron s velice rychle dos hla 80% sp nosti, ale d l se nedok zala zlep it. Se 12ti vnit n mi neurony v dy s dos hla skoro 100%n sp nosti, p i p id v n dal ch u se e v kon nezlep oval. Po natr nov n byla s testov na na nov ch datech, na kter ch dosahovala 85%n sp nosti. Poda ilo se i zlep it a na 90% pe liv m v b rem tr novac mno iny. 3.4.7 zen auta * Pomerlau v roce 1989 vytvo il s pro zen auta. Vstup byly 3032 pixelov obr zky z videokamery na st e e auta a832 obr zky detektoru vzd lenost. Tyto vstupy byly vedeny do vnit n vrstvy s 29 neurony a odtud do v stupn vrstvy s 45 neurony uspo dan mi do ady. Prost edn v stupn neuron znamenal zdu p mo, zat mco m ra zat en byla reprezentov na vzd lenost v stupn ho neuronu od prost edn ho. S byla nau ena na 1200 obr zc ch. Po nau en byla s schopna dit rychlost 5 km/h na cest vedouc lesem vokol Carnegie-Mellonovy univerzity. Rychlost byla omezena mal m po ta em Sun-3, kter byl pou it k propagaci sign l p es s, a mohla by b t zv ena specializovan m hardwarem. Ka dop dn to byla rychlost dvakr t vy, ne ak se poda ilo dos hnout in mi (nes ov mi) algoritmy. 3.5 Vhodn velikost s t Pro e en konkr tn ho probl mu e vhodn en s ur it velikosti. Pokud bychom pou ili s p li malou, nebyla schopna spr vn generalizace, nedok zala by prolo it plochu v emi body p klad. Naopak, pochud bychom pou ili s p li velkou, do lo by tak ke patn generalizaci. Prvn d vod e ten, e data p klad z re ln ho sv ta v dy obsahu ist um, neodpov da p esn t z vislosti, kterou chceme zistit, nap klad v d sledku nep esnosti m en hodnot. P li velk s by se nau ila z p klad i tomuto umu. Druh d vod e ten, e opravdu p li velk s bysenau ilaodpov dat naprosto spr vn en na p edlo en p klady, ale ve zbytku prostoru vstup by m la generaliza n hyperplocha nesmysln tvar. Odpov d to situaci, kdy se student nau nazpam zadan p klady, ale na ot zku, kter nebyla v p kladech, nedok e odpov d t. V ilustra n m obr zku sou p pady s t p li mal, spr vn velk, trochu nadm rn a p li velk. 4 Hopeld v model Hopeld v model e krok sm rem od biologick reality. Pou v toti symetrick spoe mezi neurony, kter v p rod neexistu. Pat sp do teorie neline rn ch dynamick ch syst m. Proto si ned v zavedeme n kolik pom z t to teorie. 4.1 Pomy neline rn ch dynamick ch syst m Neline rn dynamick syst m sest v z mno iny stav P azfunkce f : P! P, kter ur ue p echody mezi stavy. Stacion rn bod e takov stav, ze kter ho se nikam inam nedostaneme (x 2 P : f (x) =x). Atraktor e takov stacion rn bod, e existue n ak eho okol (v n ak metrice na mno in stav ), z eho v ech stav v dy skon me v atraktoru. Atraktor e od slova atraktivn, e to stav, kter ho se sna syst m dos hnout a v n m z stat. Okol atraktoru se anglicky naz v basin of attraction.

4 HOPFIELD V MODEL 18 v stup 1 2 3 4 vstup s t Obr zek 14: P klady chybn ch generalizac. K ky sou p klady, ra 1 e spr vn generalizace, ra 2 odpov d mal s ti, ra 3 trochu v t a ra 4 p li velk. Cyklus e uzav en cesta mezi stavy. Glob ln atraktor e cyklus, kter m n ak okol, z n ho v dycky skon me v cyklu. 4.2 Asociativn pam Hopeld v model neuronov s t byl vytvo en ako asociativn pam. Je tvo ena neurony, kter sou spoeny symetrick mi spoi ka d s ka d m 2. M e b t reprezentov n symetrickou matic vah s nulovou hlavn diagon lou. Neurony ma dvastavy +1 (aktivovan ) a -1 (neaktivovan ) a prov d prahovan v en sou et S i := sgn( w i S ; i ) 1 x 0 sgn(x) = ;1 x<0. Hodnota prahubudenulov. U en spo v vtom, evezmeme n ak vzor (pattern), nap klad ernob l obr zek, provedeme p i azen eho pixel na neurony a nastav me e ern -1, b l +1. U c pravidlo e Hebbovo. Pan Hebb vyslovil na z klad pozorov n biologick ch neuron pravidlo, e synaptick spoen mezi dv ma neurony, kter sou aktivov ny ve stenou chv li, se posilue. 4.2.1 F ze u en Na za tku budou v echny v hy synaptick ch spoen inicializov ny nanulu. P i ad me neuron m hodnoty f+1 ;1g. Zm n me v echny v hy tak, e pokud spoue neurony se stenou hodnotou, zv me hodnotu v hy o edni ku, pokud spou neurony s rozd ln mi hodnotami, hodnotu v hy o edni ku sn me. Form ln zaps no w i = x i :x Tohle pravidlo u e mimo p vodn Hebbovu hypot zu, proto e v ha se m n i kdy oba neurony sou neaktivn (-1,-1), co nem biologick opodstatn n. Pak vezmeme dal vzor, p i ad me hodnoty neuron m, zm n me v hy. A tak d le se v emi vzory. Po nau en hodnota v hy vyad ue rozd l po tu vzor, ve kter ch se spoen neurony shodly sv mi hodnotami, a po tu vzor, 2 U Hopf lda se spo ka d s ka d m grup bez rozli en pohlav mnemotechnick pom cka

4 HOPFIELD V MODEL 19 vektorov pole stacion rn bod atraktor cyklus, glob ln atraktor Obr zek 15: Pomy dynamick ch neline rn ch syst m ve kter ch se neshodly. Pokud sme nap klad m li 11 vzor a neurony slo 3 a 5 se u esti vzor shodli a u p ti vzor neshodli, pak v ha w 35 = w 53 bude m t hodnotu +1. Kdyby se desetkr t neshodli a ednou shodli, bude v ha m t hodnotu -9. 4.2.2 F ze vybavov n Vezmeme n kter vzor, kter sme s nau ili a po kod me ho, nap klad invertueme t etinu bit nebo ich n hodn mno stv nastav me na n hodn hodnoty. Tento po kozen vzor p i ad me na neurony. Pak donekone na opakueme n sledu c postup: N hodn vybereme eden neuron. Hodnoty ostatn ch neuron vyn sob me synaptick mi vahami, se teme a pokud v sledek bude nez porn, p i ad me neuronu hodnotu +1, inak -1. Jeho starou hodnotu zapomeneme a od te pou v me tuto novou hodnotu. Pak vezmeme dal neuron a tak d le. 4.2.3 Princip vybavov n Tento postup vych z z n sledu c vahy. M n n neuron se zept v ech ostatn ch, akou hodnotu by m l m t. Neuron, se kter m e spoen spoem s vahou 15 mu k : "Pod ve, o patn ct v ckr t sme m li stenou hodnotu ne i m li rozd lnou, tak e pravd podobn, e i budeme m t zase stenou. Tak se laskav nastav na stenou hodnotu, ako m m. A tuhle moi radu ber v n i ne rady neuron, kte sou s tebou spoeni slap mi vahami." Jin neuron, se kter m e spoen vahou -4 pov d : "Hele, my smeseshodovali a neshodovali tak p l na p l, ale p ece enom po et neshod byl o ty i vy, tak e asi budeme m t rozd ln hodnoty. Ale tohohle doporu en si moc nev me, v ha -4 nen zas tak moc." N neuron se tak zeptal v ech, podle znam nka v hy ur oval, estli m m t stenou nebo rozd lnou hodnotu ne neuron, kter ho se pt, a proto e byl rozen demokrat, ka d mu dal v tomhle hlasov n tolik hlas, kolik inila absolutn hodnota v hy eho spoe. Pak v sledky se etl a podle v sledku se rozhodl bu pro +1 nebo -1. Tento postup vybavov n se v dy po kone n m po tu krok zastav v n kter m z nau en ch vzor. To, e sme brali neurony eden po druh m a ne nar z m velk v znam, proto e kdybychom ned v vypo tali nov hodnoty v ech neuron apaketeprve nastavili, nebyla by kone nost zai t na.

4 HOPFIELD V MODEL 20 3 4 2 5 1 n 6 7 Obr zek 16: Hopel v model. w i = w i w ii =0 Kone nost postupu si dok eme zaveden m energetick funkce E = ; i w i S i S J Vypad sice podobn akochybov funkce ve v cevrstv chs t ch, ale e to n co in ho. Energetickou funkci m eme zav st en u s t se symetrick mi v hami. Energetick funkce m energii syst mu a plat, e v dy kles nebo z st v sten, pokud se syst m vyv podle sv ho dynamick ho pravidla. D kaz kone nosti po tu krok vybavov n * Dok eme si, e energie klesne v dy, kdy se zm n hodnota neuronu. Nech e Sx 0 nov hodnota stavu S x pro n ak neuron x. S 0 x = sgn( w x S ) (3). Pokud Sx 0 = S x (neuron se nezm nil), energie z stala sten. V opa n m p pad Sx 0 = ;S x, tak e rozd l energi e E 0 = ;( w i S i S + w ix S i S 0 x + w x S 0 x S ; w xx S 0 x S0 x ) (4) = ;( = ;( E = ;( E 0 ; E = ; k = = k i6=x 6=x i6=x 6=x i6=x 6=x i6=x 6=x k = 4S x k E 0 ; E = 4S x w i S i S + w i S i S + i k k (w kx + w xk )S k S 0 x ; 0) (5) 2w kx S k S 0 x ) (6) w i S i S + 2w kx S k S x ) (7) k 2w kx S k S 0 x + 2w kx S k S x (8) k 2w kx S k (;S 0 x + S x) (9) 2w kx S k (2S x ) (10) w kx S k (11) w x S (12)