OSTRAVSKÁ UNIVERZITA V OSTRAVĚ NEURONOVÉ SÍTĚ 1 EVA VOLNÁ

Transkript

1 OSTRAVSKÁ UNIVERZITA V OSTRAVĚ NEURONOVÉ SÍTĚ EVA VOLNÁ OSTRAVA 008

2 Recenzent: Název: Neuronové sítě Autoř: RNDr PaedDr Eva Volná, PhD Vydání: druhé, 008 Počet stran: 86 Náklad: Tsk: Studní materály pro dstanční kurz: Neuronové sítě Jazyková korektura nebyla provedena, za azykovou stránku odpovídá autor Vydavatel a tsk: Ostravská unverzta v Ostravě, RNDr PaedDr Eva Volná, PhD Ostravská unverzta v Ostravě ISBN

3 NEURONOVÉ SÍTĚ Eva Volná Cíl předmětu Seznámt studenta se základy teore neuronových sítí Důraz e zde kladen neen na základní teor, ale na schopnost aplkovat př řešení příkladů Všechny v textu uvedené popsy algortmů sou převzaty z [] Po prostudování textu budete znát: Tyto učební texty sou určeny studentům nformatky pro předmět neuronové sítě Jsou v nch vysvětleny základní pomy z teore umělých neuronových sítí V ednotlvých kaptolách sou postupně podle obtížnost uvedeny základní modely neuronových sítí (t perceptron, adalne, madalne, dopředná vícevrstvá neuronová síť s adaptační metodou backpropagaton, asocatvní neuronové sítě a neuronové sítě pracuící na prncpu samoorganzace), a to ech archtektura, aktvní dynamka a adaptvní dynamka

4 Úvod pro prác s textem pro dstanční studum Účel textu Průvodce studem: Tento text má sloužt pro potřeby výuky výběrového předmětu NEURONOVÉ SÍTĚ na katedře nformatky a počítačů Nepředpokládá se žádná předchozí znalost problematky, pouze základy matematcké analýzy, především dferencální počet a matcový počet Předmět má rysy kurzu, ve kterém student získá uceleněší pohled na problematku umělých neuronových sítí Struktura textu V textu sou dodržena následuící pravdla: - e specfkován cíl lekce (tedy co by měl student po eím absolvování umět, znát, pochopt) - výklad učva - důležté pomy - úkoly a otázky k textu - korespondenční úkoly (mohou být sdruženy po více lekcích) Úkoly Vyberte s a vypracute JEDEN korespondenční úkol z kaptoly 4 9 této studní opory Dále vypracute korespondenční úkol z kaptoly 0 Řešení obou korespondenčních úkolů zašlete do konce semestru (nepozdě před zkouškou) na adresu evavolna@osucz Pokud máte akékolv věcné nebo formální přpomínky k textu, kontaktute autora (evavolna@osucz) 4

5 Obsah: ÚVOD DO PROBLEMATIKY NEURONOVÝCH SÍTÍ6 HISTORIE NEURONOVÝCH SÍTÍ6 BIOLOGICKÝ NEURON 8 3 FORMÁLNÍ NEURON0 HEBBOVO UČENÍ4 3 NEURONOVÁ SÍŤ 8 3 ORGANIZAČNÍ DYNAMIKA8 3 AKTIVNÍ DYNAMIKA 0 33 ADAPTIVNÍ DYNAMIKA 3 4 JEDNODUCHÉ MODELY NEURONOVÝCH SÍTÍ4 4 PERCEPTRON4 4 ADALINE7 43 MADALINE9 44 KLASIFIKACE VZORŮ 35 5 BACKPROPAGATION 39 5 STANDARDNÍ METODA BACKPROPAGATION 4 5 MODIFIKOVANÉ ALGORITMY UČENÍ SE ZPĚTNÝM ŠÍŘENÍM CHYBY 49 6 SAMOORGANIZACE 5 6 KOHONENOVY SAMOORGANIZAČNÍ MAPY5 6 KVANTOVÁNÍ VEKTORŮ UČENÍM 57 7 DOPŘEDNÁ SÍŤ TYPU COUNTERPROPAGATION60 8 HOPFIELDOVA SÍŤ64 8 ASOCIATIVNÍ NEURONOVÉ SÍTĚ64 8 DISKRÉTNÍ HOPFIELDOVA SÍŤ 68 9 DVOUSMĚRNÁ ASOCIATIVNÍ PAMĚŤ 74 0 POSTAVENÍ NEURONOVÝCH SÍTÍ V INFORMATICE80 0 NEURONOVÉ SÍTĚ A VON NEUMANOVSKÁ ARCHITEKTURA POČÍTAČE 80 0 APLIKACE NEURONOVÝCH SÍTÍ 8 03 IMPLEMENTACE NEURONOVÝCH SÍTÍ A NEUROPOČÍTAČE 84 LITERATURA87 5

6 ÚVOD DO PROBLEMATIKY NEURONOVÝCH SÍTÍ Cíl: Získáte základní přehled o těchto tématech: - hstore neuronových sítí; - bologcký neuron; - formální neuron V této úvodní kaptole se stručně seznámíte s hstorí neuronových sítí [6] a se základním matematckým modelem bologckého neuronu, t formálním neuronem Z tohoto modelu budeme dále vycházet, a proto e nutné, abyste eho pochopení věnoval zvýšenou pozornost počáteční období Hstore neuronových sítí Za počátek vznku oboru neuronových sítí e považována práce Warrena McCullocha a Waltera Pttse z roku 943, kteří vytvořl velm ednoduchý matematcký model neuronu, což e základní buňka nervové soustavy Číselné hodnoty parametru v tomto modelu byly převážně bpolární, t z množny {-,0,} Ukázal, že neednodušší typy neuronových sítí mohou v prncpu počítat lbovolnou artmetckou nebo logckou funkc Ačkolv nepočítal s možností bezprostředního praktckého využtí svého modelu, ech článek měl velký vlv na ostatní badatele V roce 949 napsal Donald Hebb knhu The Organzaton of Behavour, ve které navrhl učící pravdlo pro synapse neuronů (mezneuronové rozhraní) Toto pravdlo bylo nsprováno myšlenkou, že podmíněné reflexy, které sou pozorovatelné u všech žvočchů, sou vlastnostm ednotlvých neuronů Hebb se snažl vysvětlt některé expermentální výsledky psychologe Také eho práce ovlvnla ostatní vědce, kteří se začal zabývat podobným otázkam Avšak 40 a 50 léta zatím eště nepřnesla zásadní pokroky v oblast neurovýpočtů Typckým příkladem výzkumu v tomto období byla v roce 95 konstrukce prvního neuropočítače Snark, u ehož zrodu stál Marvn Mnsky Snark byl sce úspěšný z technckého hledska, dokonce ž automatcky adaptoval váhy, ale ve skutečnost nebyl nkdy využt k řešení něakého zaímavého praktckého problému Ncméně eho archtektura pozdě nsprovala další konstruktéry neuropočítačů V roce 957 Frank Rosenblatt vynalezl tzv perceptron, který e zobecněním McCullochova a Pttsova modelu neuronu pro reálný číselný obor parametrů Pro tento model navrhl učící algortmus, o kterém matematcky dokázal, že pro daná trénnková data nalezne po konečném počtu kroků odpovídaící váhový vektor parametrů (pokud exstue) nezávsle na eho počátečním nastavení Rosenblatt také napsal ednu z prvních knh o neurovýpočtech Prncples of Neurodynamcs Na základě tohoto výzkumu Rosenblatt spolu s Charlesem Wghtmanem a dalším sestrol během let 957 a 958 první úspěšný neuropočítač, který nesl méno Mark I Perceptron Protože původním odborným zámem Rosenblatta 6

7 bylo rozpoznávání obrazců, byl tento neuropočítač navržen pro rozpoznávání znaků Znak byl promítán na světelnou tabul, ze které byl snímán polem 0x0 fotovodčů Intenzta 400 obrazových bodů byla vstupem do neuronové sítě perceptronů, eímž úkolem bylo klasfkovat, o aký znak se edná (např A, B apod) Díky úspěšné presentac uvedeného neuropočítače se neurovýpočty, které byly alternatvou ke klasckým výpočtům realzovaným na von neumannovské archtektuře počítače, staly novým předmětem výzkumu Frank Rossenblatt e proto dodnes některým odborníky považován za zakladatele tohoto nového oboru Krátce po obevu perceptronu Bernard Wdrow se svým studenty vyvnul další typ neuronového výpočetního prvku, který nazval ADALINE (ADAptve LInear NEuron) Tento model byl vybaven novým výkonným učícím pravdlem, které se dodnes nezměnlo Wdrow se svým studenty demonstroval funkčnost ADALINE na mnoha ednoduchých typových příkladech a založl také první frmu (Memstor Corporaton) orentovanou na hardware neuropočítačů, která v první polovně 60 let vyráběla a prodávala neuropočítače a ech komponenty Na přelomu 50 a 60 let dochází k úspěšnému rozvo neurovýpočtů v oblast návrhu nových modelů neuronových sítí a ech mplementací Výsledky z uvedeného období sou shrnuty v knze Nlse Nlssona Learnng Machnes z roku 965 Přes nesporné úspěchy dosažené v tomto období se obor neuronových sítí potýkal se dvěma problémy Za prvé, většna badatelů přstupovala k neuronovým sítím z expermentálního hledska a zanedbávala analytcký výzkum neuronových modelů Za druhé, nadšení některých výzkumných pracovníků vedlo k velké publctě neopodstatněných prohlášení (např za několk málo let bude vyvnut umělý mozek) Tyto skutečnost dskredtovaly neuronové sítě v očích odborníků z ných oblastí a odradly vědce a nženýry, kteří se o neurovýpočty zaímal Navíc se samostatný obor neuronových sítí vyčerpal a další krok v této oblast by býval požadoval radkálně nové myšlenky a postupy Nelepší odborníc oblast neuronových sítí opouštěl a začal se zabývat příbuzným obory umělé ntelgence Poslední epzodou tohoto období byla kampaň vedená Marvnem Mnským a Seymourem Papertem, kteří využl svů vlv na to, aby zdskredtoval výzkum neuronových sítí nacházeící se v krz, ve snaze přenést fnanční zdroe z této oblast na ný výzkum v oblast umělé ntelgence V té době koloval rukops ech výzkumné zprávy, která napomáhala tomuto záměru Uvedený rukops byl v upravené formě publkován roce 969 pod názvem Perceptrons V této knze Mnsky a Papert využl pro svou argumentac známého trválního faktu, že eden perceptron nemůže počítat ednoduchou logckou funkc, tzv vylučovací dsunkc (XOR) Tento problém lze sce vyřešt vytvořením dvouvrstvé sítě se třem neurony, ale pro vícevrstvý perceptron nebyl v této době znám učící algortmus Autoř z toho nesprávně vyvodl, že takový algortmus vzhledem ke komplkovanost funkce, kterou vícevrstvá síť počítá, snad an není možný Jech tvrzení bylo všeobecně přato a považováno za matematcky dokázané Kampaň Mnského a Paperta byla úspěšná, výzkum neuronových sítí nebyl ž déle dotován a neurovýpočty XOR problém 7

8 80 léta 0 stol byly považovány za neperspektvní V dalším období od roku 967 do 98 probíhal výzkum neuronových sítí oedněle a zolovaně, převážně mmo území Spoených států, kde knha Perceptrons měla velký vlv Většna prací byla publkována např pod hlavčkou adaptvní zpracování sgnálů, rozpoznávání obrazců a bologcké modelování Avšak ž v počátcích tohoto tchého období se neurovýpočty začal zabývat talentovaní badatelé, mez nm byl např Shun Ich Amar, James Anderson, Kunhko Fukushma, Stephen Grossberg, Harry Klopf, Teuvo Kohonen a Davd Wllshaw Tto vědc přspěl svým obevy k renesanc neuronových sítí Počátkem 80 let se badatelé v oblast neurovýpočtů osměll a začal podávat vlastní grantové proekty zaměřené na vývo neuropočítačů a ech aplkace Zásluhou programového manažera Ira Skurncka začala v roce 983 amercká grantová agentura DARPA (Defense Advanced Research Proects Agency) fnančně podporovat výzkum neuronových sítí a eího příkladu v krátké době následovaly né organzace podporuící základní aplkovaný výzkum Další zásluhu na renesanc oboru neuronových sítí měl světově uznávaný fyzk John Hopfeld, který se v této době zabýval neurovýpočty Své výsledky publkoval v roce 98 a 984 Ukázal souvslost některých modelů neuronových sítí s fyzkálním modely magnetckých materálů Svým zvaným přednáškam, které měl po celém světě, získal pro neuronové sítě stovky kvalfkovaných vědců, matematků a technologů V roce 986 publkoval své výsledky badatelé z tzv PDP skupny (Parallel Dstrbuted Processng Group) Ve svých pracích popsal učící algortmus zpětného šíření chyby (backpropagaton) pro vícevrstvou neuronovou síť a vyřešl tak problém, který se Mnskému a Pappertov v 60 letech evl ako nepřekonatelná překážka pro využtí a další rozvo neuronových sítí Tento algortmus e doposud nepoužívaněší učící metodou neuronových sítí a eho publkováním dosáhl záem o neuronové sítě svého vrcholu V roce 987 se v San Degu konala první větší konference specalzovaná na neuronové sítě (IEEE Internatonal Conference on Neural Networks), na které byla založena meznárodní společnost pro výzkum neuronových sítí INNS (Internatonal Neural Network Socety) O rok pozdě INNS začala vydávat svů časops Neural Networks V následuících letech vznkly další specalzované časopsy: Neural Computng (989), IEEE Transactons on Neural Networks (990) a mnoho ných (např v Praze vychází od roku 99 meznárodní časops Neural Network World) Od roku 987 mnoho renovovaných unverzt založlo nové výzkumné ústavy zabývaící se neuronovým sítěm a vyhláslo výukové programy zaměřené na neurovýpočty Tento trend pokračue dodnes Bologcký neuron Nervová soustava člověka e velm složtý systém, který e stále předmětem zkoumání Uvedené velm zednodušené neurofyzologcké prncpy nám však v dostatečné míře stačí k formulac matematckého 8

9 modelu neuronové sítě Základním stavebním funkčním prvkem nervové soustavy e nervová buňka, neuron Neurony sou samostatné specalzované buňky, určené k přenosu, zpracování a uchování nformací, které sou nutné pro realzac žvotních funkcí organsmu Struktura neuronu e schématcky znázorněna na obrázku ádro tělo buňky axon dendrty Obrázek : Bologcký neuron Neuron e přzpůsoben pro přenos sgnálů tak, že kromě vlastního těla (somatu), má vstupní a výstupní přenosové kanály: dendrty a axon Z axonu odbočue řada větví (termnálů), zakončených blánou, která se převážně stýká s výběžky (trny), dendrtů ných neuronů K přenosu nformace pak slouží unkátní mezneuronové rozhraní, synapse Míra synaptcké propustnost e nostelem všech význačných nformací během celého žvota organsmu Z funkčního hledska lze synapse rozdělt na exctační, které umožňuí rozšíření vzruchu v nervové soustavě a na nhbční, které způsobuí eho útlum Paměťová stopa v nervové soustavě vznká pravděpodobně zakódováním synaptckých vazeb na cestě mez receptorem (čdlem orgánu) a efektorem (výkonným orgánem) Šíření nformace e umožněno tím, že soma axon sou obaleny membránou, která má schopnost za stých okolností generovat elektrcké mpulsy Tyto mpulsy sou z axonu přenášeny na dendrty ných neuronů synaptckým branam, které svou propustností určuí ntenztu podráždění dalších neuronů Takto podrážděné neurony př dosažení určté hranční meze, tzv prahu, samy generuí mpuls a zašťuí tak šíření příslušné nformace Po každém průchodu sgnálu se synaptcká propustnost mění, což e předpokladem paměťové schopnost neuronů Také propoení neuronů prodělává během žvota organsmu svů vývo: v průběhu učení se vytváří nové paměťové stopy nebo př zapomínání se synaptcké spoe přerušuí bologcký neuron 9

10 3 Formální neuron V dalších kaptolách budeme používat následuícího značení: x, y Stav neuronů X, Y, tpro vstupní neurony X e x vstupní sgnál;pro ostatní neurony Y e y = f(y_n ) w Váha přřazena spoení z neuronu X do neuronu Y b Bas neuronu Y y_n Vntřní potencál neuronu Y : W Váhová matce: W = {w } w Vektor vah: w = (w, w,, w n ) T Je to sloupec váhové matce x Norma nebo velkost vektoru x θ Práh pro aktvační funkc neuronu Y s Trénnkový vstupní vektor: s = (s, s,, s n ) t Trénnkový výstupní vektor: t = (t, t,, t m ) x Vstupní vektor: x = (x, x,, x n ) w α Změna váhy w : w = [w (new) - w (old)] Koefcent učení formální neuron Základem matematckého modelu neuronové sítě e formální neuron Jeho struktura e schematcky zobrazena [] na obrázku Formální neuron Y (dále en neuron) má obecně n reálných vstupů, které modeluí dendrty a určuí vstupní vektor x = ( x,,x n ) Tyto vstupy sou ohodnoceny reálným synaptckým váham tvořícím vektor w = ( w,, w n ) Ve shodě s neurofyzologckou motvací mohou být synaptcké váhy záporné, čímž se vyadřue ech nhbční charakter b x w Y y x w w n x n Obrázek : Formální neuron s basem 0

11 Vážená suma vstupních hodnot y_n představue vntřní potencál neuronu Y: y _ n = w x Bas může být do vztahu včleněn přdáním komponent x 0 = k vektoru x, t x = (, x, x,, x n ) Bas e dále zpracováván ako akákolv ná váha, t w 0 = b Vstup do neuronu Y e pak dán následuícím vztahem: y _ n = n = 0 w x = w 0 + n = n = w x = b + n = w x Hodnota vntřního potencálu y_n po dosažení hodnoty b ndukue výstup (stav) y neuronu Y, který modelue elektrcký mpuls axonu Nelneární nárůst výstupní hodnoty y = f(y_n) př dosažení hodnoty potencálu b e dán aktvační (přenosovou) funkcí f Neednodušším typem přenosové funkce e ostrá nelnearta, která má pro neuron Y tvar: f ( y _ n ) pokud = 0 pokud y _ n 0 y _ n < 0 Pokud místo váhového basu, pracueme s fxním prahem θ pro aktvační funkc, pak má přenosové funkce ostrá nelnearta pro neuron Y tvar: f pokud y _ n θ n _ =, kde y _ n = 0 pokud y _ n < θ w x = ( y n ) K lepšímu pochopení funkce ednoho neuronu nám pomůže geometrcká představa načrtnutá na obrázku 3 Vstupy neuronu chápeme ako souřadnce bodu v n - rozměrném Eukldovském vstupním prostoru E n V tomto prostoru má rovnce nadrovny (v E přímka, v E 3 rovna) tvar: w n 0 + w x = = 0 Tato nadrovna dělí vstupní prostor na dva poloprostory Souřadnce bodů [x +,,x n + ], které leží v ednom poloprostoru, splňuí následuící nerovnost: w 0 n + + w x > 0 Body [x - -,,x n = ] z druhého poloprostoru pak vyhovuí relac s opačným relačním znaménkem: w 0 n + w x < 0 Synaptcké váhy w = ( w 0,, w n ) chápeme ako = koefcenty této nadrovny Neuron Y tedy klasfkue, ve kterém z obou poloprostorů určených nadrovnou leží bod, ehož souřadnce sou na vstupu, t realzue dchotom vstupního prostoru Neuron Y e aktvní, e-l eho stav y = a pasvní, pokud e eho stav y = 0

12 w n 0 + w x = 0 = + + [ x,, x ] w 0 + n = y = n E w x + n > 0 [ x,, x ] w 0 + n = y = 0 n E w x n < 0 Obrázek 3: Geometrcká nterpretace funkce neuronu logcké neurony McCullocha a Pttse V publkac Warrena McCullocha a Waltera Pttsa [8] A logcal calculus of the deas mmanent to nervous actvty" z r 943 bylo poprvé uvedeno, že neuronové sítě sou mocným modelovým prostředkem, např, že sítě složené z logckých neuronů mohou smulovat Boolovské funkce Logcké neurony sou výpočtové ednotky s bnárním stavy a 0 Vstupy do logckého neuronu sou dvoího typu: exctační vstupy (popsané bnárním proměnným x, x,, x p ) a nhbční vstupy (popsané bnárním proměnným x p+, x p+,, x n ) Exctační aktvty vstupuí do neuronu spo, které sou ohodnocené ednotkovým váhovým koefcentem (w = ), zatímco nhbční aktvty vstupuí do neuronu spo se záporným ednotkovým váhovým koefcentem (w = -) Potom aktvtu logckého neuronu můžeme vyádřt takto: pokud y _ n 0 p n y = f ( y _ n) =, kde y _ n = x x b 0 pokud y _ n < 0 +, = = p+ kde b e váhový bas Jednoduchá mplementace elementárních Boolovských funkcí dsunkce, konunkce a mplkace v E e následuící: y y y OR AND IMPL = f ( x = f ( x + x = f ( x + x ) + x ) 0) Funkční hodnoty sou uvedeny v následuící tabulce: x x y OR (x,x ) x x y AND (x,x ) x x y IMPL (x,x ) x x 0 0 f(-) 0 f(-) 0 f(0) 0 f(0) f(-) 0 f() 3 0 f(0) f(-) 0 f(-) 0 4 f() f() f(0)

13 Logcké neurony sou schopné korektně klasfkovat pouze lneárně separovatelné Boolovske funkce Toto podstatné omezení logckých neuronů může být odstraněné pomocí logckých neuronů vyšších řádů, které sou schopny smulovat množny obektů, ež nesou lneárně separovatelné Jech aktvta e určena následovně: neuron vyššího řádu n y = f w x + w x x + L+ b =, ( < = ) Pokud e vntřní potencál neuronu určený pouze ako lneární kombnace vstupních aktvt (t pouze první sumou), potom se logcký neuron nazývá "logcký neuron prvního řádu" Pokud však tento potencál neuronu obsahue kvadratcké popř další členy, potom se nazývá "logcký neuron vyššího řádu" Jako lustrační příklad uvedeme funkc XOR, která není lneárně separovatelná, eíž mplementace v E e následuící: y XOR ( x + x x ) = f x x x y XOR (x,x ) x x 0 0 f(-) 0 0 f(0) 3 0 f(0) 4 f(-) 0 Nedůležtěší probrané pomy: - stav neuronu, - bas neuronu, - vntřní potencál neuronu, s - synaptcké váhy, - aktvační(přenosová) funkce, - logcké neurony McCullocha a Pttse - neurony vyššího řádu Úkoly a otázky k textu: Vytvořte geometrckou nterpretac funkce ednoho neuronu ve - rozměrném Eukldovském prostoru Vstupy neuronu sou souřadnce bodu v E 3

14 HEBBOVO UČENÍ Cíl: Po prostudování této kaptoly se seznámíte: - s prncpy Hebbova učení; - s Hebbovým adaptačním pravdlem Dříve než se pustíte do studa této kaptoly, důkladně se seznamte s problematkou formálního neuronu a s používaným značením (vz kaptola Úvod do problematky neuronových sítí ) Hebbovo učení e založeno na myšlence, že váhové hodnoty na spoení mez dvěma neurony, které sou současně ve stavu on, budou narůstat a naopak, t váhové hodnoty na spoení mez dvěma neurony, které sou současně ve stavu off, se budou zmenšovat Změna synaptcké váhy spoe mez dvěma neurony e úměrná ech souhlasné aktvtě, t součnu ech stavů Donald Hebb tímto způsobem vysvětloval vznk podmíněných reflexů Uvažume ednovrstvou neuronovou síť, ve které sou všechny vstupní neurony propoeny s edným výstupní neuronem Y (vz obr ), ale ne ž navzáem mez sebou Pokud sou složku vstupního vektoru x = ( x,,x n ) reprezentovány v bpolární formě, lze složky příslušného váhového vektoru w = ( w,, w n ) aktualzovat následovně: kde y e výstup z neuronu Y w (new) = w (old) + x y, Hebbovo adaptační pravdlo [] Krok 0 Krok Incalzace všech vah: w = 0 ( = až n) Pro každý vzor - trénnkový pár, t vstupní vektor (s) a příslušný výstup (t), opakovat následuící kroky ( až 4) Krok Krok 3 Krok 4 Aktvovat vstupní neurony: x = s ( = až n) Aktvovat výstupní neuron: y = t Aktualzovat váhy podle w (new) = w (old) + x y ( = až n) Aktualzovat basy podle b(new) = b(old) + y 4

15 Bas lze zapsat také ako váhovou hodnotu přřazenou výstupu z neuronu, ehož aktvace má vždy hodnotu Aktualzace váhových hodnot může být také vyádřena ve vektorové formě ako w(new) = w(old) + xy Váhový přírůstek lze zapsat ve tvaru w = xy a potom w(new) = w(old) + w Výše uvedený algortmus e pouze edním z mnoha způsobu mplementace Hebbova pravdla učení Tento algortmus vyžadue en eden průchod trénnkovou množnou Exstuí však né ekvvalentní metody nalezení vhodných váhových hodnot, které sou popsány dále Příklad: Hebbovovo pravdlo učení pro logckou funkc AND v bpolární reprezentac můžeme zapsat následovně: čas VSTUP POŽADOVANÝ PŘÍRUSTKY VÁHOVÉ VÝSTUP VAH HODNOTY x x t w w b w w b Grafcký postup řešení e uveden na obrázku 4 5

16 x - + x - - rovnce přímky: x = -x - trénnkový vzor x - + x - - rovnce přímky: x = 0 trénnkový vzor x - + x - - rovnce přímky: x = -x + 3 a 4 trénnkový vzor Obrázek 4: Hebbovovo pravdlo učení pro logckou funkc AND v bpolární reprezentac 6

17 Nedůležtěší probrané pomy: - Hebbovo učení, - trénnkový vzor, - váhový přírustek Úkoly a otázky k textu: Realzute Hebbovo pravdlo učení pro logckou funkc OR v bpolární reprezentac 7

18 3 NEURONOVÁ SÍŤ Cíl: Po prostudování této kaptoly budete seznámen: - akým způsobem sou neurony v umělé neuronové sít propoeny; - ak probíhá šíření a zpracování nformace v umělé neuronové sít; - s organzační, aktvní a adaptvní dynamkou umělé neuronové sítě Tato kaptola e úvodní kaptolou zabývaící se problematkou vzáemného propoení neuronů, t archtekturou neuronové sítě Dále s zde ozřemíme způsob, akým probíhá šíření a zpracování nformace v neuronové sít Všechny zde uvedené pomy doporuču pečlvě nastudovat, protože e budeme dále velm často používat Každá neuronová síť e složena z formálních neuronů, které sou vzáemně propoeny tak, že výstup ednoho neuronu e vstupem do (obecně více) neuronů Obdobně sou termnály axonu bologckého neuronu přes synaptcké vazby spoeny s dendrty ných neuronů Počet neuronů a ech vzáemné propoení v sít určue archtekturu (topolog) neuronové sítě Z hledska využtí rozlšueme v sít vstupní, pracovní (skryté, mezlehlé, vntřní) a výstupní neurony Šíření a zpracování nformace v sít e umožněno změnou stavů neuronů ležících na cestě mez vstupním a výstupním neurony Stavy všech neuronů v sít určuí stav neuronové sítě a synaptcké váhy všech spoů představuí konfgurac neuronové sítě Neuronová síť se v čase vyvíí, mění se stav neuronů, adaptuí se váhy V souvslost se změnou těchto charakterstk v čase e účelné rozdělt celkovou dynamku neuronové sítě do tří dynamk a uvažovat pak tř režmy práce sítě: organzační (změna topologe), aktvní (změna stavu) a adaptvní (změna konfgurace) Uvedené dynamky neuronové sítě sou obvykle zadány počátečním stavem a matematckou rovncí, resp pravdlem, které určue vývo příslušné charakterstky sítě (topologe, stav, konfgurace) v čase Změny, které se řídí těmto zákontostm probíhaí v odpovídaících režmech práce neuronové sítě Konkretzací ednotlvých dynamk pak obdržíme různé modely neuronových sítí vhodné pro řešení různých tříd úloh 3 Organzační dynamka Organzační dynamka specfkue archtekturu neuronové sítě a eí případnou změnu Změna topologe se většnou uplatňue v rámc adaptvního režmu tak, že síť e v případě potřeby rozšířena o další 8

19 neurony a příslušné spoe Avšak organzační dynamka převážně předpokládá pevnou archtekturu neuronové sítě (t takovou archtekturu, která se ž v čase nemění) Rozlšueme dva typy archtektury: cyklcká (rekurentní) a acyklcká (dopředná) síť V případě cyklcké topologe exstue v sít skupna neuronů, která e spoena v kruhu (tzv cyklus) To znamená, že v této skupně neuronů e výstup prvního neuronu vstupem druhého neuronu, ehož výstup e opět vstupem třetího neuronu atd, až výstup posledního neuronu v této skupně e vstupem prvního neuronu Neednodušším příkladem cyklu e zpětná vazba neuronu, ehož výstup e zároveň eho vstupem Nevíce cyklů e v úplné topolog cyklcké neuronové sítě, kde výstup lbovolného neuronu e vstupem každého neuronu Příklad obecné cyklcké neuronové sítě e uveden na obrázku 5, kde sou vyznačeny všechny možné cykly cyklcká archtektura neuronové sítě Obrázek 5: Příklad cyklcké archtektury V acyklckých sítích naopak cyklus neexstue a všechny cesty vedou edním směrem Příklad acyklcké sítě e na obrázku 6, kde e vyznačena nedelší cesta acyklcká archtektura neuronové sítě Obrázek 6: Příklad acyklcké archtektury 9

20 vícevrstvá neuronová síť U acyklcké neuronové sítě lze neurony vždy (dsunktně) rozdělt do vrstev, které sou uspořádány (např nad sebou) tak, že spoe mez neurony vedou en z nžších vrstev do vrstev vyšších (obecně však mohou přeskočt ednu nebo více vrstev) Specálním případem takové archtektury e vícevrstvá neuronová síť V této sít e první (dolní), tzv vstupní vrstva tvořena vstupním neurony a poslední (horní), tzv výstupní vrstva e složena z výstupních neuronů Ostatní, tzv skryté (mezlehlé, vntřní) vrstvy sou složeny ze skrytých (vntřních) neuronů V topolog vícevrstvé sítě sou neurony edné vrstvy spoeny se všem neurony bezprostředně následuící vrstvy Proto archtekturu takové sítě lze zadat en počty neuronů v ednotlvých vrstvách (oddělených pomlčkou), v pořadí od vstupní k výstupní vrstvě Také cesta v takové sít vede směrem od vstupní vrstvy k výstupní, přčemž obsahue po ednom neuronu z každé vrstvy Příklad archtektury třívrstvé neuronové sítě s ednou vyznačenou cestou e na obrázku 7, kde kromě vstupní a výstupní vrstvy sou dvě skryté vrstvy výstupní vrstva } skryté vrstvy vstupní vrstva Obrázek 7: Příklad archtektury vícevrstvé neuronové sítě Aktvní dynamka Aktvní dynamka specfkue počáteční stav sítě a způsob eho změny v čase př pevné topolog a konfgurac V aktvním režmu se na začátku nastaví stavy vstupních neuronů na tzv vstup sítě a zbylé neurony sou v uvedeném počátečním stavu Všechny možné vstupy, resp stavy sítě, tvoří vstupní prostor, resp stavový prostor, neuronové sítě Po ncalzac stavu sítě probíhá vlastní výpočet Obecně se předpokládá spotý vývo stavu neuronové sítě v čase a hovoří se o spotém modelu, kdy stav sítě e spotou funkcí času, která e obvykle v aktvní dynamce zadána dferencální rovncí Většnou se však předpokládá dskrétní čas, t na počátku se síť nachází v čase 0 a stav sítě se mění en v čase,, 3, 0

21 V každém takové časové kroku e podle daného pravdla aktvní dynamky vybrán eden neuron (tzv sekvenční výpočet) nebo více neuronů (tzv paralelní výpočet), které aktualzuí (mění) svů stav na základě svých vstupů, t stavů sousedních neuronů, echž výstupy sou vstupy aktualzovaných neuronů Podle toho, zda neurony mění svů stav nezávsle na sobě nebo e ech aktualzace řízena centrálně, rozlšueme synchronní a asynchronní modely neuronových sítí Stav výstupních neuronů, který se obecně mění v čase, e výstupem neuronové sítě (t výsledkem výpočtu) Obvykle se však uvažue taková aktvní dynamka, že výstup sítě e po něakém čase konstantní a neuronová síť tak v aktvním režmu realzue něakou funkc na vstupním prostoru, t ke každému vstupu sítě vypočítá právě eden výstup Tato tzv funkce neuronové sítě e dána aktvní dynamkou, eíž rovnce parametrcky závsí na topolog a konfgurac, které se v aktvním režmu, ak ž bylo uvedeno, nemění Je zřemé, že v aktvním režmu se neuronová síť využívá k vlastním výpočtům Aktvní dynamka neuronové sítě také určue funkc ednoho neuronu, eíž předps (matematcký vzorec) e většnou pro všechny (nevstupní) neurony v sít stený (tzv homogenní neuronová síť) Můžeme se setkat s následuícím sgmodním aktvačním funkcem: pokud x 0 f ( x) = 0 pokud x < 0 ostrá nelnearta f ( x) = x x 0 x 0 x < 0 saturovaná lneární funkce f ( x) = + e e f ( x) = + e x x x standardní (logstcká) sgmoda hyperbolcký tangens Grafy těchto funkcí sou znázorněny na obrázku 8 Podle toho, zda e funkce neuronu dskrétní nebo spotá rozlšueme dskrétní a analogové modely neuronových sítí

22 f(x) ostrá nelnearta f(x) 0 x saturovaná lneární funkce 0 x f(x) standardní logstcká funkce 0 f(x) x 0 x hyperbolcký tangents Obrázek 8: Grafy sgmodních aktvačních funkcí

23 33 Adaptvní dynamka Adaptvní dynamka neuronové sítě specfkue počáteční konfgurac sítě a způsob, akým se mění váhové hodnoty na spoeních mez ednotlvým neurony v čase Všechny možné konfgurace sítě tvoří váhový prostor neuronové sítě V adaptvním režmu se tedy na začátku nastaví váhy všech spoů v sít na počáteční konfgurac (např náhodně) Po ncalzac konfgurace sítě probíhá vlastní adaptace Podobně ako v aktvní dynamce se obecně uvažue spotý model se spotým vývoem konfgurace neuronové sítě v čase, kdy váhy sítě sou (spotou) funkcí času, která e obvykle v adaptvní dynamce zadána dferencální rovncí Většnou se však předpokládá dskrétní čas adaptace Víme, že funkce sítě v aktvním režmu závsí na konfgurac Cílem adaptace e nalézt takovou konfgurac sítě ve váhovém prostoru, která by v aktvním režmu realzovala předepsanou funkc Jestlže aktvní režm sítě se využívá k vlastnímu výpočtu funkce sítě pro daný vstup, pak adaptvní režm slouží k učení ( programování ) této funkce Požadovaná funkce sítě e obvykle zadána tzv trénnkovou množnou (posloupností) dvoc vstup/výstup sítě (tzv trénnkový vzor) Způsobu adaptace, kdy požadované chování sítě modelue učtel, který pro vzorové vstupy sítě nformue adaptvní mechansmus o správném výstupu sítě, se nazývá učení s učtelem (supervsed learnng) Někdy učtel hodnotí kvaltu momentální skutečné odpověd (výstupu) sítě pro daný vzorový vstup pomocí známky, která e zadána místo požadované hodnoty výstupu sítě (tzv klasfkované učení) Jným typem adaptace e tzv samoorganzace V tomto případě trénnková množna obsahue en vstupy sítě To modelue stuac, kdy není k dspozc učtel, proto se tomuto způsobu adaptace také říká učení bez učtele Neuronová síť v adaptvním režmu sama organzue trénnkové vzory (např do shluků) a odhalue ech souborné vlastnost Nedůležtěší probrané pomy: - archtektura (topologe) neuronové sítě, - organzační dynamka neuronové sítě, - aktvní dynamka neuronové sítě, - adaptvní dynamka neuronové sítě, - homogenní neuronová síť, - učení s učtelem, - samoorganzace Úkoly a otázky k textu: Zopakute s všechny základní pomy této kaptoly 3

24 4 JEDNODUCHÉ MODELY NEURONOVÝCH SÍTÍ Cíl: Po prostudování této kaptoly se seznámíte: - s ednoduchým modely umělých neuronových sítí (percepton, Adalne a Madalne); - s problematkou Pattern Recognton Př popsu algortmů adaptace budeme používat značení, které e uvedeno v kaptole Úvod do problematky neuronových sítí Perceptron e neednodušší neuronová síť s edním pracovním neuronem a na eho adaptačním algortmu s vysvětlíme proces učení s učtelem Adaptační algortmus neuronu Adalne bude srovnán s adaptačním algortmem percetronu V závěru pak budou uvedeny možnost klasfkace různých typů neuronových sítí (t -vrstvé, -vrstvé a 3-vrstvé neuronové sítě) 4 Perceptron Autorem této neednodušší neuronové sítě e Frank Rosenblatt (r 957) Za typcký perceptron e považována ednoduchá neuronová síť s n vstupy (x, x,, x n ) a edním pracovním neuronem spoeným se všem svým vstupy Každému takovému spoení e přřazena váhová hodnota (w, w,, w n ) Sgnál přenášený vstupním neurony e buď bnární (t má hodnotu 0 nebo ), nebo bpolární (t má hodnotu -, 0 nebo ) Výstupem z perceptronu e pak y = f (y_n) Aktvační funkce f má tvar: ( _ ) f y n = 0 pokud y_ n > θ pokud θ y_ n θ, pokud y_ n < θ kde θ e lbovolný, ale pevný práh aktvační funkce f Váhové hodnoty sou adaptovány podle adaptačního pravdla perceptronu tak, aby dference mez skutečným a požadovaným výstupem byla co nemenší Adaptační pravdlo perceptronu e mnohem slněší než Hebbovo adaptační pravdlo Adaptační algortmus perceptronu [] Krok 0 Krok Incalzace vah w ( = až n) a basu b malým náhodným čísly Přřazení ncalzační hodnoty koefcentu učení α (0 < α ) Dokud není splněna podmínka ukončení výpočtu, opakovat kroky ( až 6) 4

25 Krok Krok 6 Pro každý trénnkový pár s:t (t vstupní vektor s a příslušný výstup t), provádět kroky (3 až 5) Krok 3 Krok 4 Krok 5 Aktvu vstupní neurony: x = s Vypočíte skutečnou hodnotu na výstupu: y_ n = b + x w ; y = 0 pokud y_ n > θ pokud θ y_ n θ pokud y_ n < θ Aktualzu váhové hodnoty a bas pro daný vzor estlže y t, w (new) = w (old) + α t x ( = až n) b(new) = b(old) + α t nak w (new) = w (old) b(new) = b(old) Podmínka ukončení: estlže ve kroku ž nenastává žádná změna váhových hodnot, stop; nak, pokračovat Aktualzac podléhaí pouze ty váhové hodnoty, které neprodukuí požadovaný výstup y To znamená, že čím více trénnkových vzorů má korektní výstupy, tím méně e potřeba času k ech trénnku Práh aktvační funkce e pevná nezáporná hodnota θ Tvar aktvační funkce pracovního neuronu e takový, že umožňue vznk pásu pevné šířky (určené hodnotou θ ) odděluícího oblast poztvní odezvy od oblast negatvní odezvy na vstupní sgnál Předcházeící analýza o zaměntelnost prahu a basu zde nemá uplatnění, protože změna θ mění šířku oblast, ne však eí umístění Místo edné separuící přímky tedy máme pás určený dvěma rovnoběžným přímkam: Přímka separuící oblast poztvní odezvy od oblast nulové odezvy na vstupní sgnál; tato hranční přímka má tvar: w x + w x + b >θ Přímka separuící oblast nulové odezvy od oblast negatvní odezvy na vstupní sgnál; tato hranční přímka má tvar: w x + w x + b < -θ 5

26 Příklad : Adaptační algortmus perceptronu pro logckou funkc AND : bnární vstupní hodnoty, bpolární výstupní hodnoty Pro ednoduchost předpokládeme, že θ = 0, a α = čas VSTUP VÝSTUP PŘÍRUSTKY VÁHOVÉ VAH HODNOTY x x y_n y t w w b w w b x x Obrázek 9: Hranční pás pro logckou funkc AND po adaptac algortmem perceptronu Oblast kladné odezvy e dána body, pro které platí: x + 3x -4 > 0, a hranční přímka této oblast má tvar: x 7 x = Oblast záporné odezvy e dána body, pro které platí: x + 3x -4 < - 0, a hranční přímka této oblast má tvar: x = 9 x

27 Příklad : Adaptační algortmus perceptronu pro logckou funkc AND : bpoární vstupní výstupní hodnoty Pro ednoduchost předpokládeme, že θ = 0 a α = čas VSTUP VÝSTUP PŘÍRUSTKY VÁHOVÉ VAH HODNOTY x x y_n y t w w b w w b Tento příklad demonstrue, že přechod od bnární k bpolární reprezentac může nápadně zrychlt výpočet řešené úlohy 4 Adalne Adalne, t Adaptve Lnear Neuron Pro své vstupy obvykle používá bpolární aktvac ( nebo -), výstupní hodnota e nečastě také bpolární Adalne má rovněž bas chovaící se ako regulovatelná váha (w 0 ) přřazená spoení, které vychází z neuronu, ehož aktvace e vždy Adaptační algortmus pro Adalne []: Krok 0 Krok Incalzace vah malým náhodným hodnotam Přřazení ncalzační hodnoty koefcentu učení α (vz poznámky za algortmem) Dokud není splněna podmínka ukončení výpočtu, opakovat kroky ( až 6) Krok Pro každý bpolární trénnkový pár s:t (t vstupní vektor s a příslušný výstup t), provádět kroky (3 až 5) Krok 3 Aktvovat vstupní neurony: x = s 7

28 Krok 6 Krok 4 Krok 5 Vypočítat skutečnou hodnotu na výstupu: y_ n = b + x w ; y = y_n Aktualzovat váhové hodnoty a =,, n: w (new) = w (old) + α (t - y_n) x b(new) = b(old) + α (t - y_n) Podmínka ukončení: estlže nevětší změna váhových hodnot, která se vyskytue v kroku e menší než maxmální povolená chyba, stop; nak, pokračovat Podle Hecht-Nelsena lze za eho horní hranční hodnotu považovat nevětší vlastní číslo korelační matce R vstupu (řádku) vektoru x(p), nastavení vhodné hodnoty koefcentu učení P R = x p x p, P p= T ( ) ( ) tedy α < edna polovna nevětší hodnoty vlastního čísla R Jelkož hodnota R není během výpočtu měněna, obvykle se volí α ako 0 < nα <0, kde n e počet vstupů Pokud dosadíme za α přílš velkou hodnotu, adaptační algortmus nebude konvergovat Pokud dosadíme za α přílš malou hodnotu, proces učení bude extrémně pomalý Geometrcký význam funkce Adalne se nepatrně lší od perceptronu Uvažume vstup x=(x,, x n ), t bod [x,, x n ] v n-rozměrném vstupním prostoru Nadrovna s koefcenty w pro daný neuron Adalne určená rovncí w 0 n + w x = 0 = rozdělue tento prostor na dva poloprostory, ve kterých má hodnota výstupu y zapsaného rovncí y = n = w x odlšné znaménko (t e buď kladná, nebo záporná) Pro body ležící na této nadrovně e hodnota výstupu nulová Vzdálenost ρ bodu [x,, x n ] od této nadrovny e dána rovncí: 8

29 ρ = w + 0 = n w x = y n n w = = w Tedy absolutní hodnota y výstupu z neuronu Adalne závsí lneárně na vzdálenost bodu od nadrovny ve vstupním prostoru: y n = = w ρ Body ze vstupního prostoru, které maí stený výstup, leží na edné nadrovně rovnoběžné s nadrovnou w + w x = 0, která e od ní ve vzdálenost ρ ve směru daném znaménkem y Uvedená stuace e načrtnuta na obrázku 0, kde nadrovna určená steným výstupem e znázorněna přerušovanou čarou 0 n = n = w0 + w x = 0 y<0 y>0 ρ [x,,x n ] y n w = = ρ Obrázek 0: Geometrcká nterpretace funkce neuronu Adalne 43 Madalne Madalne, t Many Adaptve Lnear Neurons Základním prvkem v tomto modelu e neuron Adalne, který e velm podobný perceptronu Jednoduchá archtektura neuronové sítě Madalne e zobrazena na 9

30 obrázku Výstupy (z a z ) z obou skrytých neuronů typu Adalne (Z a Z ), sou určeny steným sgnály (x a x ) vycházeícím z neuronů X a X, které samozřemě závsí na příslušné prahové funkc Pak skutečný výstup y e nelneární funkcí vstupního vektoru (x, x ) a příslušné prahové funkce Použtí skrytých neuronů Z a Z sce dává sít větší výpočtové možnost, ale naprot tomu komplkue adaptační proces X b w w Z v b 3 Y w Z v X w b Obrázek : Madalne se dvěma skrytým neurony Adalne a edním výstupním neuronem Adalne Původní adaptační algortmus MRI (z roku 960) adaptue pouze váhové hodnoty příslušeící oběma skrytým neuronům, zatímco váhové hodnoty příslušeící výstupnímu neuronu sou fxní Adaptační algortmus MRII (z roku 987) upravue všechny váhové hodnoty Dále budeme pracovat pouze s adaptačním algortmem MRI: Váhové hodnoty v a v a bas b 3, příslušeící výstupnímu neuronu Y, sou určeny tak, že výstupní sgnál z Y e roven, pokud e alespoň edna hodnota sgnálu vycházeícího ze skrytých neuronů (t Z a Z nebo obou z nch) rovna edné Pokud sou oba sgnály vysílané ze Z Z rovny -, má výstupní sgnál z Y hodnotu - Jným slovy, výstupní neuron Y provádí logckou funkc OR na sgnálech vysílaných z neuronů Z a Z Můžeme tedy přřadt v v b 3 =, =, = Váhové hodnoty příslušeící prvnímu skrytému neuronu Adalne (w a w ) a váhové hodnoty příslušeící druhému skrytému neuronu Adalne (w a w ) sou adaptovány podle algortmu MRI takto: Aktvační funkce pro Z, Z a Y e dána následovně: f ( x) pokud x 0; = pokud x < 0 30

31 Adaptační algortmus MRI []: Krok 0 Váhové hodnoty v a v a bas b 3 sou ncalzovány výše uvedeným způsobem Incalzace zbývaících vah malým náhodným hodnotam Přřazení ncalzační hodnoty koefcentu učení α steným způsobem ako v adaptačním algortmu pro neuron Adalne Krok Dokud není splněna podmínka ukončení výpočtu, opakovat kroky ( až 8) Krok Pro každý bpolární trénnkový pár s:t provádět kroky (3 až 7) Krok 3 Aktvovat vstupní neurony: x = s Krok 4 Vypočítat vstupní hodnoty skrytých neuronů: z_ n = b + x w + x w, z_ n = b + x w + x w Krok 5 Stanovení výstupních hodnot skrytých neuronů: z z = ( _ ), ( ) f z n = f z_ n Krok 6 Stanovení skutečné výstupní hodnoty sgnálu neuronové sítě Madalne: y_ n = b + z v + z v ; 3 ( ) y = f y_ n Krok 7 Aktualzovat váhové hodnoty: Pokud e y = t, nenastávaí žádné změny Jnak (pro y t): Je-l t =, potom pro váhové hodnoty na spoeních vedoucích k Z J (J=,) platí: w J (new) = w J (old) + α ( - z_n J ) x 3

32 Krok 8 b J (new) = b J (old) + α ( - z_n J ) Je-l t = -, potom pro váhové hodnoty na spoeních vedoucích k Z K (K=,) platí: w K (new) = w K (old) + α (- - z_n K ) x b K (new) = b K (old) + α (- - z_n K ) Podmínka ukončení: pokud ž nenastávaí žádné změny váhových hodnot nebo pokud ž bylo vykonáno maxmálně defnované množství váhových změn, stop; nak, pokračovat Příklad: Adaptační algortmus MRI pro logckou funkc XOR (bpolární vstupní výstupní hodnoty) e zapsán následovně: VSTUP POŽADOVANÝ x x VÝSTUP Krok 0 α = 05; Incalzace váhových hodnot: váhy vedoucí do Z váhy vedoucí do Z váhy vedoucí do Y w w b w w b v v b 3 0,05 0, 0,3 0, 0, 0,5 0,5 0,5 0,5 Krok Adaptace: Krok Pro první trénnkový pár; (,):- Krok 3 x =, x = Krok 4 z_n = 0,3 + 0,05 + 0, = 0,55, z_n = 0,5 + 0, + 0, = 0,45 Krok 5 z =, z = Krok 6 y_n = 0,5 + 0,5 + 0,5; y = Krok 7 t - y = -- = - 0, Pokud e t = -, potom aktualzovat váhové hodnoty na spoeních vedoucích k Z : 3

33 b w w ( new) = b ( old ) + α( z _ n ) = 0,3 + ( 0,5)(,55 ) = 0,475 new = w old + α z _ n x ( ) ( ) ( ) = 0,05 + ( 0,5)(,55 ) = 0,75 = w old + α z _ n x ( new) ( ) ( ) = 0, + ( 0,5)(,55) = 0,575 a aktualzovat váhové hodnoty na spoeních vedoucích k Z : b new = b old + α z _ n w w ( ) ( ) ( ) = 0,5 + ( 0,5)(,45) = 0,575 new = w old + α z _ n x ( ) ( ) ( ) = 0, + ( 0,5)(,45) = 0,65 ( new) w ( old ) + α( z _ n ) = 0, + ( 0,5)(,45) = 0,55 = x Po čtyřech trénnkových cyklech, byly nalezeny tyto váhové hodnoty: w = - 0,73 w =,7 w =,53 w = -,33 b = - 0,99 b = -,09 Geometrcká nterpretace nalezených váhových hodnot: Oblast kladné odezvy vznkne sednocením obou oblastí poztvní odezvy skrytých neuronů Z a Z Pro skrytý neuron Z má hranční přímka tvar x w = w 0,73 0,99 = x +,53,53 = 0,48x + 0,65 x b w 33

34 Pro skrytý neuron Z má hranční přímka tvar x w = w,7 = x,33 = 0,96x x b w,09 +,33 0,8 Vypočítané oblast kladné a záporné odezvy na vstupní sgnál sou znázorněny na následuících obrázcích: + x - x - Obrázek : Oblast kladné odezvy pro Z + + x - x - + Obrázek 3: Oblast kladné odezvy pro Z 34

35 + x - x - + Obrázek 4: Oblast kladné odezvy pro Madalne pro XOR funkc 44 Klasfkace vzorů Rozpoznáván vzorů (Pattern Recognton) e ednou z nedůležtěších aplkací teore neuronových sítí Obecně tento proces probíhá ve dvou krocích: neprve e nutné určt charakterstcký rys obektů a potom podle ně obekty klasfkovat Máme-l n navzáem různých vstupů, můžeme použít m odpovídaících n různých symbolů a vytvořtz nch množnu, kterou nazýváme charakterstcký vektor (feature vector) Tento n - rozměrný vektor charakterzue n - rozměrný charakterstcký prostor (feature space) Podstatou správného rozpoznávání e určení vhodného tvaru tzv rozlšovací funkce (dscrmnant functon) Rozlšovací funkce e matematcky popsána rovncí nadrovny Určení takovéto hrance nebývá většnou v prax tak ednoduché Exstue mnoho způsobů, ak stanovt eí tvar rozlšovací funkce, např metodou klasfkace s užtím neblžších sousedů (nearest neghbour classfcaton), lneární klasfkací (lnear classfers), statstckým technkam (Bayesan classfcaton) apod Lneární metody klasfkace sou neblžší aplkacím teore umělých neuronových sítí Jedním ze způsobů, ež umožňue nalézt rovnc odděluící hadrovny e algortmus adaptace perceptronu 35

36 Na následuících dvou obrázcích [] sou souhrnně zobrazeny různé tyty neuronových sítí (t neuronové sítě s různým počtem vntřních vrstev) a ech možnost klasfkace STRUKTURA NEURONOVÉ SÍTĚ XOR PROBLÉM OBTÉKÁNÍ OBLASTÍ OBECNÉ OBLASTI vrstva (perceptron) A B A B B A vrstvy (Madalne) A B A B B A 3 vrstvy A B A B B A Obrázek 5: Neuronové sítě s různým počtem vntřních vrstev a ech možnost klasfkace 36

37 vstupy -vrstvá neuronová síť (perceptron) lneární oblast -vrstvá neuronová síť (Madalne) konvexní oblast 3-vrstvá neuronová síť obecné oblast vstupní neurony (přenášeí vstupní sgnál) pracovní neurony Obrázek 6: Mezní oblast rozpoznávané neuronovou sítí s různým počtem vntřních vrstev Nedůležtěší probrané pomy: - perceptron, - adaptační pravdlo perceptronu, - koefcent učení, - práh, - Adalne, - Madalne, - delta pravdlo, - pattern recognton Úkoly a otázky k textu: Srovnete Hebbovo adaptační pravdlo a adaptační pravdlo perceptronu Srovnete adaptační algortmus neuronu Adalne a perceptronu 3 Srovnete geometrckou nterpretac funkce neuronu Adalne a perceptronu 37

38 Korespondenční úkol (vybraný úkol vykonete): Vytvořte počítačový program pro realzac adaptačního algortmu perceptronu Vytvořte počítačový program pro realzac adaptačního algortmu Adalne 3 Vytvořte počítačový program pro realzac adaptačního algortmu MRI 38

39 5 BACKPROPAGATION Cíl: Po prostudování této kaptoly se seznámíte: - adaptací vícevrstvé neuronové sítě; - s možným modfkacem adaptačního algortmu backpropagaton V této kaptole rozebereme problematku vhodné volby topologe vícevrstvé neuronové sítě, která by měla odpovídat složtost řešeného problému Dále se podrobně seznámíte s adaptačním algortmem zpětného šíření chyby (backpropagaton), ež e používán v přblžně 80% všech aplkací neuronových (t e nerozšířeněším adaptačním algortmem vícevrstvých neuronových sítí) Seznámíte se zde s možným varantam adaptačního pravdla backpropagaton, t do standardního algortmu zavedeme parametr momentu a modfkovatelný parametr strmost Zavedeme s zde další značení, které budeme používat v následných kaptolách V této kaptole budeme používat následuící značení: x Vstupní vektor: x = (x,, x,, x n ) t Výstupní trénnkový vektor: t = (t,, t k,, t m ) δ k δ α X v 0 Z w 0k Y k Částečné váhové korekce pro w k příslušeící chybě na spoeních vedoucích k neuronu Y k ve výstupní vrstvě Částečné váhové korekce pro v příslušeící chybě na spoeních vedoucích k neuronu Z ve skryté vrstvě Koefcent učení neuron ve vstupní vrstvě: Pro neurony ve vstupní vrstvě e hodnota vstupního výstupního sgnálu stená, x Bas neuronu ve skryté vrstvě neuron ve skryté vrstvě: Hodnota vstupního sgnálu pro Z e z_n : z n = v x v _ 0 + Hodnota vstupního sgnálu pro Z e z : z = f z_ n ( ) Bas k neuronu ve výstupní vrstvě k neuron ve výstupní vrstvě: Hodnota vstupního sgnálu pro Y k e y_n k : y_ n w z w = + k 0 k k Hodnota vstupního sgnálu pro Z e z : y = f y_ n k ( ) k 39

40 topologe vícevrstvé sítě Pravděpodobně nerozšířeněší způsob propoení neuronů se sgmodní aktvační funkcí sou vícevrstvé sítě Vícevrstvá neuronová síť s ednou vntřní vrstvou neuronů (neurony sou označeny Z, =,, p) e zobrazena na obrázku 7 Výstupní neurony (neurony sou označeny Y k, k =,, m) Neurony ve výstupní a vntřní vrstvě musí mít defnovaný bas Typcké označení pro bas k neuronu (Y k ) ve výstupní vrstvě e w 0k, a typcké označení pro bas neuronu (Z ) ve vntřní vrstvě e v 0 Bas (např neuronu) odpovídá, ak ž bylo dříve uvedeno, váhové hodnotě přřazené spoení mez daným neuronem a fktvním neuronem, ehož aktvace e vždy Z uvedeného obrázku tedy vyplývá, že vícevrstvá neuronová síť e tvořena mnmálně třem vrstvam neuronů: vstupní, výstupní a alespoň ednou vntřní vrstvou Vždy mez dvěm sousedním vrstvam se pak nachází tzv úplné propoení neuronů, tedy každý neuron nžší vrstvy e spoen se všem neurony vrstvy vyšší VÝSTUPNÍ VRSTVA Y Y k Y m w 0 w w 0m Z Z Z p v 0 w 0k v 0 v w k v w m v p v 0p X X X n Obrázek 7: Neuronová síť s ednou vntřní vrstvou neuronů w v Velkým problémem modelu vícevrstvé neuronové sítě s adaptačním algortmem backpropagaton e (kromě mnmalzace chybové funkce) volba vhodné topologe pro řešení konkrétního praktckého problému Zřídkakdy sou podrobně známy vztahy mez vstupy a výstupy, které by se daly využít př návrhu specální archtektury Většnou se používá vícevrstvá topologe s ednou nebo dvěm vntřním vrstvam a očekává se, že učící algortmus backpropagaton zobecní příslušné vztahy z trénnkové množny ve vahách ednotlvých spoů mez neurony I v tomto případě e však potřeba vhodně volt počty neuronů ve vntřních vrstvách Je zřemé, že tento problém organzační dynamky úzce souvsí s adaptací a generalzací neuronové sítě Archtektura vícevrstvé neuronové sítě (t určení vhodného počtu vntřních neuronů a ech spoení), by měla w k v w m VSTUPNÍ VRSTVA v p w p v n w pk v n w pm v np SKRYTÁ (vntřní) VRSTVA 40

41 odpovídat složtost řešeného problému, t počtu trénnkových vzorů, ech vstupů a výstupů a struktuře vztahů, které popsuí Je zřemé, že malá síť nemůže řešt komplkovaný problém Př učení pomocí algortmu backpropagaton se přílš malá síť obvykle zastaví v něakém mělkém lokálním mnmu a e potřeba topolog doplnt o další vntřní neurony, aby adaptace měla větší stupeň volnost Na druhou stranu bohatá archtektura sce př učení mnohdy umožní nalézt globální mnmum chybové funkce, když s větším počtem vah roste výpočetní náročnost adaptace Avšak nalezená konfgurace sítě obvykle přílš zobecňue trénnkové vzory včetně ech nepřesností a chyb a pro nenaučené vzory dává chybné výsledky, t špatně generalzue Tomuto přesnému zapamatování trénnkové množny bez zobecnění zákontostí v ní obsažených se říká přeučení (overfttng) [6] Zdá se tedy, že exstue optmální topologe, která e na ednu stranu dostatečně bohatá, aby byla schopna řešt daný problém, a na druhou stranu ne moc velká, aby správně zobecnla potřebné vztahy mez vstupy a výstupy Exstuí sce teoretcké výsledky ohledně horního odhadu počtu vntřních neuronů postačuících pro realzac lbovolné funkce z určté třídy, avšak pro praktcké potřeby sou přílš nadhodnocené, a tedy nepoužtelné V prax se obvykle topologe volí heurstcky, např v první vntřní vrstvě o něco více neuronů, než e vstupů a v druhé vrstvě artmetcký průmět mez počtem výstupů a neuronů v první vntřní vrstvě Po adaptac se v případě velké chyby sítě případně přdá, respektve př chudé generalzac odebere několk neuronů a adaptvní režm se celý opakue pro novou archtekturu Pro test kvalty generalzace neuronové sítě se počítá chyba sítě vzhledem k tzv testovací množně, což e část trénnkové množny, která se záměrně nevyužla k adaptac 5 Standardní metoda backpropagaton Adaptační algortmus zpětného šíření chyby (backpropagaton) e používán v přblžně 80% všech aplkací neuronových sítí Samotný algortmus obsahue tř etapy: dopředné (feedforward) šíření vstupního sgnálu trénnkového vzoru, zpětné šíření chyby a aktualzace váhových hodnot na spoeních Během dopředného šíření sgnálu obdrží každý neuron ve vstupní vrstvě (X, =,, n) vstupní sgnál (x ) a zprostředkue eho přenos ke všem neuronům vntřní vrstvy (Z,, Z p ) Každý neuron ve vntřní vrstvě vypočítá svou aktvac (z ) a pošle tento sgnál všem neuronům ve výstupní vrstvě Každý neuron ve výstupní vrstvě vypočítá svou aktvac (y k ), která odpovídá eho skutečnému výstupu (k neuronu) po předložení vstupního vzoru V podstatě tímto způsobem získáme odezvu neuronové sítě na vstupní podnět daný exctací neuronů vstupní vrstvy Takovým způsobem probíhá šíření sgnálů v bologckém systému, kde vstupní vrstva může být tvořena např zrakovým buňkam a ve výstupní vrstvě mozku sou pak dentfkovány ednotlvé obekty sledování Otázkou pak zůstává to nedůležtěší, akým způsobem sou stanoveny synaptcké váhy vedoucí pops algortmu zpětného šíření 4