UMĚLÉ NEURONOVÉ SÍTĚ A FUZZY SYSTÉMY

Transkript

1 Evropský polytechnický institut, s.r.o. Kunovice Prof. Ing. Vladimír M I K U L A, CSc. UMĚLÉ NEURONOVÉ SÍTĚ A FUZZY SYSTÉMY Teoretické základy KUNOVICE

2 PŘEDMLUVA Cílem předmětu Umělé neuronové sítě a fuzzy systémy (FUZ) je naučit studenty principům umělých neuronových sítí a fuzzy logiky a seznámit je s možnostmi jejich využití pro řešení problémů v příslušném oboru metodami umělé inteligence. Studenti se v přednáškách v úvodu seznámí s nejdůležitějšími vlastnostmi umělých neuronových sítí, s jejich porovnáním s konvenčními sekvenčními počítači, s výhodami a nevýhodami UNS a s oblastmi jejich využití. Stručně se seznámí s přehledem historického vývoje poznatků v oblasti umělých neuronových sítí a se současným stavem v této oblasti a s fundamentální literaturou pojednávající o této problematice i o zajímavých informacích publikovaných na Internetu. Pro získání přehledu o motivačních aspektech působících při vývoji umělých neuronových sítí budou uvedeny nejdůležitější poznatky o přirozených neuronových systémech živých organizmů, zejména o lidském mozku Studenti získají přehled o modelování umělých neuronů a neuronových sítí, o nejpoužívanějších paradigmatech UNS: o dopředných sítích ( feed-forward) typu mnohovrstvový perceptron ( MLP) s učením metodou zpětného šíření chybového signálu (BP), dále se seznámí se sítěmi typu samoorganizačních ( Kohonenových) map (SOM) se soutěžním učením a se zpětnovazebními Hopfieldovými sítěmi typu CAM ( content addressable memories) s rekurentním výpočtem průběžných výstupních vzorků.současně obecnějšího problému optimalizace systémů) se studenti seznámí s genetickými algoritmy (GA) obecně a zvlášť pak v souvislosti s UNS. Druhou část předmětu tvoří problematika fuzzy systémů, založených na hodnocení situací a dějů s využitím fuzzy logiky, která je obecnější než klasická, tzv. binární, "ostrá" logika používaná v digitálních systémech, zejména v konvenčních počítačích, a je vhodná zejména v případech, kdy složité systémy nebo aktivity si vyžadují řadu zjednodušení a používání vágních pojmů, s kterými operuje přirozený jazyk a kdy exaktní matematický model systému buď zatím není k dispozici, nebo jeho použití vzhledem ke složitosti by bylo obtížné, těžkopádné, nebo i nesmyslné. Použití fuzzy logiky pro řešení takové problematiky je možné a výhodné, zejména když jsou k dispozici expertní znalosti o dané problematice. Studenti se úvodem seznámí s vývojem poznatků v oblasti fuzzy systémů, s některými stěžejními literárními prameny a taky získají přehled o současném stavu, jak je přinášejí četné novější prameny na Internetu. V teoretických základech fuzzy systémů budu student seznámen s pojmem fuzzy množiny a s dalšími pojmy ( alfa-řez, alfa-hladina, jádro), dále se základními operacemi s fuzzy množinami ( sjednocení, průnik, doplněk, atd.) a s vlastnostmi operací s fuzzy množinami ( s pravidly fuzzy logiky), s fuzzy čísly a s operacemi s nimi na bázi tzv. intervalové aritmetiky, dále s pojmem lingvistické proměnné a se zásadami fuzzifikace proměných. Probrány budou zásady a algoritmy využití teorie fuzzy množin a fuzzy logiky v procesu rozhodování a řízení na základě pravidel typu IF < antecedent > THEN <consequent> OR (ELSE), která tvoří banku pravidel FAM. Naučí se vytvářet koncepce fuzzy systémů a algoritmy jejich činnosti:úpravě proměnných, fuzzifikaci vstupních a výstupních proměnných, sestavení banky pravidel (FAM) na základě expertních znalostí řešeného problému, fuzzy inferencím, defuzzifikaci centroidu výstupní veličiny a úpravě výstupních hodnot. Teoretické znalosti si rozšíří o problematiku reprezentace fuzzy množin využitím jejich alfa-řezů a metody hodnocení vzdálenost fuzzy množin a stanovení míry jejich fuzzitivity. V praktické části předmětu se seznámí s metodami a programy pro řešení vybraných úloh z příslušného oboru. -2-

3 Prof. Ing. Vladimír Mikula, CSc. UMĚLÉ NEURONOVÉ SÍTĚ Teoretické základy OBSAH strana PŘEDMLUVA 2 1. ÚVOD 3 2. PŘIROZENÉ NEURONOVÉ SÍTĚ 7 Lidský mozek 3. UMĚLÉ NEURONY A UMĚLÉ NEURONOVÉ SÍTĚ 9 Modelování umělých neuronů a umělých neuronových sítí 4. PARADIGMATA UMĚLÝCH NEURONOVÝCH SÍTÍ 12 Přehled paradigmat z hlediska topologie a metod učení 5. MNOHOVRSTVOVÝ PERCEPTRON ( MLP) NEURONOVÉ SÍTĚ SE SOUTĚŽNÍM ( KOMPETITIVNÍM ) UČENÍM (SOM ) 19 Kohonenovy samoorganizační mapy 7. SÍTĚ ZPĚTNOVAZEBNÍ (FEEDBACK) 23 Hopfieldovy sítě CAM content addressable memories) 8. VYUŽITÍ GENETICKÝCH ALGORITMŮ (GA) PRO OPTIMALIZACI PARA- METRŮ NEURONOVÉ SÍTĚ REALIZACE UMĚLÝCH NEURONOVÝCH SÍTÍ Problematika návrhu UNS 9.2 Příklady koncepce UNS 10. SIMULÁTORY UMĚLÝCH NEURONOVÝCH SÍTÍ APLIKACE SIMULÁTORŮ UNS (zpracoval Ing. J. Petrucha, PhD ) 43 Simulátor I Simulátor II Simulátor III 12. SOUHRNNÝ PŘEHLED LITERATURY 56-3-

4 1. ÚVOD Umělé neuronové sítě ( UNS) jsou systémy s masivním paralelním zpracováním signálů ( informací ). Napodobují procesy probíhající v přirozených neuronových systémech vyšších organizmů ( především člověka). Důležitým atributem UNS je schopnost učit se z předloh (učicích vzorů). UNS patří do oblasti tzv.umělé inteligence.příbuzné obory z nichž UNS čerpají své poznatky jsou: neurobiologie, genetika, výpočetní technika, mikroelektronika, robotika a další obory. Porovnání UNS s konvenčními sekvenčními počítači: Konvenční počítače pracují převážně na bázi postupného vykonávání sekvence příkazů podle programu, tedy sériově. Spolehlivost funkce takového systému (vyjádřená např. pravděpodobností určité doby bezporuchové funkce jednotlivých bloků a také celého systému) je dána přibližně součinem spolehlivostí jednotlivých funkčních bloků, realizujících dílčí programy. Je zřejmé, že porucha, nebo třeba jenom snížená spolehlivost byť i v jediném bloku může znamenat selhání celého systému. Příroda za dlouhý čas vývoje organizmů postupovala cestou paralelizmu a distribuce zpracování informací v relativně nezávisle pracujících blocích. Též paměť je v živých organizmech distribuovaná. Blokové uspořádání paralelně pracujícího systému (např. UNS) ukazuje Obr. 1. složky [1] B 1 [l výst] B 1 vstup. y 1 signálu složky x 1 x 1 výst. signálu X x 2 x 2 [1] B 2 [l výst] B 2 Y y 2 x n0 x n0 [1] blok pro B n1 distribuci vst. dat B n výst [lvýst ] y n výst 1. skrytá vrstva další skryté výstupní vrstva n 0 uzlů n 1 bloků vrstvy n výst bloků Obr.1. Blokové uspořádání paralelního (distribuovaného) systému, např. UNS typu MLP. Výhody UNS - zvýšení spolehlivosti : při poruše v jednom nebo v malém počtu bloků a při schopnosti sítě učit se převezmou ( po dodatečném učicím procesu) ostatní fungující bloky též úlohu poškozených bloků, což má zásadní význam pro přežití systému (např. u přirozené neuronové sítě člověka možnost rekonvalescence po mozkové příhodě a po dodatečném tréninku postižených funkcí). -4-

5 - UNS se s výhodou mohou využívat i tehdy, když není znám analytický ( matematický ) model systému. Znalost o jeho vlastnostech a chování se získá z učicích předloh (vzorů) jimiž se ovlivňuje optimalizace parametrů sítě, např. synaptických váhových koeficientů, - velká rychlost funkce natrénované sítě. Důležitými vlastnostmi UNS jsou: rozlišovací schopnost a schopnost generalizace Nevýhody UNS - Obtíže se zdůvodněním a identifikací procesů probíhajících v UNS - Příliš velký počet stupňů volnosti, závislý na počtu neuronů a synapsí - Velký počet variant uspořádaní UNS pro požadované řešení úloh - Problémy s nalezením optimální varianty paradigmatu sítě - Při použití simulace UNS na sekvenčním počítači ztráta rychlosti a spolehlivosti Oblasti použití UNS Dílčí oblasti umělé inteligence: - Rozpoznávání a klasifikace předloh - Korekce chybných (narušených) předloh - Predikce trendů a časových řad - Řízení - Rozhodování - Zpracování řečových a obrazových signálů - Umělé vidění - Robotika - Expertní systémy a další oblasti. Přehled historického vývoje poznatků v oblasti umělých neuronových sítí Starověké názory na myšlení jsou uvedeny ve spisech starověkých filozofů. Z novověkých myslitelů se základy teorie myšlení zabýval René Descartes ( asi před 370 lety) Norbert Wiener ( asi před 70 lety) položil základy koncepce kybernetiky a též modelování činnosti mozku. McCulloch a Pitts ve své práci z r publikovali model umělého neuronu se sumátorem a s váhovaným vstupem signálu. Newel a Simon položili základy umělé inteligence. D.O. Hebb (1949)- modelování neuronů a pravidla učení (dosud používaný Hebbův algoritmus učení UNS). F. Rosenblatt ( )- perceptron, základy neurodynamiky. B. Widrow a E. Hoff [8] na Stanford University of California prezentovali tzv. ADA- LINE (Adaptive Linear Element) a vícevrstvový perceptron MADALINE, dále pravidla učení UNS tzv. Delta rule a LMS (least mean square). Minski a Pappert (1959) uveřejnili kritiku perceptronu a dokázali, že jednovrstvová dopředná síť není schopna rozlišit funkce typu EXCLUSIVE-OR nebo její negaci. Jejich kritika působila útlum v bádání o neuronových sítích. Tento nedostatek byl odstraněn zavedením mnohovrstvových sítí (multilayer perceptrons, MLP) s učením se zpětným šířením chybového signálu back propagation of error signal, BP) pro úpravu váhových koeficientů. Werbos (1974) uveřejnil doktorskou disertaci o zpětném šíření chybového signálu-vý- -5-

6 znamný pokrok v teorii UNS. Grossberg, Hinton a další rozpracovali dále metodiku MLP s učením metodou BP. T. Kohonen (1982) z Helsinki University vypracoval UNS se soutěžním (kompetitivním) učením- tzv. Kohonenovy samoorganizační mapy SOM. Hopfield (1982) uvedl zpětnovazební rekurentní asociační sítě (CAM- content addressable memories ) známé jako Hopfieldovy sítě. Sejnowski aj. (1986)- UNS typu NetTalk s aplikací BP. B.Kosko (1987) zavedl tzv. obousměrné asociativní paměti- BAM (bidirectional associative memories ) jako zdokonalení Hopfieldových sítí. Bádal též v oblasti fuzzy systémů a prezentoval sjednocující pohled na neuronové sítě a fuzzy systémy [4]. L.O. Chua a další (1988) uvedli tzv. celulární neuronové sítě CNN. V r byl zveřejněn první komerčně dostupný čip pro UNS Intel i V dalších letech až po současnost bouřlivý rozvoj UNS, vydávání specializovaných časopisů, mnoho vědeckých prací s aplikacemi UNS v různých oborech, mnoho prací též na Internetu (viz Přehled literatury na konci této práce). Klíčová slova : Umělé neuronové sítě (UNS), umělá inteligence, paralelní zpracování informací, učení z předloh, klasifikace předloh, neuron, synapse, umělý neuron, struktura sítě, paradigma neuronové sítě, neuronové vrstvy, distribuční uzel, skrytá vrstva (hidden layer), výstupní vrstva. Shrnuti: Úvodní kapitola obsahuje vysvětlení pojmu umělé neuronové sítě jako části rozsáhlejšího oboru umělé inteligence. Je poukázáno na souvislosti s dalšími obory a uvedeno je stručné porovnání UNS s konvenčními (sekvenčními) počítači.. Uvedeny jsou výhody UNS, především masový paralelizmus zpracování dat a schopnost učit se z předložených vzorů, ale také nevýhody UNS a uvedeny jsou důležité oblasti využití UNS, zejména v rozpoznávání a klasifikaci předloh, v predikci trendů a časových řad, v řízení a rozhodování, atd. Závěrem úvodní kapitoly je uveden stručný přehled historického vývoje poznatků v oblasti umělých neuronových sítí. Otázky a úkoly: 1. Vysvětlete princip umělých neuronových sítí a uveďte jejich srovnání s konvenčními počítači. 2. Uveďte stručný přehled vývoje poznatků v oblasti UNS a uveďte zejména poznatky o současném stavu v této oblasti. Samostatná práce studenta: Využijte Internet pro získání dostupných pramenů o umělých neuronových sítích. -6-

7 Doporučená literatura: [1] MIKULA, V.: Umělé neuronové sítě (Teoretické základy).elektronické učební texty EPI Kunovice, [2] NOVÁK, M. a kol.: Umělé neuronové sítě - Teorie a aplikace. I. vydání. Nakladatelství C. H. Beck Praha, [3] HAYKIN, S.: Neural Networks. A Comprehensive Foundation. MacMillan College Publishing Company, New York, [4] HECHT-NIELSEN, R.: Neurocomputing. Addison-Wesley Publ. Co [5] KOSKO, B.: Neural Networks and Fuzzy Systems. Prentice-Hall, 1992 [6] LAWRENCE, J.: Introduction to Neural Networks. California Scient. Software. 3rd Edition, [7] POKORNÝ, M.: Umělá inteligence v modelování a řízení.. BEN Technická literatura Praha,1996. [8] ŠNOREK, M.- JIŘINA, M.: Neuronové sítě a neuropočítače. Vydavatelství ČVUT Praha, PŘIROZENÉ NEURONOVÉ SÍTĚ 2.1 Lidský mozek Je jednou z nejsložitějších známých soustav ve Vesmíru. Schématické znázornění je uvedeno na Obr.2. Podrobnější popis lze najít ve značném počtu literárních pramenů, např. [ 1 ], [ 6 ]. Mozek se skládá z mozkových buněk různého typu a funkce: z neuronů, gliových buněk, atd. Neurony jsou specializované buňky, v nichž probíhá zpracování biosignálů. Uspořádání neuronu ukazuje Obr. 3. Neuronů je v lidském mozku asi (sto miliard). Neuron mívá až 10 4 synapsí, které jsou stykovými místy neuronové buňky s jejím okolím. Celková informační mohutnost (zjednodušeně daná součinem počtu neuronů a počtu spojů (synapsí) je tedy asi x 10 4 = (standardní počítače mají informační mohutnost asi ). Šedá mozková kůra (cortex) má tlouštku asi 3 mm a obsahuje hlavně somata neuronů, bíla vrstva mozku je spletí axonů. Mozkové buňky jsou funkčně uspořádány ve vrstvách (až 6 vrstev). Bylo pozorováno neobnovitelné odumírání neuronů denně až , avšak za 75 let života je to jenom asi (0,2-0,5)% z celkového počtu neuronů. senzorická část motorická část frontální část temporální část thalamus mozeček Obr.2. Schématické znázornění lidského mozku. míšní kmem -7-

8 dendrity synapse synapse na jiném neuronu jádro (nucleus) myelinový obal soma axon Ranvierovy zářezy synapse synapse rozvětvení na konci synapse na jiném dendritu axonu axonu Obr.3. Schématické uspořádání neuronu Podněty (biosignály) působí přes synapse, které představují pro neuronové buňky jakousi obdobu interfejsů (stykových prvků), na somata neuronů a excitují je, nebo mají inhibiční, tj. utlumovací účinek. V buňce dochází k sumaci váhovaných vstupních složek elektrických biosignálů. Buněčná membrána je polarizovaná. Rozdíl potenciálů mezi vnějším a vnitřním povrchem dosahuje až 70 mv. Ke změně potenciálů dochází přes tzv. iontové pumpy pro transport iontů Na+ a K+ [1]. Překročí-li úhrn působení vstupních složek jistou prahovou úroveň, dojde k depolarizaci neuronu a po axonu se začnou šířit elektrické impulsy s frekvencí asi 250 až 1250 impulsů za sekundu. Synapse jsou důležité pro paměť neuronového systému. Lashley [1] svým pokusem při hledání sídla paměti dokázal, že paměť je v mozku distribuovaná v jednotlivých neuronech. Paměť má několik stupňů: krátkodobá uskutečňovaná cirkulací vzruchů po uzavřených neuronových okruzích, střednědobá ( paměťové stopy, vznikající mnohonásobným opakováním průchodů vzruchů synapsemi, přičemž vznikají nové ribonukleinové kyseliny a dlouhodobá paměť- vzniká otiskem těchto kyselin do bílkovinných struktur (velmi stabilní zápis). Klíčová slova: Neurony (neuronové buňky), synapse, jádro neuronu, dendrity, axon, myelinový obal, polarizace buněčné membrány, Ranviérovy zářezy, šíření biosignálu, paměť, Lashleyho pokus, krátkodobá, střednědobá, dlouhodobá paměť. Shrnutí: Obsahem druhé kapitoly je stručný přehled poznatků o přirozené neuronové síti (mozku) vyšších organizmů, zejména člověka. Umělé neuronové sítě ve svých počátcích byly vytvářeny a zkoumány jako systémy napodobující myšlení, alespoň v některých aspektech. V této kapitole jsou uvedeny základní poznatky o neuronech, jejich schématickém uspořádání, o jádru (nucleus) neuronu, dendritech, synapsích, axonu, o excitaci neuronu, o šíření biosignálů podél axonů a o propojení neuronů ve vrstvách do složitých neuronových sítí. -8-

9 Otázky a úkoly: 1. Uveďte stručný přehled o struktuře a funkci přirozené neuronové soustavy vyšších živočichů, zejména člověka. 2. Nakreslete schématické uspořádání neuronové buňky (neuronu) a objasněte funkci a význam jádra, dendritů, synapsí, axonu, myelinového obalu a Ranviérových zářezů, princip aktivace neuronu, šíření biosignálu podél axonu, význam synapsí pro paměť. Samostatná práce studenta: Rozšiřte své znalosti o přirozených neuronových sítích z pramenů v dostupné literatuře, zejména [2] a na Internetu. Doporučená literatura: Stejná jako v kapitole1. 3. UMĚLĚ NEURONY A UMĚLÉ NEURONOVÉ SÍTĚ a. Modelování umělých neuronů Funkci přirozených neuronů lze modelovat elektronickými obvody. Jeden z nejstarších, ale dosud používaných modelů publikovali McCulloch a Pitts v práci A Logical Calculus of Ideas Immanent in Nervous Activity. Journal of Math. Biophys., 5 (1943)- Obr.4. x 0 w 0 n x 1 s = Σw i x i y X x 2 i = 0 1 y = f(s) w 2 su ΣΣ ΣΣ sumátor 0 s x n w n nelineární přenosový člen Obr.4. Model umělého neuronu. Zde x 0 je velikost posuvné složky -obvykle volíme x 0 = 1, w 0 je váhový koeficient prahového vstupu, součin w 0 x 0 - velikost prahové hodnoty ( někdy se označuje symbolem Θ, nebo T threshold), která má být při aktivaci překročena x 1 až x n jsou složky vstupního signálu ( vstupní předlohy nebo vzoru) X vektor vstupního signálu X = { x 1, x 2, x n } Suma váhovaných vstupů n s = Σ w i x i má být větší než 0 (1) i=1 Nelineární přenosový člen má výrazně saturační charakter, tj. pro velké hodnoty -9-

10 s>> 0 se y asymptoticky blíží ke konstantě, např. k = 1, zatímco při s záporném, ale s >> 1 se y asymptoticky blíží k 0 ( unipolární funkce), nebo k 1 (bipolární funkce). Některé často používané nelineární přenosové funkce jsou znázorněny na Obr. 5. V tzv. dopředních sítích ( feed-forward) se s výhodou používá funkce zvaná sigmoida y = 1/ (1+ e -γs ), která je hladká a dobře diferencovatelná. Pro sítě zpracovávající binární vzory (např. Hopfieldovy sítě) je typické použití tvrdě limitujících funkcí s pravoúhlou charakteristikou tvaru y = sgn (s), nebo nebo y = σ (s) (skoková, Heavisideova funkce). Vhodný sigmoidální tvar získáme také transformací funkce y = tgh(γs) na tvar y = 0,5 (1 + tgh (γs)). Konstanta γ určuje strmost funkce při s = 0. V literatuře najdeme popis dalších vhodných modelů umělých neuronů, avšak MCP ( McCullochův- Pittsův) model s nelinearitou typu sigmoida, nebo sgn(s), nebo σ(s) patří mezi nejpoužívanější. y y σ(s) y y sgn(s) 1 1 ) 1 1 k 0,5 0,5 γ ( γ 0 S 0 s 0 s 0 s 0 s y = ks, 0 s S 0 1 y = tgh(γs) y = 1 s S 0 y = σ(s) y = e γs sgn (s) lineární prahová Heavisideova sigmoidální hyperbolický tangens a signum f. Obr.5. Často používané nelineární přenosové funkce. b. Modelování umělých neuronových sítí Ve shodě s poznatky o vrstvové struktuře přirozených neuronových sítí byly vytvořeny různé modely vrstvových UNS. Jsou reprezentovány tzv. paradigmaty UNS. Paradigma představuje popis topologické struktury UNS, metodu učení podle předkládaných vstupních předloh (učicích vzorů) a zahrnuje i metodiku postupu využívání natrénované UNS, např. pro rozpoznávání vstupních předloh. Neuronové vrstvy mají různou funkci. Ukažme si to na příkladu uspořádání typické UNS- tzv. mnohovrstvového perceptronu ( Obr.6). směr šíření signálu- dopředu (feed-forward) x 1 y 1 N 1 N 1 N 1 X x 2 y 2 Y N 2 N 2 N 2 x n0 y n výst vrstva rozd. N n1 N n2 N n výst uzlů 1. skrytá vrstva 2. skrytá vrstva příp. další výstupní vrstva neuronů neuronů skryté vrstvy neuronů Obr. 6. Schématické uspořádání mnohovrstvové UNS typu MLP. -10-

11 Dopředné sítě (feed-forward) jsou koncipovány obvykle jako vícevrstvové kvůli možnosti rozlišit i předlohy které jednovrstvová dopředná síť nemůže rozlišit. Některé sítě pracují uspokojivě i jako jednovrstvové, např. Hopfieldova síť, nebo Kohonenova samoorganizační mapa. V síti je vždy na vstupu vrstva tzv. rozdělovacích uzlů (fan-out layer) pro distribuci složek vstupních předloh do vstupů jednotlivých výkonných (výpočetních) neuronů. Tyto rozdělovací uzly však nemají sumační funkci. Další, tzv. skryté vrstvy (hidden layers) zpracovávají v každé buňce svůj díl informací, a to paralelně a výsledky distribuují na příslušné vstupy neuronů v další vrstvě až po tzv. výstupní vrstvu, z níž vycházejí výstupní údaje např. pro řazení předloh do klasifikačních tříd, nebo pro jiné účely, např. pro řízení, atd. UNS tak z obecného hlediska představuje transformační systém, který transformuje množinu vstupních předloh X = { X 1, X 2, X L }, kde X i = { x 1i, x 2i, x nvst i }, kde i = 1 až L, L je počet vstupních předloh do množiny výstupních tříd Y = { Y 1, Y 2, Y M }, kde Y i = { y 1i, y 2i, y nvýst i }, i = 1 až M, M je počet výstupních tříd, tedy Y = T { X } kde T je symbol transformace. Počet vrstev a počet neuronů v jednotlivých vrstvách má pro požadovanou transformaci zásadní význam.tato problematika je jednou z důležitých oblastí problematiky syntézy UNS a byla ji v průběhu vývoje UNS věnována velká pozornost [1], [2]. Souvisí s otázkou separability předloh. Nutno poznamenat, že dosud není známá ucelená teorie pro spolehlivý předběžný návrh optimálního počtu vrstev a počtu neuronů v jednotlvých vrstvách a při navrhování UNS se často postupuje s využitím analogie s nějakými známými koncepcemi UNS pro příbuzné úlohy. Důvodem těchto nesnází je zřejmě příliš velká komplikovanost UNS a velký počet stupňů volnosti ( každá synapse představuje alespoň jeden stupeň volnosti). Jde tedy o multidimenzionální systém, jehož globální funkce není jednoduše průzračná. Základním problémem je dosažení potřebné separability vzorů (předloh). Ukažme si podstatu problému na zjednodušeném případu jednovrstvového perceptronu s jedinou neuronovou buňkou typu MCP podle Obr. 4. Nechť pro jednoduchost vstupní předloha X má jenom dvě složky X = {x 1,x 2 } a nechť proměnné x 1 a x 2 mohou nabývat jenom hodnotu 0 nebo 1 (binární logické proměnné), pak i výstupní proměnná bude logická funkce těchto dvou logických proměnných. Z teorie logických funkcí je známo, že n logických proměnných může vytvářet k = 2 n kombinací a N = 2 k různých logických funkcí. V námi uvažovaném případě bude počet kombinací roven k = 2 2 = 4 a počet možných logických funkcí bude N = 2 4 = 16 různých logických funkcí. Jejich přehled je uveden v následujíci tabulce (Tab 1). -11-

12 . x 0 = 1 x 1 w 1 w 0 x 1 x 2 f 1 f 2 f 3 f 4 f 15 f x 2 w 2 s = w 1 x 1 +w 2 x 2 +w sumátor sep. přímky x 2 x 2 f 15 =1 AND OR NAND NOR XOR NXOR 1 f 1 =1 1 f 1 =0 f 15 =0 Tab. 1. Přehled log. funkcí dvou vstupních proměnných a znázornění jejich separability. 0 1 x x 1 AND XOR Uvažujeme lineární percepton ( tj. bez nelineárního výstupního členu). Výstupní hodnota signálu je rovna s = w 1 x 1 + w 2 x 2 + w 0 ( při x 0 = 1 ). Položíme-li s = 0 a vyjádříme zavislost x 2 = f(x 1 ), dostaneme rovnici separační přímky x 2 = (- w 1 /w 2 ) x 1 ( w 0 /w 2 ). Zjistíme, že z uvedených 16 možných funkcí dvou vstupních proměnných je 14 lineárně separabilních tj. k oddělení oblasti v níž funkce dosahuje hodnoty 0 od oblasti, kde dosahuje hodnoty 1 stačí jedna separační přímka, zatímco pro funkce f 15 ( EXCLUSIVE OR,nebo-li XOR) a f 16 ( negace EXCLUSIVE OR, NXOR, ekvivelence) jedna přímka nestačí, pro separaci musí být dvě separační přímky ( viz tabulku) nebo uzavřená separační křivka. U funkcí více vstupních proměnných tento problém vede ke stanovení vícerozměrných separačních ploch. Na řešení separačního problému se narazilo již v počátcích vývoje neuronových sítí (neschopnost separace funkcí XOR a NXOR jednovrstvovou lineární UNS byla předmětem kritiky - Minski a Pappert, 1969) a vedla k rozpracování teorie vícevrstvových perceptronů (Werbos, Hinton,Grosberg, Widrow a další (1974 a dále). Dospělo se k závěrům, že dopředná síť musí být mnohovrstvová. Na základě výsledků řešení tzv. třináctého Hilbertova problému [1] minimální konfigurace UNS typu MLP musí obsahovat jednu vrstvu rozdělovacích uzlů, jejichž počet n 0 se rovná počtu prvků vstupního vektoru X, dále alespoň jednu skrytou vrstvu výpočetních neuronů s počtem neuronů alespoň n 1 = 2 n 0 +1 a jednu výstupní vrstvu výpočetních neuronů s počtem neuronů n výst, rovnajícím se počtu výstupních tříd ( v případě UNS typu klasifikátor ). Toto je ovšem minimální koncepce, která nemusí být optimální. V praxi je výhodnější volit několik (např. dvě nebo více) skrytých vrstev neuronů. Hopfieldovy a Kohonenovy sítě v základní verzi obsahují jednu vrstvu rozdělovacích uzlů, dimenzovanou podle dimenze vstupních vektorů a jednu vrstvu výpočetních neuronů dimenzovanou podle počtu vzorů které mají být v síti uloženy. Vztahy pro stanovení počtu těchto neuronů budou uvedeny v příslušné kapitole pojednávající o těchto sítích. Klíčová slova: Modelování neuronů a neuronových sítí, McCullochův-Pittsův (MCP) model, sumátor, vstupní vektor, prahová hodnota, synaptické váhové koeficienty, nelineární přenosový člen, sigmoida, Heavisideova funkce, signum funkce sgn(s), paradigma UNS, dopředná síť (feed-forward), rozdělovací uzel (fan-out), skrytá vrstva (hidden layer),výstupní vrstva ( output layer), separabilita, klasifikátor, mnohovrstvová síť (multilayer perceptron MLP). -12-

13 Shrnutí: Předmětem této kapitoly je problematika modelování umělých neuronů a neuronových sítí. Je uveden jeden z nejpoužívanějších modelů, tzv. McCullochův- Pittsův (MCP) model obsahující n vstupních signálových uzlů pro přivedení n jednotlivých složek vektoru vstupní předlohy, které působí na vstup sumačního členu po ovlivnění synaptickými váhovými koeficienty w i. Suma vážených vstupu w i x i je přenášena nelineárním přenosovým článkem na výstup neuronu. Jsou uvedeny různé typy používaných nelinearit: lineární prahová funkce, Heavisideova (skoková) funkce, sigmoidální funkce, tgh a signum funkce (sgn(s)).je ukázáno schématické uspořádání mnohovrstvové UNS typu MLP, je popsán význam jednotlivých vrstev a problematika jejich počtu a počtu neuronů v jednotlivých vrstvách. UNS lze obecně pojímat jako transformační systém, který transformuje množinu vstupních předloh do množiny výstupních tříd. Otázky a úkoly: 1. Vysvětlete princip modelování umělých neuronů a neuronových sítí. 2. Popište strukturu McCullochova- Pittsova modelu umělého neuronu, funkce a požadované vlastnosti jednotlivých funkčních členů tohoto modelu. 3. Uveďte definice a vztahy pro přenosové funkce y = f(s) jednotlivých typů nelineárních přenosových členů a pojednejte o jejich vhodnost v jednotlivých typech UNS. Samostatná práce studenta: Vyhledejte v literatuře a na internetových stránkách další typy modelů umělých neuronů, porovnejte je a pojednejte o jejich vhodnosti pro modelování UNS. Doporučená literatura: Stejná jako v první kapitole. 4. PARADIGMATA UMĚLÝCH NEURONOVÝCH SÍTÍ Jak již bylo zmíněno výše, pod pojmem paradigma UNS se rozumí a) údaje o konfiguraci UNS (topologie), tj. počet vstupních uzlů, počet vrstev výkonných neuronů, počet prvků výstupního vektoru (počet výstupních tříd), počet a vzájemné propojení neuronů v jednotlivých vrstvách, typy přenosových funkcí a jejich parametry ( strmosti aj.), b) použitá metoda učení, buď s učitelem nebo-li s dohledem (supervised), při níž se s každou předlohou (učicím vzorem) současně dodáva údaj o tom co ten vzor správně představuje ( nápověda, učitel), nebo bez učitele (bez dohledu, unsupervised), nebo-li tzv. soutěžní (kompetitivní) učení, nebo metoda tzv. " hodnoceného " (reinforced) učení, c) způsob využití naučené (natrénované) UNS: způsob testování naučené sítě, kvalita a přesnost klasifikace neznámých, nebo i poškozených předloh. V současné době existuje již velký počet (několik desítek) paradigmat UNS. Mnohé z nich jsou jen zdokonalenými modifikacemi dosud známých principů. V této obla- -13-

14 sti probíhá dosti bouřlivý vývoj, vznikají nové typy UNS a nové metody učení se zrychlenými algoritmy a zlepšenou konvergencí. Přehled paradigmat UNS z hlediska topologie a metod učení: Umělé neuronové sítě a) dopředné (feedforward)- lineární - lineární asociátor ADALINE lineární perceptron - nelineární s dohledem- mnohovrstvový perceptron s BP Neocognitron bez dohledu- Kohonenovy samoorg. mapy SOM Neocognitron 1980 Counterpropagation b) zpětnovazební (feedback)- Hopfieldovy rekurentní sítě- asociativní paměti CAM Travelling salesman problem TSP - Obousměrné asoc. paměti BAM - Adaptivní resonanční teorie ART c) celulární neuronové sítě ( CNN) V dalším postupu si ukážeme uspořádaní a princip činnosti některých typických UNS, a to mnohovrstvový perceptron MLP se zpětným šířením chybového signálu pro adaptaci synaptických váhových koeficientů (metoda backprop BP), dále Kohonenovy samoorganizační mapy SOM s kompetitivním učením a zpětnovazební Hopfieldovu sít. Jejich pochopení pomůže v orientaci i v dalších paradigmatech UNS. Klíčová slova: Paradigma UNS, konfigurace (topologie) UNS, učení s učitelem, s nápovědou (supervised learning), učení bez učitele (bez nápovědy, unsupervised learning ), soutěžní (kompetitivní) učení), hodnocené (reinforced) učení, konvergence sítě, dopředná ( feed-forward) neuronová síť, lineární asociátor, ADALINE (adaptive linear associative element), mnohovrstvový perceptron (multilayer perceptron, MLP), algoritmus zpětného šíření chybového signálu (backpropagation, BP), samoorganizační mapa (selforganizing map, SOM)- Kohonenova mapa, counterpropagation, zpětnovazební sítě typu asociativní paměť (content addressable memory, CAM), Hopfieldova síť, obousměrná asociativní paměť (bidirectional associative memory, BAM), síť typu Travelling Salesman Problem, TSP, UNS typu ART (adaptive resonance theory), celulární neuronové sítě (cellular neural networks, CNN). Shrnutí: V této kapitole jsou uvedeny poznatky o paradigmatech neuronových sítí. Pod tímto pojmem rozumíme a) údaje o konfiguraci (topologii) sítě, b) použitou metodu učení (trénování) sítě, c) způsob testování a využití natrénované sítě. Je uveden přehled nejpoužívanějších typů paradigmat UNS, a to: dopředné sítě, zpětnovazební sítě a celulární sítě. Je naznačen další směr výkladu látky o UNS s přednostním zaměřením na mnohovrstvové perceptrony s učením metodou zpětného šíření chybového signálu. Je vysvětlen algoritmus korekce (adaptace) parametrů sítě, zejména -14-

15 synaptických váhových koeficientů, ale případně i jiných parametrů, např. strmosti sigmoidálních funkcí, s cílem dosáhnout minimalizace odchýlky výstupní odezvy sítě od předkládaných vstupních vzorů. Dále jsou uvedeny principy sítí typu samoorganizačních map se soutěžním učením (Kohonenovy mapy) a pak principy zpětnovazebních neuronových sítí, zejména Hopfieldovy sítě s popisy algoritmů jejich adaptace. Otázky a úkoly: 1. Uveďte přehled paradigmat umělých neuronových sítí, vysvětlete jejich princip a uveďte oblasti jejich využití. 2. Vysvětlete pojem: množina předloh učicích (trénovacích) vzorů a uveďte zásady jejich sestavování 3. Uveďte nejdůležitější metody učení (trénování) umělých neuronových sítí a sestavte jejich algoritmy. Samostatná práce studenta: V literatuře a na Internetu vyhledejte prameny pojednávající o algoritmech učení umělých neuronových sítí a pak vypracujte algoritmus učení neuronové sítě zadaného typu. Doporučená literatura: Stejná jako v první kapitole. 5. MNOHOVRSTVOVÝ PERCEPTRON ( multilayer perceptron MLP ) Bylo dokázáno, že pro řešení úloh s využitím dopředné neuronové sítě je nutné pro dosažení potřebné separability zvolit koncepci vícevrstvové sítě. Tyto UNS jsou v současné době pro svou univerzálnost a dobrou propacovanost jedny z nejčastěji používaných UNS [1 ]. Proto se tímto typem sítě budeme zabývat poměrně podrobněji. Pro učení MLP se používá metoda zpětného šíření chybového signálu backprop- BP (back propagation of error signal). Je to metoda učení s učitelem ( nebo s nápovědou- supervised learning ), při níž se současně s přivedení vstupního učicího vzoru X p přivádí k výstupním neuronům také údaj d p o želaném (desired) výsledku na každém výstupním neuronu. Uspořádání sítě MLP s vyznačením algoritmu optimalizace váhových koeficientů metodou zpětného šíření chybového signálu je uvedeno na Obr. 7. V tomto schématu použijeme následovné označení: n 0 je počet prvků vektoru vstupní předlohy (též počet uzlů rozdělovací vrstvy) n 1 je počet výkonných neuronů v 1. skryté vrstvě n 2 je počet výkonných neuronů ve 2. skryté vrstvě atd., až n výst je počet výkonných neuronů ve výstupní vrstvě ( u UNS typu klasifikátor je to počet klasifikačních tříd) W [ l ] = [ w ji ] je vektor váhových koeficientů v l-té vrstvě neuronů l je pořadové číslo vrstvy (layer) l = 1, 2,.l výst j, i je označení (index) neuronů v l-té vrstvě n j [ l ] s j [ l = Σ w ] [ l ] ji x i je suma vážených vstupů jednotlivých neuronů v l-té vrstvě, i=1 j je 1, 2,. n l je index neuronu v l-té vrstvě a i je index jeho -15-

16 F j [ l ] vstupu, počet vstupů j-tého neuronu je n j je obvykle roven počtu výstupů předchozí vrstvy je přenosová funkce j-tého neuronu v l-té vrstvě, např. při sigmoidálním tvaru F j [ l ] = ( 1/ ( 1+ exp ( -γ s j [ l ] ))). o j [ l ] je aktuální hodnota výstupního (output) signálu j-tého neuronu v l-té vrstvě půbícího na vstupy neuronů v následující vrstvě o j [ l ] = F j [ l ] ( s j [ l ] ) Poznámka: Výraz na pravé straně znamená funkci argumentu s a ne součin. V obecném případě může být strmostní koeficient γ u každého neuronu jiný. Pro jednoduchost budeme v dalších úvahach brát tento koeficient pro všechny neurony stejný Obr. 7. Schématické uspořádání mnohovrstvového perceptronu s vyznačením algoritmu optimalizace váhových koeficientů metodou backprop. Nyní stanovíme vztahy pro aktualizaci váhových koeficientů neuronů v jednotlivých vrstvách. Standardní algoritmus BP v MLP využívá postup zvaný step descent gradient ( krokový sestup proti gradientu) k minimalizaci součtu kvadrátů odchylek ( minimalizace chybové funkce). Zavedeme vztah pro chybu (odchylku) mezi želanou hodnotou d přivedenou na j-tý neuron výstupní vrstvy a aktuální hodnotou y na výstupu tohoto neuronu při předložení p-tého učicího vzoru na vstup sítě e jp = d jp y jp ( 2 ) -16-

17 Zaveďme pak polovinu sumy kvadrátů těchto odchylek na j-tém neuronu výstupní vrstvy při předložení L vzorů jako lokální chybovou funkci L E jp = 0,5Σ ( d jp y jp ) 2 ( 3 ) p=1 Pro hodnocení chyby celé sítě přes všechny neurony výstupní vrstvy a všechny učicí vzory zavedeme tzv. globální ( totální ) chybovou funkci n výst L E t = Σ E jp = 0,5 Σ Σ (d jp y jp ) 2 ( 4 ) j=1 p=1 která bude sloužit jako kriteriální funkce pro posouzení míry naučení UNS na předkládané učicí vzory. V procesu učení sítě by tato chyba měla postupně klesat až pod jistou dovolenou hodnotu a další pokles by měl být monotonní. V průběhu učení sítě jsou váhy měněny přírůstkově, tj. nová, aktualizovaná váha w ji nové = w ji staré + w ji, ( 5 ) kde w ji = (- E jp / w ji ). η ( 6 ) Zde 0< η < 1 je učicí konstanta (učicí parametr). Je-li příliš malá hodnota, blízká k 0, bude změna váhových koeficientů při učení sítě probíhat pomalu a doba učení se prodlouží, bude-li příliš velká, blízká k 1, budou změny vah probíhat rychleji, ale síť nemusí konvergovat, případně vykazuje nežádoucí oscilace chybové funkce. Pro aktualizaci váhových koeficientů se také používá značení w ji ( t + 1) = w ji ( t ) + w, kde čas t +1 je diskrétní čas, v němž nastane změna w ji oproti její hodnotě v čase t, Protože ke změnám dochází po předložení nových vzorů, bývá míst diskrétního času uváděn údaj k o pořadí předkládání vzorů, tedy w (k+1) = w (k) + w. Při aktualizaci vah metodou BP postupujeme od výstupní vrstvy zpět k nižším vrstvám až po 1. skrytou vrstvu.určíme nejdříve opravný vztah (updating formula) pro výstupní vrstvu : Bude platit w ji [ l výst ] = - η E jp / w ji [ l výst ] = -η ( E jp / s j [ l výst ] ) ( s j [ l výst ] / w ji [ l výst ] ) = = η δ j [ l výst ]. o i [ l výst 1 ] kde lokální chyba, zvaná delta je δ j [ l výst ] = e jp. F j [ l výst ] / s jp [ l výst ] ( 7 ) ( 8 ) Pro aktualizaci synaptických váh v poslední skryté vrstvě (s indexem l výst 1 ) bude platit w ji [ l výst 1 ] = η δ j [ l výst 1 ] o i [ l výst 2 ] ( 9 ) kde δ j [ l výst 1 ] n výst = ( F j [ l výst 1 ] / s j [ l výst 1 ] ) Σ δ i [ l výst ] w ij [ l výst ] atd. až pro 1. skrytou vrstvu bude [ 1 ] [ 1 ] w ji = η δ j o [ 0 ] [ 1 ] [ 1 ] = η δ j x i i =1 ( 10 ) ( 11 ) -17-

18 kde δ j [ 1 ] = ( F j [ 1 ] / s j [ 1 ] n 2 Σ δ i [ 2 ] w ij [ 2 ] i=1 (12 ) Pro sigmoidální přenosovou funkci typu F ( s j ) = ( 1 + exp (- γs j )) -1 bude F j / s j a také vztah pro δ možné vyjádřit pomocí algebraické funkce F(s j )/ s j = γ j y j ( 1 y j ) = F j ( s j ) ( 13 ) δ j = ( d j y j )( 1 y j ) y j ( 14 ) Pro zmírnění oscilací chybové funkce E t v závislosti na počtu epizod ( tj. na počtu předložení všech učicích předloh se pro aktualizaci vah přidává do výrazu pro w ji tzv. momentový člen, takže w ji [ l ] ( k ) = η δ j o j [ l 1 ] + M w ji [ l ] ( k 1 ) ( 15 ) kde M je tzv. momentová konstanta ( momentum), pro kterou platí 0< M < 0, obvykle M = 0,7 až 0,9 a w ji [ l ] ( k 1 ) = w ji [ l ] ( k ) w ji ( k 1), (16 ) tj. rozdíl váhového koeficientu při k-tém předložení učicího vzoru a váhového koeficientu při ( k 1 ). předložení učicího vzoru. Typický průběh E t v závislosti na počtu předložení všech učicích vzorů (epizod ) ukazuje Obr. 8 Obr. 8. Typické průběhy závislosti E t na počtu epizod N ( učicí křivky). Klíčová slova: Separabilita sítě, optimalizace parametrů sítě, učicí vzor, nápověda, zpětné šíření chybového signálu, strmostní koeficient γ, sigmoida, aktuální výstupní signál, chyba (odchýlka e), lokální chybová funkce E jp, globální (totální) chybová funkce E t, kriteriální funkce, (fittness function), -18-

19 korekce synaptických váhových koeficientů, učicí konstanta opravný vztah (updating formula), momentový člen, momentová konstanta M, učicí křivka, epizoda. Shrnutí: V této kapitole je podrobně popsán princip, funkce a základní vztahy platné pro UNS typu mnohovrstvový perceptron (multilayer perceptron, MLP), což je dopředná (feed-forward) neuronová síť, skládající se ze vstupní vrstvy rozdělovacích uzlů, za níž následuje jedna nebo několik skrytých vrstev (hidden layers) výkonných neuronů ( např. typu MCP), v nichž probíhají paralelně příslušné výpočty odpovídající funkci neuronu (sumace váhovaných vstupů a nelineární přenos). Každý neuron zpracovává svůj díl informací, výsledky jsou pak předávány neuronům následující vrstvy až po výstupní vrstvu. Neuronům výstupní vrstvy se současně s každým předloženým vstupním učicím vzorem dodává údaj o želaném (desired, d) signálu na výstupu ( učitel, nápověda). Je ukázána metoda, jak se z aktuálního výstupního signálu a želaného výstupního signálu získá tzv. chybový signál, ze kterého se vypočítá opravná hodnota přírůstku parametrů sítě, zejména váhových koeficientů pomocí opravných vztahů (updating formula) pro jednotlivé vrstvy. Je ukázán algoritmus zpětného šíření chybového signálu a postupné úpravy parametrů sítě od výstupní vrstvy až po první skrytou vrstvu. Jsou odvozeny příslušné vztahy a ukázána je metoda získání tzv. učicí křivky, názorně demonstrující totální chybu sítě a tím i stav natrénování sítě pro danou množinu trénovacích vzorů. Otázky a úkoly: 1. Uveďte strukturu (topologii) umělých neuronových sítí typu mnohovrstvový perceptron (MLP) a vysvětlete způsob adaptace parametrů sítě, zejména synaptických váhových koeficientů s využitím metody zpětného šíření chybového signálu (BP). 2. Vysvětlete pojmy lokální chybová funkce, globální (totální)chybová funkce a kriteriální funkce, napište jejich definice a popište algoritmus jejich stanovení. 3. Odvoďte, nebo alespoň uveďte opravné vztahy (updating formulae) pro jednotlivé vrstvy neuronů UNS typu MLP s učením typu BP. Samostatná práce studenta: Vytvořte koncepci umělé neuronové sítě typu MLP pro klasifikaci vybraných logických funkcí dvou vstupních proměnných y = f ( x 1, x 2 ), nakreslete schématickou strukturu sítě, zvolte úplné propojení neuronů, typ nelinearity přenosových funkcí, způsob adaptace synaptických váhových koeficientů, výběr množiny trénovacích vzorů a způsob testování naučené sítě. Získané poznatky rozšiřte i na syntézu UNS pro větší počet vstupních logických proměnných. Doporučená literatura: Stejná jako v první kapitole. 6. NEURONOVÉ SÍTĚ SE SOUTĚŽNÍM (KOMPETITIVNÍM) UČENÍM (Kohonenovy samoorganizační mapy SOM ) Tyto umělé neuronové sítě s učením bez učitele (unsupervised learning) jsou založeny na -19-

20 hodnocení rozdílu (vzdálenosti) váhového vektoru W neuronové sítě od vektoru vstupního vzoru X a nalezení neuronu, jehož váhové koeficienty mají minimální vzdálenost W od X. Tento neuron jakoby v soutěži mezi neurony sítě zvítězil a má právo si upravit své váhy i váhy neuronů ve svém okolí a také odezvu na předložený učicí vzor na lepší hodnotu. Po předložení dalšího učicího vzoru může zvítězit jiný neuron sítě, pak si i on může upravit svoje váhy i váhy neuronů ve svém okolí a zlepšit odezvu, atd. V síti se pak vytvoří shluky (clusters) neuronů, které v jistých místech sítě optimálně reagují na určité příznaky předkládaných vzorů, a také neznámých předloh. Vznikne tak jakási obdoba mapy příznaků. Tyto sítě prezentoval v r Teuvo Kohonen z Helsinky University a podle něj se nazývají Kohonenovy samoorganizační mapy, SOM (selforganizing maps ). Uspořádání takové sítě ukazuje Obr.9. y j y N y 1 w N1 w Nn okolí j-tého neuronu w ji w 11 w 1n w j1 w jn x 1p x 2p x ip x np X p Obr.9. Uspořádání Kohonenovy samoorganizační mapy ( neuronové sítě se soutěžním učením). Síť obsahuje n rozdělovacích uzlů na něž se přivádějí jednotlivé složky vektoru vstupní předlohy Xp = { x 1p, x 2p,... x ip,... x np } a N výkonných neuronů rozmístěných na pomyslné ploše (jednovrstvova síť), např. na rovině ve specifické konfiguraci, např. jako pravoúhlá struktura, kde v jednotlivých překříženích čar pravoúhlé struktury se nacházejí výkonné neurony ( používá se i jiná struktura, složená např. z přilehlých šestiúhelníků). Neurony mají mezi sebou vazby, takže lze definovat okolí každého neuronu.dále uvažujeme laterální působení neuronů na sousední neurony podle zákonitosti zvané mexický klobouk. V nejbližším okolí dochází k excitačním vazbám, ve větší vzdálenosti k inhibičnímu ( utlumovacímu) působení (Obr. 10). Působení i-té složky x i na j-tý neuron se uskutečňuje s váhovým koeficientem w ji (reálná veličina). Váhový vektor j-tého neuronu je W j = ( w j1, w j2,...w jn ) T -20-

21 -21-

22 -22-

23 Klíčová slova: Soutěžní (kompetitivní) učení, učení bez učitele, unsupervised learning, vzdálenost váhového a vstupního vektoru, vítězný neuron, mapa příznaků, Kohonenova samoorganizační mapa (selforganizing map, SOM), laterální vazby mezi neurony, okolí vítězného neuronu, poloměr okolí, euklidovská vzdálenost, sférická vzdálenost, shlukování neuronů (clustering), algoritmus Kohonenovy sítě. Otázky a úkoly: 1. Uveďte strukturu a vysvětlete funkci umělých neuronových sítí s kompetitivním učením. Kohonenovy samoorganizační mapy (SOM), jejich dimenzování a oblasti použití. 2. Jak se stanoví vzdálenost vektoru vstupní předlohy od váhového vektoru sítě a jak se vybírá vítězný neuron a jeho okolí? 3. Popište algoritmus učení Kohonenovy neuronové sítě. Samostatná práce studenta: Vypracujte koncepci Kohonenovy neuronové sítě pro zadanou konkrétní úlohu: formulace úlohy, dimenzování vstupní vrstvy rozdělovacích uzlů, návrh typu neuronů aktivní vrstvy, jejich počet a uspořádání ve vrstvě,vazby mezi neurony, tvar a poloměr okolí vítězného neuronu, způsob adaptace (učení), testování a využití naučené sítě. Doporučená literatura: Stejná jako v první kapitole- prameny [1] až [8] a dále: [9] Proceedings of the IEEE Special Issue on Neural Networks I, II. Sept. Oct (obsahuje soubor článků o neuronových sítích, m. j. článek Teuvo Kohonena o principu, dimenzování a aplikacích sítí typu SOM, nazvaných po autorovi). [10] CICHOCKI, A. UNBEHAUEN, R.: Neural Networks for Optimization and Signal Processing.. J.Wiley and Sons, New York, [11] HOŘEJŠ, J.: A View on Neural Network Paradigm Development.Tutorial. Neural Network World, 1991, č. 1 až 6 na pokračování. [12] CHMÚRNY, J. ČIŽMÁR, A.: Modely neuronových sietí na spracovanie signálov. Elektrotechnický časopis, 42 (1991), č, 9 10, s

24 7. SÍTĚ ZPĚTNOVAZEBNÍ ( FEEDBACK ) 7. 1 Hopfieldovy sítě ( CAM- content addressable memories) -24-

25 -25-

26 -26-

27 -27-

28 Klíčová slova: Zpětnovazební neuronová síť, asociativní paměť (content addressable memory, CAM), Hopfieldova síť, Hebbův algoritmus učení, matice váhových koeficientů, průběžný výstupní vzorek, rekurentní algoritmus výpočtu průbežných vzorků, iterační proces, ko nečný výstupní vzorek, energetická funkce, harmonie sítě, halucinace sítě, atraktor. Shrnuti: V této kapitole jsou uvedeny principy uspořádání a funkce zpětnovazební rekurentní asociativní neuronové sítě, tzv Hopfieldovy uměle neuronové sítě, která obsahuje vstupní vrstvu rozdělovacích uzlů a jednu vrstvu výkonných neuronů s tvrdě limitující přenosovou funkcí typu y = sgn (s). Je popsán algoritmus konstrukce sítě podle tvaru vstupních předloh a jejich počtu, tj. vytvoření matice váhových koeficientů, která je čtvercová, počet řádků a počet slupců závisí na počtu prvků vstupního vektoru. Je ukázáno, že tato matice je symetrická kolem hlavní diagonály. Je uveden algoritmus výpočtu tzv. průběžných výstupních vzorků, až se získají výstupní vzorky, které se již v dalších krocích iterace nemění a ty se pokládají za konečné výstupní vzorky. Jedefinována tzv. energetická funkce a harmonie sítě a její popis vícerozměrnou plochou vyznačující se existencí energetických jam (vtahovačů, atraktorů), v nichž energetická funkce nabývá minima v místech odpovídajících shodě vstupní předlohy s některým z uložených vzorů. Je ukázán příklad postupného přibližování se průběžných výstupních vzorků k uloženým vzorům. Otázky a úkoly: 1. Uveďte strukturu a vysvětlete funkci zpětnovazební neuronové sítě (Hopfieldovy sítě) a pojednejte o problematice jejího dimenzování. Ukažte na konkrétním příkladu. 2. Ukažte na příkladu princip sestavování matice synaptických váhových koeficientů Hopfieldovy neuronové sítě a princip rekurentního výpočtu průběžných výstupních vzorků až po stanovení konečných výstupních vzorků Samostatná práce studenta: Stanovte koncepci Hopfieldovy zpětnovazební neuronové sítě pro identifikace vybraných znaků složených z binárních (např. černobílých) obrazových pixelů v rastru m n (např. 5 7 bodů. Určete potřebné dimenze sítě, počet neuronů a jejich uspořádání do matice na pomyslné ploše, typ přenosové funkce a vypracujte algoritmus stanovení matice váhových koeficientů a výpočtu průběžných výstupních vzorků. Doporučená literatura: Prameny [1] až [8] uvedené v první kapitole a [9] až [12] uvedené v šesté kapitole. -28-

29 8. VYUŽITÍ GENETICKÝCH ALGORITMU (GA) PRO OPTIMALIZACI PARAMETRU NEURONOVÉ SÍTĚ -29-

30 -30-

31 -31-

32 -32-

33 -33-

34 -34-

35 Klíčová slova: Genetický algoritmus (GA), evoluční zákony, chromozóm, gen, alela, kriteriální funkce fittness function), kódování parametrů, přirozený binární kód ( natural binary code, NBC), digitalizace parametrů, kódové značky, nultá (počáteční) generace chromozómů, vyřazování (discard) nevhodných chromozómů, křížení (mating),potomci (ofsprings), dělicí místo (crossing over), dominantní chromozómy, mutace, decimace populace, vývojový diagram (flowchart) genetického algoritmu. Shrnutí: V této kapitole je stručně popsán princip genetického algoritmu optimalizace prvků systému (v tomto případě umělé neuronové sítě) využívající principy známé z oblasti genetiky, tj. evoluční zákony. Jsou uvedeny pojmy chromozóm, gen, alela, je vysvětleno sestavení nulté (počáteční) generace chromozómů, jejich hodnocení podle kriteriální funkce, sestavení pořadí chromozómů podle hodnot kriteriální funkce, vyřazování nevyhovujících chromozómů, výběr tzv. rodičovských chromozómů, sestavování jejich párů, kříženíc hromozómů, vytvo-ření potomků, doplnění populace, mutace, výběr optimální generace a optimálního chromo-zómu, nastavení parametrů systému podle vlastností tohoto chromozómu. Je ukázán přehled-ný vývojový diagram genetického algoritmu. Postup GA lze zobecnit a pro jeho univerzálnost a robustnost využít pro široký okruh optimalizačních problémů nejen v biologii, odkud čerpá svůj původní princip, ale v různých oblastech vědy a techniky. Otázky a úkoly: 1. Vysvětlete princip genetického algoritmu optimalizace parametrů systému, jmenovitě umělých neuronových sítí. 2. Vysvětlete pojmy GA. Chromozóm, gen, alela, kódování genů, počáteční (nultá) generace chromozómů, kriteriální funkce, discard, křížení, mutace. 3. Sestavte vývojový diagram genetického algoritmu. Ukažte to na příkladu chromozómu umělé neuronové sítě typu MLP se strukturou Samostatná práce studenta: Prostudujte dostupné materiály o genetických algoritmech získané z literatury i z pramenů na Internetu a sestavte přehlednou rešerši o této problematice. Doporučená literatura: Prameny [1] až [12] uvedené v předcházejících kapitolách a dále [13] HAUPT, R.L.: An introduction to Genetic Algorithm for Electromagnetics. IEEE on Antennas and Propagation Magazine 37 (1995),č. 2 (April), [14] WEILE, D.S.- MICHIELSEN, E.: Genetic Algorythm Optimization Applied to Electromagnetics. IEEE Transactions on Antennas and Propagation 45 (1997, č. 3 ( March), s [15] ZELINA, I.: Umělá inteligence I. Neuronové sítě a genetické algoritmy. Nakladatelství VUTIUM, Brno,

36 9. REALIZACE UMĚLÝCH NEURONOVÝCH SÍTÍ 9.1 Problematika návrhu UNS Syntéza UNS, nebo-li navrhování umělých neuronových sítí zahrnuje v sobě velmi komplexní problematiku. Předpokladem je zvládnutí principů a teorie jednotlivých typů těchto systémů, analytického přístupu k úlohám, jejich formulaci, vytyčení důležitých prvků, dílčích problémů a nalezení účinných algoritmů jejich řešení. Cílem syntézy je vytvořit umělou neuronovou síť schopnou bezchybně plnit vytyčenou úlohu za definovaných podmínek. Syntéza sítě zahrnuje rozbor úlohy a úvahy o možnostech řešení, nalezení vhodného paradigmatu sítě, což znamená a) stanovení struktury,nebo-li topologie sítě podle zvoleného typu UNS,což zahrnuje výběr počtu a charakteru rozdělovacích vstupních uzlů, což závisí na charakteru vstupních vzorů, jejich uspořádání a časové závislosti vstupních signálů, výběr počtu skrytých vrstev výkonných neuronů ( tato úloha je poměrně obtížná a dosud neexistuje ucelená jednoznačná metoda pro jejich určení), určení konfigurace výstupní vrstvy neuronů ( tato úloha je poměrně jednoznačná a je determinovaná charakterem a požadovaným tvarem výstupu, volba typu umělých neuronů, jejich nelineární přenosové funkce, strmostních parametrů, způsobu nastavení pracovních podmínek (např. způsobu nastavení synaptických váhových koeficientů a posuvných, nebo prahových veličin), volba počtu neuronů v jednotlivých vrstvách a způsob jejich propojení i propojení jednotlivých vrstev ( např. dopředné, nebo i laterální, využití zpětných vazeb, z jiné ho hlediska může jít o úplné propojení, nebo o účelné klestění sítě, tj. o možnost vyřazení neuronů, které se málo účastní procesů aktivity sítě), b) volba algoritmu učení (trénování) sítě podle již uvedených způsobů: učení s učitelem (s dohledem, s nápovědou, supervised learning), nebo učení bez učitele (bez dohledu, bez nápovědy, unsupervised learning), nebo hodnocené učení (reinforced learning), sem patří také problematika volby vhodného souboru trénovacích (učicích ) předloh, jejich složení, počet a rozprostření v jejich definičním prostoru tak, aby jej pokrývaly s patřičnou pravděpodobností výskytu, a také volba strategie předkládání trénovacích předloh., c) volba způsobu testování natrénované sítě, což zahrnuje volbu množiny testovacích předloh, nejčastěji stejného charakteru jako trénovací vzory, případně se už ve stadiu tvoření trénovacích předloh vybere část souboru vzorů pro trénování a část (obyčejně menší) pro testování. Uveďme zde některé důležité poznámky k návrhu neuronových sítí: K bodu a) stanovení struktury sítě: volba závisí na charakteru úlohy, kterou má síť plnit, neboli k čemu má sloužit. Např. má-li síť sloužit pro rozpoznávání předloh a jejich zařazovaní do příslušných klasifikačních tříd, tedy jako klasifikátor (což bývá velmi časté určení umělé neuronové sítě), pak se s oblibou volí konfigurace mnohovrstvové dopředné síte typu MLP- mnohovrstvový perceptron s povinnou vstupní vrstvou rozdělovacích uzlů, jejichž počet závisí na struktuře vstupních předloh. Např. pro rozpoznávání písmen anglické abecedy a decimálních číslic v již zmíněném tvaru -36-