Vizualizace vybraných metod strojového

Transkript

1 Masarykova univerzita Fakulta informatiky Vizualizace vybraných metod stroového učení Diplomová práce Brno, duben 2002 Bc. Petr Marťán

2 Čestné prohlášení Prohlašui, že tato práce e mým původním autorským dílem, které sem vypracoval samostatně. Všechny zdroe, prameny a literaturu, které sem při vypracování používal nebo z nich čerpal, v práci řádně citui s uvedením úplného odkazu na příslušný zdro Poděkování Na tomto místě bych rád poděkoval panu. Ing. Janu Žižkovi, CSc., vedoucímu této diplomové práce, za podnětné připomínky, cenné rady, zapůčenou literaturu a ochotu, s akou k této diplomové práci přistupoval.

3 Shrnutí V posledních letech se v oblasti informačních technologií stále více klade důraz na inteligenci stroů, počítačů a na eich schopnost učit se novým poznatkům a dovednostem a adekvátně reagovat na podobné, či zcela nové situace. Vyřešení tohoto problému si klade za cíl stroové učení, které se stává stále více populárněším mezi odborníky i mezi studenty. V poslední době se navíc k popisu a vysvětlení principů stroového učení stále více využívá vizualizačních metod, které přispívaí k lepší představě o fungování principů stroového učení. Tato diplomová práce se zabývá vytvořením systému vizuálně demonstruícího nedůležitěší metody stroového učení. Účelem e vytvoření výukových pomůcek vhodných ak pro názorné předvedení algoritmů, tak pro samostatné experimentování studentů s nimi. Klíčová slova Stroové učení, vizualizace, neuronové sítě, genetické algoritmy, NetVisualiser, GaVisualiser, klasifikace, aproximace.

4 OBSAH 4 Obsah OBSAH... 4 SEZNAM OBRÁZKŮ ÚVOD NEURONOVÉ SÍTĚ HISTORIE ÚVOD DO NEURONOVÝCH SÍTÍ Základní model neuronu Neuronová síť MODELY NEURONOVÝCH SÍTÍ Lineární perceptron Zpětné šíření chyby - Backpropagation RBF Kohonenova síť Kohonenovy samoorganizační mapy LVQ GENETICKÉ ALGORITMY GENETICKÉ OPERÁTORY ÚČELOVÁ FUNKCE A VÝBĚR IMPLEMENTACE NETVISUALISER Lineární perceptron Backpropagation RBF Kohonenova síť Kohonenovy samoorganizační mapy Vizualizační režimy pro lineární perceptron, backpropagation a RBF Výstup neuronové sítě Správnost klasifikace neuronové sítě Mřížka Hranice Aproximace funkce diskrétní Aproximace funkce spoitá Zobrazování stopy při překreslování Vypnutá vizualizace GAVISUALISER Genetický algoritmus Jednoduchý (simple)...43

5 OBSAH Stabilní (steady state) Stabilní s podporou rozmanitosti (steady state with sharing) Přírustkový (incremental) Crowding Deme více populací (Deme multi population) Genetické operátory Výběr Křížení Mutace Funkce Himmelblauova funkce Sinus Schwefelova funkce Vlnění dimenzionální funkce ZÁVĚR LITERATURA A. OBSAH PŘILOŽENÉHO CD B. NETVISUALISER - MANUÁL PŘÍKAZY PRO PRÁCI S NEURONOVOU SÍTÍ PŘÍKAZY PRO UČENÍ NEURONOVÉ SÍTĚ PŘÍKAZY PRO PRÁCI S DATY PŘÍKAZY PRO VIZUALIZACI VYTVOŘENÍ NEURONOVÉ SÍTĚ DIALOG STATISTIKY NEURONOVÉ SÍTĚ DIALOG PARAMETRŮ NEURONOVÉ SÍTĚ GRAF CHYBOVÉ FUNKCE DATA Formáty dat pro práci se soubory Zadávání dat pomocí grafického rozhraní KŘÍŽOVÉ OVĚŘENÍ CROSSVALIDACE C. GAVISUALISER - MANUÁL PŘÍKAZY PRO VIZUALIZACI PŘÍKAZY PRO EVOLUCI INICIALIZACE GENETICKÉHO ALGORITMU DIALOG STATISTIKY EVOLUCE DIALOG NASTAVENÍ PARAMETRŮ EVOLUCE GRAF EVOLUCE... 71

6 SEZNAM OBRÁZKŮ 6 Seznam obrázků OBR. 2.1 SCHÉMA LINEÁRNÍHO PERCEPTRONU OBR. 2.2 GRAF STANDARDNÍ SIGMOIDY OBR. 4.1 VÝSLEDEK ÚSPĚŠNÉHO UČENÍ LINEÁRNÍHO PERCEPTRONU OBR. 4.2 PRŮBĚH UČENÍ LINEÁRNĚ NEODDĚLITELNÝCH DAT OBR. 4.3 APROXIMACE FUNKCÍ POMOCÍ LINEÁRNÍHO PERCEPTRONU OBR. 4.4 ROZMÍSTĚNÍ 20 STŘEDŮ RBF JEDNOTEK OBR. 4.5 ROZMÍSTĚNÍ DVOU RBF JEDNOTEK OBR. 4.6 ADAPTACE KOHONENOVY SÍTĚ NA NEROVNOMĚRNĚ ROZLOŽENÝCH DATECH OBR. 4.7 GRAFY CHYBOVÉ FUNKCE PRO LOKÁLNÍ PAMĚŤ (VLEVO) A LOKÁLNÍ PAMĚŤ 2 (VPRAVO) OBR. 4.8 TOPOLOGIE KOHONENOVY SAMOORGANIZAČNÍ MAPY 5X5 (VLEVO) A 1X20 (VPRAVO) OBR. 4.9 KONFIGURACE SÍŤ Ě PŘED SPUŠTĚNÍM LVQ (VLEVO) A PO JEHO UKONČENÍ (VPRAVO) OBR POSUNY VÝSTUPNÍCH NEURONŮ V PRŮBĚHU DOUČENÍ SÍTĚ POMOCÍ LVQ OBR ZOBRAZENÍ KLASIFIKACE SÍTĚ V REŽIMU MŘÍŽKA OBR ZOBRAZENÍ KLASIFIKACE SÍTĚ V REŽIMU HRANICE OBR APROXIMACE FUNKCE SINUS V DISKRÉTNÍM ZOBRAZENÍ OBR APROXIMACE FUNKCE SINUS VE SPOJITÉM ZOBRAZENÍ OBR GENETICKÝ ALGORITMUS V GALIB OBR OBSAZENÍ LOKÁLNÍCH MINIM JEDINCI PŘI POUŽITÍ STABILNÍHO GA S PODPOROU ROZMANITOSTI OBR UKÁZKA EVOLUCE POMOCÍ GENETICKÉHO ALGORITMU DEME OBR SCHÉMA JEDNOBODOVÉHO KŘÍŽENÍ OBR SCHÉMA DVOUBODOVÉHO KŘÍŽENÍ OBR PRŮBĚH EVOLUCE PŘI EXTRÉMNÍM POUŽITÍ HRANICOVÉ MUTACE OBR GRAFY HIMMELBLAUOVY FUNKCE OBR ÚČELOVÁ FUNKCE PRO SINUS OBR GRAF SCHWEFELOVY FUNKCE A PŘÍSLUŠNÉ ÚČELOVÉ FUNKCE OBR GRAFY ÚČELOVÉ FUNKCE VLNĚNÍ OBR GRAF JEDNODIMENZIONÁLNÍ FUNKCE OBR. B.1 DIALOG NÁVRHU NEURONOVÉ SÍTĚ OBR. B.2 STATISTIKA NEURONOVÉ SÍTĚ OBR. B.3 DIALOG PRO NASTAVENÍ PARAMETRŮ NEURONOVÉ SÍTĚ OBR. B.4 GRAF CHYBY NEURONOVÉ SÍTĚ OBR. C.1 STATISTIKA EVOLUCE OBR. C.2 GRAF VÝVOJE EVOLUCE... 72

7 ÚVOD 7 1 Úvod Stroové učení patří v posledním desetiletí k edné z neprogresivněi se rozvíeících oblastí IT. Tato oblast se zabývá způsobem konstrukce programu, který automaticky zlepšue svou dovednost. V posledních letech bylo vyvinuto mnoho úspěšných aplikací využívaících stroové učení, od programů pro dolovaní dat, které zišťuí podvodné transakce prostřednictvím kreditních karet až po k programům, které se učí řídit auta na dálnicích. Mezi oblasti, které iž maí ve stroovém učení pevné místo, patří mimo iné neuronové sítě a genetické algoritmy. A právě těmito dvěma oblastmi se bude zabývat tato diplomová práce. Neuronové sítě i genetické algoritmy se snaží aplikovat zákony, které dobře funguí v přírodě, na svět počítačů a algoritmů s cílem získat nový a mnohdy efektivněší přístup k učení se počítačů. Proces činnosti lidského mozku e podroben iž po několik let intenzivnímu zkoumání a získané výsledky se nyní lidé mimo iné snaží využít s cílem zdokonalit práci počítačů. Svět počítačů, čili svět umělé inteligence, se stále více snaží přiblížit se k myšlení a inteligenci člověka a procesu učení, neboť člověk se učí novým poznatkům a dovednostem často právě na základě poznatků a zkušeností předchozích, které následně zobecní, a tak e dokáže použít při řešení podobné, nebo i zcela nové situace. Steně ako e tomu při klasickém učení, i ve světě výpočetní techniky hrae vizuální stránka důležitou roli. Novým trendem současné doby se tedy bezesporu stává právě vizualizace, která umožňue uživateli vytvořit si bezesporu lepší a konkrétněší představu o dané problematice. Vizualizace nám umožňue posunout se tak od čistě abstraktního chápání ke konkrétněšímu a hlubšímu pochopení zkoumaného problému. Tato diplomová práce by měla přispět k lepšímu a rychlešímu pochopení principů neuronových sítí a genetických algoritmů. Měla by více zpřístupnit tuto oblast studentům, kteří o eí studium proeví záem a poskytnout im tak prostředek, aby mohli hlouběi do této problematiky proniknout. Programy, které z této práce vzedou, by měli umožnit ednak demonstraci vlastností, principů a silných a slabých stránek vybraných oblastí stroového učení, a také umožnit studentům, ale i odborníkům touto oblastí se zabývaících, experimentovat s různými parametry, topologiemi a daty, v případě neuronových sítí a s různými typy genetických algoritmů, genetických operátorů, účelových funkcí a populací v případě genetických algoritmů. Toto experimentování by mělo umožnit odhalit a pochopit vlastnosti, které nemusí být na první pohled zřemé. A právě k dosažení tohoto cíle by měla přispět velkou měrou výše zmíněná vizualizace.

8 NEURONOVÉ SÍTĚ 8 2 Neuronové sítě V istém smyslu představuí neuronové sítě univerzální výpočetní prostředek a maí stenou výpočetní sílu ako klasické počítače např. von neumannovské architektury. Hlavní odlišností neuronových sítí od klasické architektury počítačů e eich schopnost učit se. Požadovanou funkci sítě neprogramueme tak, že bychom popsali přesný postup ak získat eí funkční hodnotu, ale síť sama abstrahue a zobecňue charakter funkce v procesu učení ze vzorových příkladů. Tato schopnost, zvaná generalizace či zobecnění, přibližue svět počítačů nedeterministické přírodě. V tomto smyslu neuronová síť připomíná inteligenci člověka, který získává mnohé své znalosti a dovednosti ze zkušenosti, kterou ani není schopen ve většině případů analyticky formulovat pomocí přesných pravidel nebo algoritmu. Na edné straně sou mechanické výpočty edné či několika výpočetních ednotek podle předem známých pravidel a na straně druhé vzáemné ovlivňování se tisíců až miliard ednotek v centrální nervové soustavě člověka. Umělé neuronové sítě se za použití výpočetní techniky chovaí podobně, ako eich biologické vzory. Toto přináší obrovské možnosti, které mohou změnit způsob vývoe nových programů i eich schopností. Současná práce analytika spočívá v popisu dat, nalezení algoritmu a eho zápisu do umělého azyka. U některých problémů e tento způsob velmi náročný a zdlouhavý anebo nevede k požadovanému výsledku. Je pak nemožné vytvořit běžnými prostředky program, který by byl schopen ze vstupních dat odvodit správná data výstupní. Neuronová síť modelue schopnost člověka učit se dovednosti či znalosti z příkladů, které není schopen řešit algoritmicky pomocí klasických počítačů, protože im chybí analytický popis nebo e eich analýza příliš složitá. Není tudíž třeba znát algoritmus, který pro daná vstupní data vrátí požadovaná výstupní data. Stačí mít en dostatečnou kolekci dat, která se předloží neuronové síti. Neuronová síť si sama nade vlastní algoritmus k transformaci vstupních údaů. Přitom si nestačí en pamatovat všechny vzorové příklady např. v tabulce v paměti klasického počítače, ale e navíc třeba zobecnit eich zákonitosti, které pak umožní řešit nové, neznámé případy na základě podobnosti. Tomu pak také odpovídaí oblasti aplikace neuronových sítí, tam kde klasické počítače selhávaí. Mezi hlavní oblasti aplikace neuronových sítí patří: Rozpoznávání obrazců Řízení Predikce Komprese dat Transformace signálů Analýza signálů Expertní systémy Optimalizace Redukce šumu

9 NEURONOVÉ SÍTĚ Historie Za prvopočátek oboru umělých neuronových sítí e považována práce Warrena McCullocha a Waltera Pittse z roku 1943 [McCulloch], kteří vytvořili velmi ednoduchý matematický model neuronu, základní buňky nervové soustavy. Zobecněním tohoto modelu neuronu byl tzv. perceptron vynalezený Frankem Rosenblattem v roce Pro tento model navrhl Rosenblatt učící algoritmus, pro který matematicky dokázal, že nalezne pro daná tréninková data po konečném počtu kroků odpovídaící váhový vektor parametrů, nezávisle na svém počátečním nastavení. Krátce po obevu perceptronu vyvinul Bernard Widrow se svými studenty další typ neuronového výpočetního prvku, který nazval ADALINE. Tento model byl vybaven novým výkonným učícím pravidlem, které se využívá až dodnes. Na přelomu 50. a 60. let došlo k úspěšnému rozvoi v oblasti návrhu nových modelů neuronových sítí a eich implementací. Přes nesporné úspěchy dosažené v tomto období, se obor neuronových sítí potýkal i nadále se dvěma zřemými problémy. Za prvé, se k neuronovým sítím přistupovalo především z experimentálního hlediska a zanedbával se analytický výzkum neuronových modelů. Za druhé, nadšení některých výzkumných pracovníků vedlo k velké publicitě neopodstatněných prohlášení, například o umělém mozku. Tyto skutečnosti diskreditovaly neuronové sítě v očích mnoha odborníků. V roce 1969 byla publikována kniha Perceptrons [Minsky] od Marvina Minského a Seymoura Paperta, ve které využili známého triviálního faktu, že eden perceptron nemůže počítat ednoduchou logickou funkci, tzv. vylučovací disunkci (XOR). Tato kniha způsobila odklon od výzkumu v oboru neuronových sítí. V období od roku 1969 do roku 1982 probíhal výzkum neuronových sítí oediněle a izolovaně. Novým impulsem pro teorii umělých neuronových sítí byl v roce 1986 obev učení pomocí zpětného šíření chyby pro vícevrstvou neuronovou síť. Tento algoritmus popsali ve svém článku David Rummelhart, Geoffrey Hinton a Ronald Williams [Rummelhart] a vyřešili tak problém, který se evil Minskému a Papertovi v 60.letech ako nepřekonatelná překážka. Tento algoritmus e doposud nepoužívaněší učící metodou neuronových sítí. Od této doby se pravidelně uskutečňuí konference specializované na neuronové sítě; začalo vycházet několik specializovaných časopisů a mnoho renomovaných univerzit založilo nové výzkumné ústavy zabývaící se neuronovými sítěmi. Tento trend pokračue až dodnes. 2.2 Úvod do neuronových sítí V následuící teoretické části bude čerpáno především z knihy Jiřího Šímy a Romana Nerudy: Teoretické otázky neuronových sítí [Šíma-Neruda] Základní model neuronu Základem matematického modelu neuronové sítě e neuron. Jeho struktura e znázorněna na obrázku Obr Neuron má n obecně reálných vstupů x 1,,x n. Vstupy sou ohodnoceny

10 NEURONOVÉ SÍTĚ 10 odpovídaícími obecně reálnými váhami w 1,,w n. Zvážená suma vstupních hodnot představue vnitřní potenciál neuronu: n ξ = w i x i (2.1) i= 0 Hodnota vnitřního potenciálu ξ po dosažení prahové hodnoty h indikue výstup neuronu y. y = σ ξ při dosažení prahové hodnoty potenciálu h e Nelineární nárůst výstupní hodnoty ( ) dán přenosovou (aktivační) funkcí σ. Neednodušším typem přenosové funkce e ostrá nelinearita, která má tvar: 1 estliže ξ h σ ( ξ ) = (2.2) 0 estliže ξ < h Formální úpravou lze docílit toho, že funkce σ bude mít nulový práh a vlastní práh neuronu se záporným znaménkem budeme chápat ako váhu, tzv. bias, w 0 = -h dalšího formálního vstupu x 0 = 1 s konstantní ednotkovou hodnotou ak e naznačeno na obrázku Obr Matematická formulace neuronu e pak dána vztahem: σ 1 estliže ξ h n ( ξ ) =, kde = 0 estliže ξ < h i= 1 ξ w i x i (2.3) Vstupy neuronu lze chápat ako souřadnice bodu v n-rozměrném euklidovském, tzv. vstupním prostoru E n. Nadrovina daná rovnicí: w n 0 + w i x i = i = 0 0 (2.4) pak dělí vstupní prostor na dva poloprostory Neuronová síť Neuronová síť se skládá z formálních neuronů, které sou vzáemně propoeny tak, že výstup neuronu e vstupem obecně více neuronů. Počet neuronů a eich vzáemné propoení v síti určue architekturu (topologii) neuronové sítě. Z hlediska využití rozlišueme v síti vstupní, skryté a výstupní neurony. Stavy všech neuronů určuí stav neuronové sítě a váhy všech spoů představuí konfiguraci neuronové sítě. Neuronová síť se v čase vyvíí, mění se propoení a stav neuronů, adaptuí se váhy. V souvislosti se změnou těchto charakteristik v čase se celková dynamika neuronové sítě někdy

11 NEURONOVÉ SÍTĚ 11 rozdělue do tří dynamik: organizační (změna topologie), aktivní (změna stavu) a adaptivní (změna konfigurace, učení). 2.3 Modely neuronových sítí Konkretizací ednotlivých dynamik, uvedených v předchozí kapitole, získáme různé modely neuronových sítí vhodné pro řešení různých tříd úloh. V následuících kapitolách budou shrnuty základní modely neuronových sítí a eich vlastnosti. Bude se ednat o tyto modely neuronových sítí: Lineární perceptron Zpětné šíření chyby - Backpropagation RBF Kohonenova síť Kohonenova mapa Lineární perceptron Prvním úspěšným modelem neuronové sítě byl perceptron. Perceptron se skládá z ediného výkonného prvku modelovaného obvykle McCullochovým a Pittsovým modelem neuronu. Perceptron s edním výkonným prvkem umožňue nanevýše klasifikaci do dvou tříd. Vstupní neurony sou označeny x 1,,x n a výstupní neuron e označen písmenem y. Váhy mezi i-tým vstupním neuronem a výstupním neuronem y sou označeny w i, kde w 0 = -h e bias. Výstup sítě se vypočte tak, že se nedříve spočte pomocí příslušného vzorce (2.1) vnitřní potenciál ξ výstupního neuronu y. Výstup (stav) perceptronu se pak určí z eho vnitřního potenciálu aplikací přechodové funkce σ, která má tvar ostré nelinearity (2.2). To znamená, že funkce lineárního perceptronu e dána vztahem: y = σ (ξ), kde 1 estliže ξ h σ ( ξ ) = (2.5) 0 estliže ξ < h V adaptivním(učícím) režimu e funkce sítě zadána tréninkovou množinou Τ = n {( x, d ) x = ( x 1,..., x ) R, d { 0,1 }, k = 1 p } k k k k kn k,..., (2.6) Cílem adaptace e, aby síť pro každý vstup x k z tréninkové množiny odpovídala požadovaným výstupem d k. Ovšem ne vždy e toto možné splnit, protože ne každou funkci lze počítat lineárním perceptronem (např. funkce XOR), nebo tréninková množina nemusí být vždy funkcí.

12 NEURONOVÉ SÍTĚ 12 Obr. 2.1 Schéma lineárního perceptronu Na začátku adaptace sou váhy nastaveny náhodně blízko nuly. V každém časovém kroku e síti předložen vzor z tréninkové množiny a síť podle ně adaptue své váhy. Změna vah v čase t e dána následuícím perceptronovým učícím pravidlem: w ( t ) i = w ( t 1) i ki ( t 1) ( y( w, x ) d ) ε x (2.7) Učící konstanta (learning factor) 0 < ε 1 e mírou vlivu vzorů na adaptaci. Většinou se na začátku volí malá hodnota, která pozděi během adaptace roste. Výraz ( k ) k k k y w ( t 1), rozdílem mezi skutečným výstupem sítě pro k-tý tréninkový vzor a požadovanou hodnotou odpovídaícího výstupu tohoto vzoru. Určue tedy chybu sítě pro k-tý tréninkový vzor. Pokud e tato chyba nulová, váhy se neadaptuí. Protože lineární perceptron může počítat en omezenou třídu funkcí, e význam tohoto modelu spíše teoretický. Také generalizační schopnost tohoto modelu není příliš velká, protože ho lze použít en v případě, kdy sou klasifikované obekty ve vstupním prostoru lineárně separabilní. Tento model e však základem složitěších modelů, např. e základem pro obecnou vícevrstvou síť s učícím algoritmem backpropagation. x d e Zpětné šíření chyby - Backpropagation Neznáměším a nepoužívaněším modelem neuronové sítě e vícevrstvá neuronová síť s učícím algoritmem zpětného šíření chyby (backpropagation) používaným ve velké většině aplikací neuronových sítí. Z hlediska topologie se edná o vícevrstvou neuronovou síť, standardně se používá dvouvrstvá nebo třívrstvá. Oproti lineárnímu perceptronu e zavedeno navíc následuící značení. Množina n vstupních neuronů e označena X a množina m výstupních neuronů Y. Množina všech neuronů, z nichž vede spo do neuronu e označena. Podobně pak bude množinou neuronů, do nichž vede spo z neuronu, a pro které e pak neuron vstupem.

13 NEURONOVÉ SÍTĚ 13 y w : R 0, 1. V aktivním režimu počítá vícevrstvá síť pro daný vstup funkci ( ) n ( ) m Výpočet probíhá tak, že se na vstup sítě nedříve nastaví odpovídaící stavy vstupních neuronů. V dalším časovém kroku se vypočtou hodnoty vnitřních potenciálů všech neuronů, eichž vstupy iž maí svů stav určen podle následuícího vzorce: ξ = w y (2.8) i i i Z vnitřního potenciálu e stanoven stav y = σ (ξ ) neuronu pomocí diferencovatelné přechodové funkce : R ( 0,1) σ standardní sigmoidy: σ 1 1+ e ( ξ ) = λξ (2.9) Reálný parametr strmosti λ určue nelineární nárůst standardní sigmoidy v okolí nuly, t. míru rozhodnosti neuronu. V základním modelu se obvykle uvažue λ = 1. Graf standardní sigmoidy e znázorněn na obrázku Obr Obr. 2.1 Graf standardní sigmoidy Tímto způsobem sou v aktivním režimu postupně vypočteny výstupy všech neuronů. Aktivní režim e ukončen, akmile e stanoven stav všech neuronů, speciálně výstupních neuronů, které určuí výstup sítě. Adaptivní (učící) režim vícevrstvé sítě má podobný průběh ako u sítě perceptronové. Požadovaná funkce e opět zadána tréninkovou množinou (2.6). Chyba sítě E k (w) vzhledem ke k-tému tréninkovému vzoru úměrná součtu mocnin odchylek skutečných hodnot výstupů sítě od odpovídaících požadovaných hodnot výstupů u tohoto vzoru: E k 1 2 ( k dk ) ( w) = y ( w, x ) Y 2 (2.10)

14 NEURONOVÉ SÍTĚ 14 Chyba sítě E(w) k celé tréninkové množině e pak definována ako součet těchto parciálních chyb sítě E k (w). Cílem adaptace e minimalizace chyby sítě ve váhovém prostoru. Na začátku adaptace sou váhy nastaveny náhodně, blízko nuly. Adaptace probíhá v diskrétních časových krocích. Nová konfigurace w (t) v čase t > 0 se vypočte: w = w + w ( t ) ( t 1) ( t ) i i i (2.11) Změna vah w (t) v čase t > 0 e úměrná zápornému gradientu chybové funkce E(w) v bodě w (t-1) : w ( t 1) ( w ) δe = ε (2.12) ( t ) i δwi kde 0 < ε 1 e učící konstanta (rychlost učení), eíž význam e podobný ako u lineárního perceptronu. K realizaci uvedené adaptivní dynamiky potřebueme vypočítat gradient chybové funkce, což není triviálním problémem. Při výpočtu se chyba sítě šíří směrem od výstupních, přes skryté, až k vstupním neuronům a právě proto hovoříme o strategii zpětného šíření chyby. Po úpravě rovnice (2.12) dostaneme tento vzorec: t w ) i ( = ετ y (2.13) i kde τ e chyba -tého neuronu vypočtená pro výstupní neurony ze vztahu: ( y d ) λ y ( 1 y ) pro Y τ = (2.14) k a pro skrytou vrstvu ze vztahu: ( 1 y ) τ w pro X Y τ = λ y r r (2.15) r Podrobné odvození výše uvedených vzorců viz. např [Šíma-Neruda]. Uvedená gradientní metoda se často používá, i když není příliš efektivní. Při malé velikosti učící konstanty e konvergence této metody pomalá, avšak při větší hodnotě metoda divergue. Jednou z modifikací, která se snaží tento nedostatek odstranit, zohledňue při výpočtu změny váhy ve směru gradientu chybové funkce navíc i předchozí změnu vah, tzv. moment:

15 NEURONOVÉ SÍTĚ 15 w ( t 1) ( t 1) ( w ) + α w δe = ε, kde 0 α 1 (2.16) ( t ) i i δw i e parametr momentu, který určue míru vlivu předchozí změny. Pomocí momentu gradientní metoda lépe opisue tvar chybové funkce E(w), protože bere do úvahy předchozí gradient RBF RBF sítě představuí vícevrstvé neuronové sítě s ednotkami odlišného typu, než sou perceptrony. Můžeme si i představit ako třívrstvou síť, kde vstupní vrstva slouží pouze k přenosu vstupních hodnot. Druhá (skrytá) vrstva sestává z RBF ednotek, které realizuí ednotlivé radiální funkce. Třetí výstupní vrstva e lineární. Radiální bazické funkce si můžeme představit ako funkce určené středem, které pro argumenty se stenou vzdáleností od tohoto středu dáváí stené funkční hodnoty. Ve dvorozměrném vstupním prostoru a při euklidovské metrice, pak množiny se stenou funkční hodnotou tvoří kružnici. Z vněšího pohledu se RBF ednotka podobá perceptronu, má také n vstupů x = x,...,, z nichž každé e přiřazena váha c i. RBF ednotka má také eden reálný výstup y ( ) 1 x n a může mít i další parametr b, kterému se říká šířka. Ovšem přechodová funkce RBF ednotek e odlišná, eí vnitřní potenciál ξ se nepočítá ako vážená suma vstupů RBF ednotky, ale ako vzdálenost vstupního vektoru x od středu c, případně dělená šířkou b. x c ξ = (2.17) b Výstupní hodnotu y získáme aplikací přechodové funkce φ na potenciál ξ. y = σ ( ξ ) (2.18) Jelikož e formálně RBF síť druhem dopředné sítě, steně ako vícevrstvý perceptron, můžeme k eímu učení použít modifikaci algoritmu zpětného šíření chyby. Architektura RBF sítě byla motivací k vytvoření učícího algoritmu, který sestává ze tří fází, kdy v každé z nich se určuí hodnoty iné skupiny parametrů. Úkolem první fáze e určení pozice středů RBF ednotek, enž sou reprezentovány vahami c i ; i = 1,..., n ; = 1,..., h mezi vstupní a skrytou vrstvou. Existue řada přístupů, ak tento { } problém řešit. Prvním z nich e rovnoměrné rozložení. Jedná se o rovnoměrné pravidelné rozmístění středů ednotek po vstupním prostoru. To e vhodné, estliže vstupní data sou také rozmístěna přibližně rovnoměrně. Další metodou, ak zvolit středy ednotek, sou náhodné

16 NEURONOVÉ SÍTĚ 16 vzorky. Jde o vybrání h náhodných tréninkových vzorů a umístění RBF ednotek na eich vstupní části. Podobná metoda optimálních vzorků se liší pouze v tom, že tréninkové příklady nesou vybírány náhodně, ale používá se metoda ortogonálních nemenších čtverců k tomu, aby se minimalizovala chyba sítě. Poslední menovanou metodou e samoorganizace, která se používá pro lepší zachycení rozmístění tréninkových vzorů. Druhá fáze učení slouží k nastavení dalších parametrů RBF ednotek, existuí-li a sou-li adaptovány. Nečastěi používané přechodové funkce pro RBF ednotky, Gaussovy radiální bazické funkce, maí následuící tvar: ( x) x c b 2 ϕ = e (2.19) Parametr b reprezentue šířku φ a určue tak velikost radiální oblasti okolo středu c, v němž má daná RBF ednotka významné výstupní hodnoty. Šířka b má vliv na generalizační schopnosti sítě. Čím e menší, tím horší generalizaci lze očekávat. Často se šířka volí úměrně průměru vzdáleností q nebližších sousedů dané ednotky. Hodnota q se přitom často pokládá rovna edné. Třetím krokem e obvyklé učení s učitelem, které adaptue váhy mezi skrytou a výstupní vrstvou. Váhy nižší vrstvy sou iž fixovány. Adaptace vah probíhá minimalizací chybové funkce: E k m 1 ( t ) ( t ) ( w) = ( d s y ) 2 t = 1 s= 1 s 2 (2.20) kde (t ) ys označue aktuální výstup s-té výstupní ednotky a (t ) ds označue požadovaný výstup tréninkového vzoru předloženého v čase t. Změnu váhy mezi s-tou výstupní ednotkou a i-tou RBF ednotkou v čase t určue následuící rovnice: w ( t) si = ε ( t ) ( ys ds ) y i (2.21) kde 0 < ε 1 e učící konstanta (rychlost učení), eíž význam e podobný ako u lineárního perceptronu Kohonenova síť Tento model neuronové sítě využívá soutěžní strategie učení. Jedná se o asi nedůležitěší neuronovou architekturu vycházeící ze soutěžního učení. Poprvé byla popsána v roce 1982 [Kohonen1], podrobněi e popsána například v [Kohonen2]. Principem modelů se soutěžní strategií e to, že výstupní neurony soutěží spolu o to, který z nich bude aktivní.

17 NEURONOVÉ SÍTĚ 17 Jedná se dvouvrstvou síť s úplným propoením ednotek mezi vrstvami. Vstupní vrstvu tvoří n neuronů pro distribuci vstupních hodnot a výstupní vrstvu tvoří m výstupních ednotek. Váhy w = ( w 1,..., wn ), = 1,..., m náležeící výstupní ednotce určuí eí polohu ve vstupním prostoru. n Zatímco vstupy x R mohou být libovolná reálná čísla, výstupy y sou obvykle en hodnoty 0 nebo 1, přičemž aktivní e vždy právě eden výstupní neuron, ten který vyhrál kompetici. Výstup každého neuronu se vypočte v závislosti na eho vzdálenosti od vstupního vektoru x (t) takto: ( t ) { x w } 1 = arg min y (2.22) ( t) l = l = 1,..., m 0 inak Tento principu se zpravidla nazývá vítěz bere vše. Princip adaptivní dynamiky e také ednoduchý. Prochází se celá tréninková množina a po předložení ednoho tréninkového vzoru proběhne mezi ednotkami obvyklá kompetice. Jeí vítěz změní své váhy podle následuícího vzorce: w ( t ) i = w w ( t 1) i i + θ ( t 1) ( t 1) ( t ) ( x w ) = arg min { x w } i i inak l l (2.23) Reálný parametr 0 < θ < 1 určue míru změny vah. Na počátku učení e obvykle blízký edné a postupně se zmenšue. Jednou z možných modifikací tohoto algoritmu, řešící některé eho slabiny, e lokální paměť navržená Deseinem [Desieno]. Myšlenka této modifikace spočívá v tom, že každá z k ednotek by měla zvítězit v kompetici zhruba 1/k krát. Každé ednotce sou přidány dva parametry: odhad relativní četnosti výher v kompetici f a práh b vypočtený na základě této hodnoty. Učící algoritmus pak vypadá takto: V čase t e síti předložen vzor x a podle (2.22) vypočtena odezva výstupních ednotek. Pak e pro každou ednotku vypočtena nová hodnota parametru f : ( ) ( t ) ( t 1 ) ( t 1 ) f = f + β y f (2.24) Podle hodnoty f se vypočítá práh b následovně: b ( t ) ( t ) = γ f (2.25) 1 N

18 NEURONOVÉ SÍTĚ 18 Po určení prahu každé ednotky proběhne druhá kompetice, která probíhá vzhledem k hodnotě x w b (2.26) l Vítězná ednotka po té změní své váhy podle vzorce Kohonenovy samoorganizační mapy Kohonenovy samoorganizační mapy sou vylepšením předchozího modelu. Rozdíl spočívá v tom, že výstupní ednotky sou navíc uspořádány do topologické struktury, nečastěi do dvourozměrné mřížky. Pro učící proces zavedeme poem okolí N s (c) o velikosti s neuronu c v síti, což e množina všech neuronů, eichž vzdálenost v síti od neuronu c e menší nebo rovna s. To, ak měříme tuto vzdálenost, záleží právě na topologické struktuře výstupních neuronů. V aktivním režimu pracue síť ako předchozí model, vzdálenost neuronů v topologické struktuře se neproevue. Učící proces iž bere v úvahu uspořádání neuronů a na místo samotné vítězné ednotky se upravuí váhy i všech neuronů, které sou v eím okolí. Velikost okolí přitom není konstantní, na začátku učení e okolí obvykle velké a na konci učení potom zahrnue en samotný vítězný neuron. Celý učící postup e analogický s učícím algoritmem předchozího modelu, pouze adaptace vah se neřídí rovnicí (2.23), ale má tvar: w ( t ) i = w w ( x w ) N ( c) ( t 1) ( t 1) ( t 1) i i + θ i i inak s ( t ), kde c = arg min { x w } l = 1,..., m l (2.27) LVQ Doposud sme uvažovali využití Kohonenové mapy a Kohonenové sítě pro učení bez učitele, lze i ovšem použít i pro řešení problémů klasifikace dat do kategorií. Měme tréninkovou množinu tvaru: {( x, d ); n 1,..., k} n n =, kde x n R a d n { C1,..., C q } (2.28) Učení Kohonenovy sítě bude pak mít tři fáze: 1. Učení bez učitele 2. Označení výstupních neuronů kategoriemi 3. Doučení sítě pomocí LVQ

19 NEURONOVÉ SÍTĚ 19 Požadované výstupy d k použieme až ve druhém kroku. U každého výstupního neuronu vytvoříme tabulku četností ednotlivých kategorií, které tento neuron reprezentue. Každému neuronu přiřadíme kategorii, kterou reprezentoval nečastěi a označíme i v. Ve třetí fázi se síť doladí pomocí LVQ. Existue několik variant tohoto algoritmu, viz. [Šíma-Neruda], zde e uvedena ta základní. Vychází z myšlenky posílení správné klasifikace vstřícným posunutím neuronu a naopak, snahou o napravení nesprávné klasifikace odsunutím neuronu od daného vstupu. Postupně sítí předkládáme všechny tréninkové vzory. K danému vzoru neprve určíme nebližší neuron c: c = arg min l = 1,..., m ( t ) { x w } l (2.29) Po té provedeme úpravu vah u tohoto neuronu: w ( t ) c w ( t ) ( x wc ) d t t 1 ( t ) ( x w ) d ( t 1) ( t ) ( t 1) + α c = w c α c ( t 1) ( ) ( ) = v c v c (2.30) Parametr α by měl mít počáteční hodnotu poměrně malou, asi 0,01 až 0,02 a postupně by měl klesat k nule.

20 GENETICKÉ ALGORITMY 20 3 Genetické algoritmy Genetické algoritmy sou prohledávací metodou založenou na principech přírodního výběru a genetiky. Začínáme s počáteční populací edinců. Členové současné populace následně pomocí mutace a křížení ovlivňuí vznik další generace. Výběr těchto edinců e dán funkcí, která přiřazue každému edinci hodnotu eho míry kvality. Na základě této hodnoty sou pak edinci vybíráni, aby se podíleli na vzniku další generace. Za obevitele genetických algoritmů (GA) tak, ak e známe dnes, e považován Holland, který se svými kolegy a studenty na univerzitě v Michiganu položil v sedmdesátých letech základy této disciplíny. Problémem, který řeší GA, e nalezení nelepšího řešení v prostoru možných řešení. V GA e nelepší řešení definováno ako to, které optimalizue předdefinované numerické ohodnocení pro daný problém, nazývané skóre (fitness). Například při aproximaci neznámé funkce zadané vstupními hodnotami a požadovanými výstupními hodnotami, by skóre mělo být definováno ako přesnost řešení nad tréninkovými daty. Toto ohodnocení daného řešení provádí účelová funkce přiřazuící každému řešení eho skóre. Kandidát řešení e nazýván edinec. Jedinci sou seskupováni do množin nazývaných populace a po sobě následuící populace se nazývaí generace. Ve většině aplikací obsahue edinec eden chromozóm. Chromozóm délky n e vektor tvaru: x 1, x2,..., x n kde x i se nazývá gen, nebo také alela. Přestože se různé aplikace genetických algoritmů ve svých detailech liší, maí většinou následuící společnou strukturu: GA(F,p,k,m) F účelová funkce p počet edinců v populaci k pravděpodobnost křížení m pravděpodobnost mutace t := 0 Inicializace populace: Náhodně generu p edinců do počáteční generace G 0. Ohodnocení: Pro všechny edince v G 0 spočti F(). Dokud není splněna ukončovací podmínka proveď: Výběr: Pravděpodobnostně vyber (1-k)p edinců z G t a přide e do G t+1. Křížení: Pravděpodobnostně vyber dvoce edinců dle k. Pro každou vybranou dvoici edinců vytvoř pomocí operátoru křížení dva eich potomky a přide e do G t+1. Mutace: Vyber m procent členů populace G t+1 a změň u nich náhodně eden gen.

21 GENETICKÉ ALGORITMY 21 Ohodnocení: Pro všechny edince v G t+1 spočti F(). t:= t+1 Vrať G t. GA se liší od tradičních vyhledávacích technik v několika směrech: GA pracuí s řetězcem zakódovaných hodnot parametrů, ne s parametry samotnými. GA představuí vyvážený poměr mezi hledáním nových řešení v parametrickém prostoru a využíváním informací iž obevených. GA sou náhodnostními algoritmy v tom směru, že používaí operátory, eichž výsledek závisí na pravděpodobnosti. Výsledky těchto operací sou založeny na hodnotě náhodného čísla. GA pracuí s několika řešeními zároveň, shromažďuící informace z aktuálního hledání přímo do následného hledání. Schopnost pracovat s několika řešeními zároveň dělá GA méně náchylnými na problémy lokálních minim a šumu. GA maí vlastnost implicitního paralelismu, takže populace edinců nade řešení rychlei, než kdyby prohledávali prostor izolovaně. GA využívaí pouze informace poskytované účelovou funkcí, ne derivace nebo další doplňuící znalosti. Cílem GA e kombinovat nevhodněší edince ve snaze vytvořit eště kvalitněšího edince. Výběr rodičů i postup při eich kombinaci e založen na náhodnostním principu. 3.1 Genetické operátory Generace následníků e v GA závislá na genetických operátorech, které kombinuí a mutuí vybrané členy aktuální populace. Použití typických genetických operátorů pro manipulaci s edinci e ilustrováno ve struktuře genetického algoritmu v předchozí kapitole. Tyto operátory odpovídaí idealizovaným verzím genetických operací, které můžeme nalézt v přírodě, v biologické evoluci. Dvěma neběžněšími operátory sou křížení a mutace. Operátor křížení vytváří ze dvou edinců, rodičů, dva nové potomky. Gen na i-té pozici každého potomka e zkopírován z i-té pozice ednoho z rodičů. Výběr, který z rodičů e původcem daného genu, záleží na typu křížení. Prvním typem e ednobodové křížení, které vybere náhodně eden gen z edince a v tomto místě oba edince rozdělí na dvě části, ty se pak navzáem vymění. Dvoubodové křížení rozdělí edince ve dvou bodech, t. na tři části, a vymění mezi sebou prostřední části. Posledním základním typem křížení e uniformní křížení. U tohoto typu křížení se určue zcela náhodně, který z rodičů kopírue svů i-tý gen na místo i- tého genu daného potomka. Oproti kombinačním operátorům, které vytváří potomky kombinováním částí eich dvou rodičů, druhý typ operátorů vytváří nového edince en z ednoho rodiče. Takový genetický operátor se nazývá mutace. Mutace provádí malé změny v edinci, tím že náhodně vybere eden gen a změní eho hodnotu. Mutace se většinou provádí až po křížení a provádí se také řádově méně často než křížení. Význam mutace e v tom, že dokáže vytvářet zcela nové

22 GENETICKÉ ALGORITMY 22 hodnoty genů a zabraňue tak uvíznutí celého procesu evoluce v lokálním extrému optimalizované funkce. 3.2 Účelová funkce a výběr Účelová funkce definue kritérium pro ohodnocení kandidátů řešení, edinců a eich pravděpodobnostní výběr do další generace. Jestliže máme klasifikační úlohu, pak účelová funkce typicky hodnotí klasifikační přesnost přes množinu dat daných tréninkovými příklady. Výběr edinců, nebo také selekce, e založen na účelové funkci, která využívá znalosti o cíli adaptace, resp. evoluce. V principu e to ediné místo v algoritmu, kde e tato znalost nezbytná. Čím má edinec vyšší skóre, tím e větší pravděpodobnost, že bude vybrán pro nové zkombinování svých genů, nebo pro přímý postup do další generace. Pravděpodobnost, že bude edinec vybrán, e dána poměrem skóre daného edince ke skóre ostatních edinců v populaci. Základní typy výběru (selekce) sou následuící: Ruleta (roulette whell) Pravděpodobnost Pr, že edinec h i, bude vybrán e dána rovnicí: ( h ) i = p i = 1 ( hi ) F( h ) F Pr (3.1) i kde F e účelová funkce a p e počet edinců v populaci. Turna (tournament) Zvolí se náhodně dva edinci, z nichž e pak s předdefinovanou pravděpodobností p vybrán ten s vyšším skóre a s pravděpodobností 1-p, ten s menším skóre. Pořadí (rank) Jedinci sou setříděni do seznamu podle svého skóre. Pravděpodobnost výběru e pak přímo úměrná pořadí edince v setříděném seznamu.

23 IMPLEMENTACE 23 4 Implementace Realizace zadání diplomové práce byla uskutečněna pomocí dvou programů. Programem NetVisualiser, který se soustřeďue na vizualizaci neuronových sítí a experimentování s nimi a programem GaVisualiser, ehož cílem e seznámit uživatele pomocí vizuálních pomůcek s genetickými algoritmy. 4.1 NetVisualiser Tato kapitola se bude zabývat implementací neuronových sítí uvedených v kapitole 2.3 v programu NetVisualiser. Při implementaci neuronových sítí sem čerpal především z knih [Šíma-Neruda], [Novák], [Hassoun] a [Kohenen2]. Nedříve něco o programu NetVisualiser obecně. NetVisualiser umožňue pracovat s následuícími neuronovými sítěmi: Lineární perceptron Backpropagation RBF síť Kohonenova síť Kohonenova mapa Tyto modely neuronových sítí byly zvoleny, neboť reprezentuí základní typy neuronových sítí a současně e ich často využíváno v praxi, s výimkou lineárního perceptronu, který má význam spíše teoretický. Program NetVisualiser umožňue tyto modely vytvářet, podle zadaných parametrů, umožňue eich učení, kde si lze vybrat z několika různých rychlostí učení a různých režimů vizualizace. V průběhu učení e možno sledovat měnící se graf chyby učení či statistiku sítě, anebo měnit některé parametry sítě ovlivňuící proces adaptace. Program pracue s modely neuronových sítí ve dvou základních režimech klasifikace vzorů a aproximace funkcí, pokud e tento režim pro daný model sítě relevantní. Natrénovanou neuronovou síť e možné kdykoli uložit a pozděi i opět načíst pro další trénování nebo demonstraci eich vlastností. Tento program také umožňue uživateli práci s tréninkovými či testovacími daty. V případě, že se edná o dvourozměrná data, lze tato data pomocí grafického uživatelského rozhraní vytvářet přímo v programu, nebo lze využít možnost automatického generování příslušných dat, kde lze zvolit mezi několika možnostmi typu dat. Vždy e tu možnost uložení aktuálních dat a načtení uložených či externích dat. Program také podporue automatickou normalizaci dat do intervalu 0, 1, avšak data lze normalizovat i do libovolného intervalu. Vizualizaci učení neuronové sítě lze využít v režimu klasifikace vzorů pro dvourozměrná data a v režimu aproximace funkcí pro data ednorozměrná. Uživatel si může vybrat mezi několika typy vizualizace a zvolit si tak eho potřebě nevíce vyhovuící režim či eich kombinaci.

24 IMPLEMENTACE Lineární perceptron Implementace lineárního perceptronu by měla uživatele seznámit se základním principem dopředných neuronových sítí a naznačit základní princip změny vah. Topologie lineárního perceptronu obsahue vstupní vrstvu s n neurony a vrstvu výstupní s edním neuronem. Mezi vrstvami existue úplné propoení. Uživatel si může vybrat z následuících typů přechodových funkcí: 0 a 1. Tato přechodová funkce e dána následuícím předpisem: 1 estliže ξ 0 n σ ( ξ ) =, kde = 0 estliže ξ < 0 i= 0 ξ w i x i (4.1) Jedná se o nepoužívaněší přechodovou funkci a doporučui i používat také pro většinu běžných příkladu v programu NetVisualiser. Práh této funkce pro vizualizaci e 0,5. -1 a 1. Tato funkce e dána obdobným předpisem ako předchozí funkce: 1 estliže ξ 0 n σ ( ξ ) =, kde = -1 estliže ξ < 0 i= 0 ξ w i x i (4.2) Prakticky by mezi těmito přechodovými funkcemi měly být en minimální rozdíly. Obě se používaí především pro klasifikační úlohy. Práh této funkce pro vizualizaci e 0. Lineární. Tato přechodová funkce má následuící tvar: n σ ( ξ) = ξ, kde ξ = w i x i (4.3) i= 0 Jeí tvar i předurčue pro použití v aproximačních úlohách, protože eí funkční hodnota není omezena pouze 0 a 1, resp. -1 a 1, ale může nabývat libovolných hodnot. Práh této funkce pro vizualizaci e 0,5, tato funkce by se ovšem pro klasifikační úlohy neměla používat.

25 IMPLEMENTACE 25 Klasifikační možnosti perceptronu sou omezené, neboť eho ednoduchá topologie dovolue klasifikaci vzorů nevýše do dvou tříd. Pro dvourozměrná vstupní data e přímka odděluící tyto klasifikace dána následuící rovnicí: x w + x w + w 0 (4.4) = Obecně má odděluící nadrovina tvar uvedený v rovnici (2.4). V průběhu učení se tato přímka odděluící různé klasifikace zobrazue a mění svoi polohu podle aktuálního stavu neuronové sítě. Průběh učící fáze lze ovlivňovat nastavením učící konstanty, viz. vzorec (2.7), v dialogu Parametry sítě. Hodnoty tohoto parametru by se měly pohybovat v intervalu od 0 do 1. Čím e hodnota učící konstanty blíže nule, tím dochází k menší úpravě vah. Pro nulu se pak váhy přestávaí adaptovat úplně. Většinou se na začátku volí malá hodnota, která pozděi během adaptace roste. To odpovídá počátečnímu povrchnímu seznámení se s tréninkovou množinou a pozděšímu důkladnému doučení detailů, viz. [Šíma-Neruda]. V dialogu Parametry sítě lze zapnout automatickou úpravu tohoto parametru. Poté se učící konstanta sama pomalu zvyšue směrem k 1. Úprava probíhá podle následuícího vzorce: ( ) ( t ) ( t 1) ( t 1) ε = ε * 1- ε (4.5) Na obrázku Obr. 4.1 e vidět výsledek úspěšného procesu učení. Jako tréninková množina byl použit soubor LP1.dat a ako neuronová síť lineární perceptron se dvěma vstupními neurony a edním výstupním neuronem. Jako přechodová funkce byla použita funkce 0 a 1. Na obrázku e vidět zelená přímka odděluící dvě různé klasifikace, znázorněné červenou a modrou barvou. Konkrétní poloha přímky záleží na počátečním nastavení vah, které e náhodné. Obrázek Obr. 4.2 zachycue proces učení na lineárně neoddělitelných datech. Topologie neuronové sítě e stená ako v předchozím případě a tréninková množina byla načtena ze souboru LP2.dat. Obrázek byl pořízen v režimu zobrazování stopy, při němž sou vidět i předchozí polohy přímky, takže si uživatel může udělat představu o tom, v akých mezích se přímka pohybue. Samozřemě učení lineárního perceptronu s touto tréninkovou množinou neskončí nikdy s nulovou chybou sítě, protože lineární perceptron není tyto dvě klasifikace schopen od sebe úplně oddělit. Oddělovací přímka se bude pohybovat zhruba na rozmezí těchto dvou klasifikací, ale pravděpodobně se nikdy nezastaví na optimální kompromisní hranici. Pro trénování lineárního perceptronu na lineárně neseparabilních datech existuí modifikované algoritmy, viz. například Pocket algoritmus [Hassoun], protože základní algoritmus uvedený v kapitole 4.1 není pro učení na těchto datech příliš vhodný.

26 IMPLEMENTACE 26 Obr. 4.1 Výsledek úspěšného učení lineárního perceptronu. Obr. 4.2 Průběh učení lineárně neoddělitelných dat. Teoreticky lze lineární perceptron použít i pro aproximaci funkcí, i když zde nelze očekávat žádné velké výsledky. Prakticky se edná o proložení přímky skupinou bodů, t. tréninkovou množinou. Pro aproximaci funkcí e třeba vytvořit neuronovou síť s edním

27 IMPLEMENTACE 27 vstupním neuronem a edním výstupním neuronem. Jako přechodovou funkci e zapotřebí zvolit funkci lineární, v ostatních případech by se na výstupu sítě střídaly pouze dvě hodnoty, 0 a 1 nebo -1 a 1. Výsledek aproximace funkce pomocí lineárního perceptronu e znázorněn na obrázku Obr Modré body znázorňuí data z tréninkové množiny, t. vybrané funkční hodnoty aproximované funkce a červená přímka znázorňue výslednou funkci lineárního perceptronu. Obr. 4.3 Aproximace funkcí pomocí lineárního perceptronu Backpropagation Strategie zpětného šíření chyby patří mezi nepoužívaněší modely neuronových sítí. Program NetVisualiser ukazue tento model z hlediska klasifikačních a aproximačních úloh. Jak iž bylo řečeno, edná se o vícevrstvou neuronovou síť. Uživatel si může zvolit počet skrytých vrstev a počet neuronů v ednotlivých vrstvách, včetně vrstvy vstupní a výstupní. Pro většinu úloh by mělo být dostatečné zvolit si síť s ednou nebo dvěma skrytými vrstvami. Počty skrytých neuronů by měly odpovídat složitosti řešeného problému, t. počtu tréninkových vzorů, eich vstupů a výstupů a struktuře vztahů, které popisuí. Je třeba upozornit, že příliš malá síť se obvykle zastaví v něakém mělkém lokálním minimu a e zapotřebí topologii doplnit o další skryté neurony. Na druhou stranu příliš velká síť pravděpodobně nade globální minimum, ale za cenu velké výpočetní náročnosti. V praxi se obvykle počet neuronů volí heuristicky. Jedna z heuristik tvrdí, že v první skryté vrstvě by mělo být o něco více neuronů než e vstupů a ve druhé skryté vrstvě by měl být počet neuronů roven aritmetickému průměru počtu výstupů a počtu neuronů v první skryté vrstvě. Následue přehled přechodových funkcí dostupný pro tento model: Sigmoida. Tato standardní přechodová funkce má následuící tvar:

28 IMPLEMENTACE 28 σ 1 ( ξ ) = ξ 1 + e, kde ξ = wi yi (4.6) i Práh této funkce pro vizualizaci e 0,5. Tanh - Hyperbolický tangens. Jedná se taktéž o sigmoidní funkci s tímto předpisem: σ ξ 1 e ( ξ ) = ξ 1 + e, kde ξ = wi yi (4.7) i Jedním z rozdílů těchto dvou funkcí e, že standardní sigmoida má obor hodnot roven 0, zatímco hyperbolický tangens má obor hodnot roven ( 1, 1). Obě tyto funkce lze (, 1) použít ako přechodovou funkci pro skrytou nebo výstupní vrstvu. Práh této funkce pro vizualizaci e 0. Lineární. Přechodové funkce pro výstupní vrstvu doplňue lineární funkce, která e vhodná pro aproximační úlohy. Jeí tvar e: σ ( ξ ) = ξ, kde ξ = w i yi (4.8) i Práh této funkce pro vizualizaci e 0,5, tato funkce by se ovšem pro klasifikační úlohy neměla používat. Úprava vah v adaptivní fázi probíhá dle vzorců (2.11), (2.13), (2.14) a (2.15) uvedených v podkapitole 3.2. Protože e implementován modifikovaný algoritmus momentu, e navíc místo vzorce (2.12) použit vzorec (2.16). Adaptace konfigurace sítě probíhá po předložení každého tréninkového vzoru, čímž se sníží paměť ová náročnost ve srovnání s akumulovanou variantou, kde se váhy adaptuí až po proití celé tréninkové množiny. Oproti akumulované variantě však může doít ke zpomalení konvergence, protože se gradient nepočítá k celé tréninkové množině, ale k aktuálnímu tréninkovému vzoru. V klasifikačních úlohách si tento model poradí téměř s akýmkoli problémem, samozřemě konkrétní výsledky závisí od zvolené topologie. Uživatel může pozorovat učící režim v několika vizualizačních režimech, které mu zpřístupní celý režim adaptace konfigurace sítě. Více se o nich lze dozvědět v podkapitole

29 IMPLEMENTACE 29 Proces adaptace lze ovlivňovat dvěma faktory, učící konstantou a mírou vlivu momentu. Jak ovlivnit proces učení pomocí učící konstanty e iž popsáno v podkapitole Pomocí vlivu momentu můžeme urychlit konvergenci sítě. Obvykle se volí hodnota přibližně 0,9, viz. [Šíma-Neruda]. V praxi to znamená, že se k aktuální změně váhy přičte i 0,9ti násobek předchozí změny. I když tento model neuronové sítě patří mezi neznáměší a nečastěi používané, rychlost a efektivnost eho adaptivního režimu nepatří k nelepším. Ukázku klasifikačního režimu tohoto modelu můžeme vidět na obrázcích Obr. 4.1 a Obr Tréninková množina byla načtena ze souboru XOR4.dat, který simulue klasifikaci logickou funkcí vylučovací disunkce. Na obrázcích e vidět, ak si tento model poradil s problémem, který e pro lineární perceptron neřešitelný. Neuronová síť měla ednu skrytou vrstvu s 20ti neurony, tento počet byl pro pořízení tohoto obrázku zvolen pouze experimentálně, inak by na řešení tohoto problému zcela istě stačila například síť se dvěma skrytými neurony, která by pravděpodobně i rychlei konvergovala RBF Tento model nepatří mezi nerozšířeněší modely, což však nesnižue eho důležitost. Uživatel si může zvolit počet vstupních neuronů, počet skrytých neuronů, tzv. RBF ednotek, v ediné skryté vrstvě a počet výstupních neuronů. Přechodovou funkcí pro skrytou vrstvu e tzv. Gaussova funkce: 2 z b ϕ (4.9) ( ) z = e kde z e vzdáleností vstupního vektoru x od středu -té RBF ednotky c vypočtené následovně: z = ( xi c i ) i 2 (4.10) Práh této funkce pro vizualizaci e 0,5. Přechodové funkce přístupné pro výstupní vrstvu sou: 0 a 1. Tato přechodová funkce má následuící tvar: 1 estliže z 0 2 σ ( z ) =, kde z = ( xi c i ) 0 estliže z < 0 i (4.11) Práh této funkce pro vizualizaci e 0,5.

30 IMPLEMENTACE 30 Lineární. Tato přechodová funkce e zadána následuícím předpisem: σ(z =, kde z = ( x c ) ) z i i i 2 (4.12) Lineární přechodová funkce e opět určena pro aproximační úlohy. Práh této funkce pro vizualizaci e 0,5, tato funkce by se ovšem pro klasifikační úlohy neměla používat. Každá RBF ednotka si oproti ostatním modelům neuronů pamatue svoi šířku b. Šířka určue velikost radiální oblasti okolo středu c, v němž má daná RBF ednotka významné výstupní hodnoty. Střed -té RBF ednotky c e dán hodnotami í příslušeících vah, u iných modelů obvykle značenými w. Adaptace neuronové sítě probíhá ve třech fázích. První dvě fáze probíhaí pouze ednou a to po inicializaci sítě či po eí reinicializaci. První fáze určue středy RBF ednotek ve skryté vrstvě. Určení středů probíhá náhodným výběrem vzorů z tréninkové množiny a nastavením středů ednotek, t. vah mezi vstupní a skrytou vrstvou, na eich vstupy. V případě, že e více RBF ednotek, než vzorů v tréninkové množině, budou mít některé RBF ednotky totožné středy. Ve druhé fázi probíhá nastavení šířek RBF ednotek. Ke každé RBF ednotce se nade ednotka, která e í neblíže, přičemž se vzdálenost dvou RBF ednotek počítá ako vzdálenost eich středů. Hodnota šířky ednotky se pak nastaví ako vzdálenost těchto ednotek. Ve třetí fázi se adaptuí pouze váhy mezi skrytou a výstupní vrstvou. Změna vah probíhá dle rovnice (2.21) uvedeného v kapitole Středy RBF ednotek sou v programu NetVisualiser znázorněny tmavě zelenými křížky a dávaí tak uživateli představu o tom ak sou rozmístěny po tréninkové množině. Na obrázku Obr. 4.1 vidíme rozmístění středů RBF ednotek při klasifikační úloze. Tréninková data byla nahrána ze souboru KoloTrote.dat, RBF síť měla dva vstupní neurony, dvacet skrytých RBF ednotek a eden výstupní neuron. Lze si všimnout, že kolem středů RBF-ednotek se tvoří oblasti klasifikací podobné kruhům. V podstatě se o kruhy edná, ale protože síť obsahue dvacet RBF ednotek, tak se tyto ednotky navzáem ovlivňuí, kombinuí a deformuí. Na obrázku Obr. 4.2 sou na stených tréninkových datech použity pouze dvě RBF ednotky a vidíme, že oblast klasifikovaná červenou barvou e souvisleší a komplexněší. Pravděpodobně se ale této síti nikdy nepodaří správně klasifikovat čtyři vzory uprostřed kruhu. Jestliže se nacházíme v aproximačním režimu sou středy RBF ednotek umístěny u horního okrae okna, ak e vidět na obrázcích Obr. 4.1 a Obr Rozmístění RBF ednotek může uživatel přímo ovlivnit pomocí funkce Změna středů RBF ednotek. Tato funkce umožňue přemísťovat středy RBF ednotek pomocí myši a uživatel tak může sám určit, kde daná RBF ednotka bude mít svů střed. Uživatel tak může experimentovat s optimálním rozmístěním eich středů a dosáhnout tak lepších výsledků, než by dosáhla sama