2 Struktura ortogonální neuronové sítě

Rozměr: px

Začít zobrazení ze stránky:

Download "2 Struktura ortogonální neuronové sítě"

Matěj Havlíček
před 5 lety
Počet zobrazení:

1 XXXII. Senar ASR '7 Instruents and Control, Farana, Sutný, Kočí & Babuch (eds) 7, VŠB-UO, Ostrava, ISBN Neural Netork Usng Orthogonal Actvaton Functon Využtí ortogonální aktvační funkce v neuronové sít ŠKUOVÁ, Jolana Ing., VŠB U Ostrava, jolana.skutova@vsb.cz, Abstrakt: V oblast odelování nebo řízení neuronových sítí se často využívá neuronová síť se zpětný šíření, tzv. perceptronová neuronová síť, která se potýká s probléy lokálního na, nízkou rychlostí konvergence, volbou počátečních paraetrů vah a počte neuronů. V toto příspěvku je prezentována ortogonální neuronová síť s jednou skrytou vrstvou, která využívá ortogonální aktvační funkce. ato neuronová síť uožňuje odstrant výše uvedené probléy. Klíčová slova: odelování, neuronová síť, ortogonální funkce, řízení systéu, trénování Úvod Neuronové sítě v oblast odelování funkcí, odelování reálných systéů, řízení a optalzace systéů, robotce jsou v současné době běžně využívány. Nejčastěj aplkovaný neuronový sítě jsou zde dopředné vícevrstvé sítě, konkrétně podle typu použté aktvační funkce perceptronové a radální sítě. Př jejch aplkac se vyskytují probleatcké ísta s rychlostí konvergence trénnkového algortu, dosažení globálního na algortu poklesu gradentu, volba počátečních hodnot paraetrů neuronové sítě apod. V řadě publkací se řeší právě různé etodky pro odstranění těchto probléů a jední z radkálních přístupů je volba nové struktury neuronové sítě, která dokáže tyto probleatcká ísta odstrant. ento příspěvek popsuje jný typ neuronové sítě s netradční vntřní uspořádání vazeb ez neurony a ortogonální type aktvační funkce. V závěru jsou předloženy výsledky sulačního odelování ortogonální neuronové sítě pro zvolenou nelneární funkc. Struktura ortogonální neuronové sítě ONN (orthogonal neural netork) je dopředná neuronová síť s několka vstupy a jední výstupe (ISO ultple nput snge output), která využívá ve vntřní skryté vrstvě ortogonální aktvační funkce ve skrytých neuronech (obrázek ). Vstupy neuronové sítě se rozvětvují do bloku ortogonálních neuronů pro daný vstup. Počet neuronů pro každý vstup je lbovolný a prvníu neuronu odpovídá první řád ortogonální funkce a -téu neuronu odpovídá -tý řád ortogonální funkce. Počet ortogonálních neuronů je dán vztahe: N ortg = N, () = kde je počet vstupů ONN a N je počet neuronů (aální řád ortogonální funkce) pro každý vstup. Další vrstvu neuronové sítě tvoří uzly vytvořené kobnací součnů jednotlvých výstupů z ortogonálních neuronů a to je ožné vyjádřt jako φ ( ) φ ( ) = n K n n, () = = [ K je -rozěrný vstupní vektor, φn je výstup ortogonální kde ] funkce pro každý skrytý neuron. [LEONDES 998] 47

2 Výstup ONN je dán součte všech výstupních uzlů z předchozí vrstvy () a lze je ateatcky vyjádřt takto: yˆ N (, ˆ ) = ( ) = Φ ( ) n = N n = n ˆ K φ. (3) n nkn kde Φ () je transforovaný vstupní vektor a ŵ je transforovaný vektor vah neuronové sítě. Orthogonal functon Produkt functon Su functon K N K N N K N K N K N Σ y N K N N K N N N K N Obrázek Struktura ortogonální neuronové sítě (ONN) Ortonorální aktvační funkce Rychlost konvergence, která je pro perceptronové č radální neuronové sítě, probleatcký íste, je díky použtí ortonorálních funkcí jako aktvačních funkcí v neuronové sít větší. Funkce φ jsou ortogonální na ntervalu [ n, a ] tehdy, pokud pro n ně platí Φ a ( N ) ( N ) φ ( ) φ j ( ) d = δj, (4) n kde δ j je Kroneckerův sybol, pro který platí pokud = j δ j = (5) pokud j Estuje řada ortonorálních polynoů, např. Hertovy, Legendrovy, Laguerrovy, Chebysevovy a Fourerovy polynoy [WIKIPEDIA]. Zatí byly aplkovány Legendrovy a Fourerovy polynoy pro odelování dané nelneární funkce. ONN s využtí Fourerových polynoů jako ortogonálních aktvačních funkcí neuronové sítě neěly tak kvaltní výsledky, takže další eperenty byly realzovány pouze s Legendrový polynoy. 48

3 3 etoda trénování ONN Pro nastavení vah ortogonální neuronové sítě se využívá algortus poklesu gradentu, který vychází z kvadratcké chyby trénování neuronové sítě ) E = e = ( y y), (6) kde e je chyba ez y (aktuální výstup) a y ) (výstupe ONN). Algortus poklesu gradentu postupuje sěre záporného gradentu a adaptace paraetrů vah neuronové sítě se provádí dle vztahu ) E Δ = δ ), (7) kde Δ ) je zěna paraetrů vah, δ je paraetr rychlost trénování, paraetr ) pak označuje stavové váhy před jejch adaptací a E se ohodnocující funkce. edy adaptace paraetrů ONN probíhá podle algortu okažtého poklesu gradentu ) ) ( t) = ( t ) + δeφ( t), (8) kde Φ(t) je transforovaný vstupní vektor obsahující ortogonální funkce. Paraetr rychlost trénování je z důvodu zajštění stablty trénování ONN nutné zvolt dle vztahu < δ <. (9) Φ Φ Paraetr rychlost trénování je jední z paraetrů, které jsou součástí eperentu př získávání optálního odelu neuronové sítě v závslost na zvolené odelované systéu. [LEONDES 998] 4 odelování nelneární funkce V toto příspěvku jsou uvedeny výsledky s odelování nelneární funkce. Výsledky jsou ezkroke ez další výzkunou prací v oblast odelování reálné soustavy, případně aplkací ortogonální sítě v procesu řízení. Prozatí byly úspěšně proveden návrh a odladění algortu pro realzac a trénování ONN v prograu atlab/sulnk, optalzace zdrojového kódu kvůl nezbytné rychlost prograového kódu. Ověření a eperenty s návrhe konkrétní struktury byly provedeny tedy na odelování zvolené nelneární funkce, která je dána vztahe: y ( ) =. () + e Struktura neuronové sítě byla tvořena jední vstupe a jední výstupe nelneární funkce, ve skryté vrstvě bylo neuronů s ortogonální funkcí typu Legendrova aktvační funkce. řádu až. řádu. Pracovní oblast vstupního sgnálu odpovídá ntervalu hodnot [-,5;.,5]. rénování ONN probíhalo v epochách (epocha odpovídá jednou cyklu trénnkového algortu pro celou trénnkovou nožnou dat). aální počet epoch pro kvaltní výsledky adaptace paraetrů ONN byl zvolen. Paraetr rychlost konvergence byl otázkou eperentů a pro tyto grafy sulací nelneární funkce byl nastaven na hodnotu čtvrtny aální hodnoty paraetru vz. (9). Počáteční hodnoty vah jsou dány náhodně v rozsahu ntervalu hodnot [-;]. Př několkanásobné spuštění algortu trénování s různý ncalzační hodnota paraetrů vah neuronové sítě bylo prokázáno dosažení globálního na. Konečné hodnoty vah ONN se ustálly s vel alý chyba o několk řádů nžších než výstupní hodnoty na stejné nu. V případě, že váhy se v poslední cyklu trénování neuronové sítě ustálí na konstantní hodnotě po dobu jednoho cyklu (epochy), pak je ožné výsledné paraetry vah neuronové sítě použít pro off-lne aplkac neuronové sítě. V případě, že hodnoty paraetrů vah pro poslední epochu nepředstavují příku rovnoběžnou osou, ale kolísají, pak ůže být odelovaná funkce zatížena nepřjatelnou chybou pro další využtí, nebo je ožné aplkovat 49

4 on-lne trénnkový algortus neuronové sítě, ale zde zase není zajštěna globální robustnost a stablta. V prograu Sulnk byly vytvořeny a realzovány jednotlvé řády Legendrova polynou. Obtížnou částí realzace bylo, za přspění nálního počtu bloků, sestavení celé neuronové sítě, zejéna kobnační část s bloky Product. e Chyba ortogonaln neuronove ste pro odelovanou nelnearn funkc y Aktuální výstup y a výstup ONN pro první a poslední epochu trénování první epocha poslední epocha aktuální výstup výstup ONN -.epocha výstup ONN -.epocha Obrázek Chyba ONN pro danou nelneární funkc Adaptace paraetru vah ONN Obrázek 3 Aktuální výstup a výstup ONN pro danou nelneární funkc Konvergence trénování ONN E n Obrázek 4 Hodnoty paraetrů vah ONN pro první (plná čára) epochu a poslední (tečkovaná čára) epochu trénování Obrázek 5 Konvergence ortogonální neuronové sítě př trénování 5 Závěr Ortogonální neuronové sítě odstraňují některé zásadní probleatcké ísta aplkace perceptronových neuronových sítí, jako je rychlost konvergence algortu trénování, dosažení globálního na př trénování neuronové sítě. Na rozdíl od perceptronových sítí však vyžaduje jný typ trénnkové nožny dat pro získání robustního odelu neuronové sítě. V současnost probíhají testy a eperenty s volbou počtu a typu vstupů, type trénnkové nožny dat a počte ortogonálních neuronů (řádu Legendrova polynou) pro konkrétní reálný tlakovzdušný systé. V dostupných publkacích z oblast aplkací neuronových sítí estuje také řada schéat pro řízení systéu s využtí neuronových sítí, a proto je ve stavu výzkuu a testování návrh vhodné struktury za účele získání kvaltního řízení. Příspěvek byl vytvořen ve spoluprác a za podpory grantu GAČR No /6/49. 5

5 6 Použtá lteratura GUO, B. & YU, J. 6. odel Adaptve Control Based on a Copound Orthogonal Neural Netork. Internatonal Journal of Inforaton echnology, vol., no. 5, 99-7 LEONDES, C Control and Dynac Systes. Acadec Press. 438 pg. ISBN SOLOWAY, D. & HALEY, P. J Neural Generalzed Predctve Control. A Neton- Raphson Ipleentaton. Proceedngs of the IEEE CCA/ISIC/CACSD, IEEE Paper No. ISIAC-A5., Sept WIKIPEDIA. he Free Encyclopeda. [onlne].poslední aktualzace Dostupný z : <URL: YANG, S. S. & SENG, C. S An Orthogonal Neural Netork for Functon Approaton. IEEE rans. Syst., an, Cybern., vol. 6, no. 5, pp

Podobné dokumenty

P i= Od každého obrázku sady odečteme průměrný obraz (provedeme centrování dat): (2)

P i= Od každého obrázku sady odečteme průměrný obraz (provedeme centrování dat): (2) METODA PCA A JEJÍ IMPLEMENTACE V JAZYCE C++ Lukáš Frtsch, Ing. ČVUT v Praze, Fakulta elektrotechncká, Katedra radoelektronky Abstrakt Metoda PCA (Prncpal Coponent Analyss- analýza hlavních koponent) ůže