Tp umělých neuronových sítí umělá neuronová síť vznikne spojením jednotlivých modelů neuronů výsledná funkce sítě je určena způsobem propojení jednotlivých neuronů, váhami těchto spojení a způsobem činnosti jednotlivých neuronů nejpoužívanější jsou tzv. vícevrstvé dopředné neuronové sítě a neuronové sítě se zpětnou vazbou Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 8
Tp umělých neuronových sítí (pokračování) vícevrstvé dopředné sítě (sítě s dopředným šířením, feedforward networks) výstup jedné vrstv je připojen na vstup následující vrstv a signál se šíří pouze ze vstupu sítě na její výstup sítě se zpětnou vazbou (rekurentní sítě, feedback networks) oproti dopředným sítím se zde signál šíří také z výstupu sítě zpět na její vstup Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 9
Dopředné neuronové sítě třívrstvá síť x W, b f g V, d S, r h vstup sítě K I výstup sítě J.skrtá vrstva. skrtá vrstva výstupní vrstva výstup i-tého výstupního neuronu: J K L = h s g v f w x + b + d + r i i j jk k l l k j i j = k = l = Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Dopředné neuronové sítě (pokr.) třívrstvá síť označení x =[x, x,, x L ] T vstupní vektor sítě (též se nazývá vstupní obraz sítě) L počet vstupů sítě =[,,, I ] T výstupní vektor sítě (též se nazývá výstupní obraz sítě) I počet výstupů sítě, tj. počet neuronů v poslední (třetí) vrstvě w k =[w k, w k,, w kl ] T váhový vektor k-tého neuronu. vrstv (obsahuje váh vazeb vedoucích ze vstupu ke k-tému neuronu.vrstv) w kl váha vazb vedoucí od l-tého vstupu ke k-tému neuronu (první index určuje cíl vazb, druhý zdroj vazb) K počet neuronů v.vrstvě J počet neuronů ve.vrstvě W váhová matice.vrstv (dimenze KxL) V váhová matice.vrstv (dimenze JxK) S váhová matice.vrstv (dimenze IxJ) b =[b, b,, b K ] T prahový vektor.vrstv d =[d, d,, d J ] T prahový vektor.vrstv r =[r, r,, r I ] T prahový vektor.vrstv f aktivační funkce neuronů.vrstv g aktivační funkce neuronů.vrstv h aktivační funkce neuronů.vrstv Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Činnost dopředných neuronových sítí Po předložení vstupu je vgenerován odpovídající výstup. Příklad: Analzujte chování dvouvrstvé neuronové sítě znázorněné na obrázku (úkolem je zjistit závislost na x a x ). x x - - - + f ( ξ) + f ( ξ) + f ( ξ) + f ( ξ) + f ( ξ) -,5 + pro ξ a) f ( ξ ) = sgn( ξ ) = b) f ( ξ ) = pro ξ < + exp( λ ξ) Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Činnost dopředných neuronových sítí (pokračování) Řešení: ad a) výstup každého neuronu v.vrstvě může nabývat pouze hodnot + nebo -, tzn. každý neuron rozdělí vstupní rovinu x x na polorovin. Jedné přiřadí + a druhé. na výstupu neuronu.vrstv může být + pouze v případě, že na výstupech + od.n. všech neuronů.vrstv je +, tzn. uvnitř vznačeného obdélníku x + od.n. + od.n..5 -.5 + od.n. x - x x.5.5 x.5 x.5 Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Činnost dopředných neuronových sítí (pokračování) Řešení: ad b) Každý neuron.vrstv opět rozdělí vstupní rovinu na části. Jedna část odpovídá kladným hodnotám na výstupu příslušného neuronu a druhá záporným. Přechod mezi polorovinami však není skokový, nýbrž plnulý. Neuron.vrstv opět zkombinuje výstup.vrstv. λ = λ = -.7.5 -.5 -.75 -.8 -.85 -.9-6 5 x x x x 5 6 -.95 6 5 x x x x 5 6 Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Činnost dopředných neuronových sítí (pokračování) λ =,5 λ = 5 -.55. -.6 -.65 -.7 -.75 -.8 -.85 -.9 -.95. -. -. -.6 -.8-6 5 x x x x 5 6 λ = - 6 5 x x x x 5 6.5 -.5-6 5 x x x x 5 6 Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 5
Neuronové sítě se zpětnou vazbou (rekurentní sítě, feedback networks) jednovrstvá síť se zpětnou vazbou, počet vstupů = počet výstupů (k) (k) J (k) f W, b (k+) J (k+) J (k+) výstup j-tého neuronu: W váhová matice sítě (řádu J) b =[b, b,, b J ] T prahový vektor sítě J počet vstupů a výstupů sítě f aktivační funkce =[,,, J ] T vektor (stav) sítě k čas výstupní () inicializační stav sítě J ( k + ) = f w ( k) + b j ji i j i = Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 6
Činnost neuronových sítí se zpětnou vazbou po inicializaci v čase k= se samovolně mění výstup sítě síť přechází z jednoho stavu do jiného ke změně stavu může docházet buď snchronně (výstup všech neuronů se mění najednou) nebo asnchronně (výstup neuronů se mění postupně) Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 7
Činnost neuronových sítí se zpětnou vazbou (pokračování) proces samovolné změn stavu končí v okamžiku, kd síť dosáhne rovnovážného stavu, kd se výstup sítě již nemění, tj. (k+)=(k) vstup sítě výstup sítě síť také může skončit v rovnovážném cklu, který je tvořen periodick se opakujícími stav Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 8
Činnost neuronových sítí se zpětnou vazbou příklad Analzujte chování Hopfieldov rekurentní sítě znázorněné na obrázku (úkolem je určit rovnovážné stav, popř. rovnovážné ckl). Síť pracuje v snchronním režimu. + + - + + - - - + + - + - + - Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 9
Činnost neuronových sítí se zpětnou vazbou příklad (pokr.) Řešení: Po inicializaci všemi možnými stav zjistíme, že síť má rovnovážné stav [+ + -] a [- - +] a rovnovážný cklus délk tvořený stav [- + +] a [+ - +], mezi kterými síť kmitá. Znázornění pomocí bitových map na jednotkové krchli: prázdné políčko - vplněné políčko + rovnovážný stav [- - +] rovnovážný stav [+ + -] rovnovážný cklus [- + +] a [+ - +] Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Fáze činnosti neuronových sítí Fáze nastavování cílem fáze nastavování je nastavit váh a prah sítě tak, ab prováděla požadovanou činnost (předpokládá se, že je dána tzv. topologie sítě, tzn. počet vstupů a výstupů sítě, počet vrstev a neuronů v nich, způsob propojení neuronů a aktivační funkce neuronů) Fáze pracovní ve fázi pracovní síť reaguje na předložené vstup podle svého předchozího nastavení Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Fáze nastavování cílem je nastavit váh a prah jednotlivých neuronů tak, ab síť prováděla požadovanou činnost možnosti nastavení vah a prahů výpočtem (lze jen u některých tpů sítí) učením (trénováním) učení s učitelem (supervised learning) učení bez učitele (unsupervised learning) Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Učení s učitelem předpokládáme, že máme k dispozici tzv. trénovací množinu, tj. množinu dvojic [vstup, požadovaný výstup] neuronové síti jsou postupně předkládán dvojice [vstup, požadovaný výstup] z trénovací množin pro každý vstup předložený vstup neuronová síť vgeneruje skutečný výstup, který se porovná s požadovaným výstupem, a trénovací algoritmus upraví nastavení vah a prahů tak, ab rozdíl mezi skutečným a požadovaným výstupem bl minimální Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Učení s učitelem (pokračování) Trénovací množina: [vstup, požadovaný výstup ] [vstup, požadovaný výstup ] [vstup, požadovaný výstup ] [vstup, požadovaný výstup ]. [vstup P, požadovaný výstup P ] Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik
Učení s učitelem (pokračování) [ vstup, požadovaný výstup ] učitel vstup neuronová síť skutečný výstup požadovaný výstup porovnání změna vah a prahů Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 5
Učení s učitelem (pokračování) [ vstup, požadovaný výstup ] učitel vstup P neuronová síť skutečný výstup požadovaný výstup P porovnání změna vah a prahů Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 6
Učení s učitelem (pokračování) Dvojice z trénovací množin se přivádějí na síť opakovaně (opakování matka moudrosti) Trénování probíhá v tzv. trénovacích cklech, kd během jednoho trénovacího cklu jsou síti všechn dvojice z trénovací množin předložen právě jednou Pořadí výběru trénovacích dvojic z trénovací množin má vliv na výsledek učení Podle chb na výstupu sítě se nastavují váh a prah předchozích vrstev, proto se algoritmus učení s učitelem nazývá algoritmus backpropagation (algoritmus zpětného šíření chb) Dobře natrénovaná síť je schopna to, co se naučila, zobecňovat (schopnost generalizace) Trénování může být dávkové (váh a prah se mění až po skončení celého trénovacího cklu) nebo sekvenční (váh a prah se mění po každé trénovací dvojici) Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 7
Učení bez učitele Síti jsou předkládán pouze vstup, informace učitele (tj. požadovaný výstup) chbí. Síť se sama snaží najít zákonitosti ve vstupních datech a nastavit své váh a prah tak, ab na podobné vstup reagovala podobnými výstup. vstup neuronová síť změna vah a prahů skutečný výstup Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 8
Učení bez učitele (pokračování) Podobnost je obvkle definována eukleidovskou vzdáleností. Pak dochází k tzv. shlukování vstupních dat..9.8.7.6.5.........5.6.7.8.9 Jednotlivé shluk je pak možné reprezentovat jejich centroid.9.8.7.6.5.........5.6.7.8.9 vstupní vektor jsou zobrazen jako bod v prostoru, jehož dimenze je dána počtem vstupů Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kbernetik 9