Aplace teore neuronových sítí Doc. RNDr. Iveta Mrázová, CSc. Katera teoretcé nformat Matematco-fzální faulta Unverzt Karlov v Praze
Neuronové sítě Moulární archtetur Doc. RNDr. Iveta Mrázová, CSc. Katera teoretcé nformat Matematco-fzální faulta Unverzt Karlov v Praze
Robustnost vrstevnatých neuronových sítí Vzhleem e ztrátě srtého neuronu -neuronová robustnost Moface chbové funce pomocí tzv. robustnostního členu prořezávání a uplace ~ zvoení taových neuronů, echž ztráta způsobí nevětší chbu na výstupu sítě Vzhleem robným ochlám přeláaných vstupních vzorů Separační charatersta K lbovolné vrstevnaté neuronové sít (a ané onečné množně vzorů) lze zonstruovat robustněší síť s téměř steným výstup (~ ε-evvalentní síť) I. Mrázová: ATNS (NAIL03) 3
ε evvalence Exstue mnoho vrstevnatých neuronových sítí s požaovaným vstupně / výstupním chováním Dvě vrstevnaté neuronové sítě sou ε-evvalentní, estlže ávaí pro všechn vstupní vzor z ané onečné množn vzorů tentýž výstup s stou ε-přesností:, B B e B B B, B, m počet výstupních neuronů sítí B, B m I. Mrázová: ATNS (NAIL03) 4
Robustnost vzhleem e ztrátě srtého neuronu -neuronová robustnost: Určena chbou způsobenou ztrátou enoho srtého neuronu E m E, N h p N h počet srtých neuronů požaovaný výstup pro aný vstupní vzor p sutečný výstup výstupního neuronu,... výstup neuronu, estlže chbí srtý neuron p I. Mrázová: ATNS (NAIL03) 5
Robustnost vzhleem e ztrátě srtého neuronu () Další možnost váření chb: Určena ochlou výstupu způsobenou ztrátou enoho srtého neuronu ( E m 0, estlže se př ztrátě srtého neuronu výstup sítě pro trénovací množnu nezmění) Nehorší možné násle E E E, m N max, p,, max, p,, h p I. Mrázová: ATNS (NAIL03) 6
Zvýšení robustnost vrstevnatých NS ) Mofací chbové funce: F = E + ρ E rob ρ nastavtelný parametr ovlvňuící vzáemný poměr mnmalzované stření varatcé ochl sutečných a požaovaných výstupů a robustnost učené sítě f ( ) f (, ) N E m h p x w, x výstup srtého neuronu w váha mez srtým neuronem a výstupním neuronem f(ξ) přenosová funce (sgmoa) I. Mrázová: ATNS (NAIL03) 7 x w
Zvýšení robustnost vrstevnatých NS () TRIK: mnmalzace N E Pro výstupní vrstvu w Pro srtou vrstvu namísto mnmalzace m, x N w E m h p h p E w l E x x w E wx w x N h z l atvta vstupního neuronu l N I. Mrázová: ATNS (NAIL03) 8 h E m x z l
Zvýšení robustnost vrstevnatých NS (3) ) Prořezáváním a uplací Aaptace sítě pomocí stanarního algortmu zpětného šíření Otestování robustnost sítě Ientface taového srtého neuronu, ehož ztráta b způsobla nevětší změnu robustnost zvoení tohoto neuronu rozpůlt váh obou opí veoucí výstupní vrstvě ( ope nahraí něterý z ostatních srtých neuronů) I. Mrázová: ATNS (NAIL03) 9
Prořezávání a uplace Výsleem sou: robustněší přesněší sítě malá výpočetní složtost lepší generalzace omezení problémů souveících s výstem loálních mnm I. Mrázová: ATNS (NAIL03) 0
Moulární strutura BP-sítí Jenouchá vrstevnatá neuronová síť CO KDE Moulární vrstevnatá neuronová síť CO KDE VSTUP VSTUP I. Mrázová: ATNS (NAIL03)
Moulární strutura BP-sítí: bnární sčítání - - - - - -4 - - - - - - -3-3 -7 - -9 4 4 - A BP-networ etectng those nput patterns where the carr over two orers s necessar to a two bnar -bt numbers (0 + an + 0) A BP-networ for the bnar aton of two bnar -bt numbers A BP-networ for the bnar aton of two bnar -bt numbers I. Mrázová: ATNS (NAIL03)
Moulární strutura BP-sítí Rozělení úloh o enotlvých poúloh Návrh a vtvoření moulární archtetur Stratege pro extrac ε-evvalentních moulů BP-sítí Elmnace přebtečných srtých a/nebo vstupních neuronů Vhoná pro ž natrénované sítě Komproms mez požaovanou přesností extrahovaného moulu a eho optmální archteturou Vzáemná omunace mez enotlvým moul Paralelní a sérová ompozce BP-sítí I. Mrázová: ATNS (NAIL03) 3
Defnce moulu BP-sítě Nechť B e BP-síť s l srtým vrstvam. BP-síť M e moulem B, estlže obě sítě maí stený počet vrstev a estlže e ažá srtá vrstva L M sítě M pomnožnou srté vrstv L B sítě B : L M L B ; l I. Mrázová: ATNS (NAIL03) 4
Věta o extrac moulů Nechť S e onečná množna vstupních vzorů x a nechť B e BP-síť s množnou H l neuronů poslení srté vrstv, H l >. Potom lbovolnému ε > exstue taová onstanta K ε > 0, že platí: Jestlže exstue v l té srté vrstvě neuron taový, že: ( x S ) ( O ) ; w z K ε potom e BP-síť M, terá e totožná se sítí B bez neuronu, ε-evvalentní moul B, ( M ~ ε S B ). I. Mrázová: ATNS (NAIL03) 5
Věta o extrac moulů () Iea ůazu: f(ξ) + ε r 0.5 f(ξ) f(ξ) - ε r 0-3 0 3 ξ δ r- (ξ) ξ ξ + δ r- (ξ) I. Mrázová: ATNS (NAIL03) 6
Věta o extrac moulů (3) Iea ůazu (poračování): povolená ochla potencálu δ r- (ξ) e v tomto přípaě menší než povolená ochla potencálu δ r+ (ξ) Potencál b se měl změnt směrem ělcí narovně Změněný potencál b měl zachovat umístění vzoru v témže poloprostoru ξ I. Mrázová: ATNS (NAIL03) 7
Věta o extrac moulů (4) Iea ůazu (poračování): povolené ochl potencálu b měl být nezávslé na enotlvých vzorech. Elmnace neuronu, pou e x S w z malé δ r / ( l + ) pro poslení srtou vrstvu l δ r / ( l + ) pro ostatní srté vrstv ξ I. Mrázová: ATNS (NAIL03) 8
Neuronové sítě s moulární struturou Aaptvní směs loálních neuronových sítí (Jacobs & Joran) Seletorové sítě s množnou verzí (Partrge & Share) Kombnační sítě s namcou volbou lasfátoru => HYBRIDNÍ MODEL (Lee, Srhar & Nowlan) I. Mrázová: ATNS (NAIL03) 9
Neuronové sítě s moulární struturou () Důležté vlastnost moelů: Rchlost a onvergence procesu učení Optmalzace archtetur Robustnost a generalzace užtečná různoroost enotlvých moulů (~ useful verst ) I. Mrázová: ATNS (NAIL03) 0
Aaptvní směs loálních neuronových sítí Soustava loálních sítí s řící sítí: Loální sítě sou vrstevnaté neuronové sítě tpu zpětného šíření Všechn loální sítě maí stené vstup a stený počet výstupních neuronů Řící síť e vrstevnatá síť s výstup P a steným vstup, ao maí loální sítě Výstup sstému opovíaí P () I. Mrázová: ATNS (NAIL03)
Aaptvní směs loálních neuronových sítí () I. Mrázová: ATNS (NAIL03)
Aaptvní směs loálních neuronových sítí (3) Nechť se soustava sláá z t loálních sítí N s vaham W () a prah ϑ () ; =,,t ; a ené řící sítě N g s vaham W (g) a prah ϑ (g) Dále nechť e pro aný trénovací vzor sutečný výstup loálních sítí g g a sutečný výstup řící sítě ( ) ( g) 0, ;,..., n,..., t 0, ;,..., m I. Mrázová: ATNS (NAIL03) 3 x,,..., ; t g,..., n n
Aaptvní směs loálních neuronových sítí (4) Pro oefcent p b mělo platt: Cílová funce: E = p E p I. Mrázová: ATNS (NAIL03) 4 t t g g p p t p ) ( ) ( 0,,..., ; 0 ) ( t t p p g g p E e výstupní neuron na
Aaptvní směs loálních neuronových sítí (5) Proces učení a aaptační pravla: Aaptace vah a prahů loálních sítí pole: I. Mrázová: ATNS (NAIL03) 5 E w E 0 ) ( p g w E g f E e výstupní neuron na
Aaptvní směs loálních neuronových sítí (6) Aaptace vah a prahů řící sítě pole: I. Mrázová: ATNS (NAIL03) 6 g g g E w E 0 g g g g g g g E g w E g f E e výstupní neuron na
Aaptvní směs loálních neuronových sítí (7) tenence používat e lasfac přeláaných vzorů vž en enu síť Sérová ompozce vou soustav loálních sítí s říící sítí: Přenos chbových členů mez nenžším srtým neuron N N (eí vstupní neuron se nní neuvažuí) a výstupním neuron N x () N () x práh -tého výstupního neuronu -té loální sítě z N I. Mrázová: ATNS (NAIL03) 7
Aaptvní směs loálních neuronových sítí (8) E f f f E f E l E l l l f l l E l l l l nex přes všechn loální sítě a řící síť z N l nex neuronů na vstup I. Mrázová: ATNS (NAIL03) 8
Aaptvní směs loálních neuronových sítí (9) l E E g g w f p pro loální sítě f n l p n pro řící g síť l E l l w E l l m w ml m m m nex přes všechn loální sítě z N m m-tý výstup -té loální sítě z N m m-tý vstup -té loální/řící sítě z N I. Mrázová: ATNS (NAIL03) 9
Moulární neuronové sítě: nverzní nemata robota Knematcá rovnce: Převo nformace (artézsé souřance ( x ) => polární (θ) ) Požaav na rchlost: ẋ = J ( θ ) θ Prv J: x Řešení: Problém: Inverze matce J θ = J - ( θ ) ẋ x, Znalost přesných nematcých parametrů robota, přípaně ech oha f I. Mrázová: ATNS (NAIL03) 30
Moulární neuronové sítě: nverzní nemata robota () Navní archtetura neuronové sítě pro nverzní nematu Rameno se stupn volnost n úhlových rchlostí n úhlů n artézsých souřanc (rchlost) I. Mrázová: ATNS (NAIL03) 3
Smulace ramene se stupn volnost Kartézsé souřance ( x, ): Rovnce pro váření rchlost: Analtcé řešení: I. Mrázová: ATNS (NAIL03) 3 sn sn cos cos x x sn sn sn sn sn sn sn cos sn cos sn cos cos sn cos cos sn sn x
Moulární neuronové sítě: nverzní nemata robota (3) Stanarní neuronová síť Kontextová síť VSTUP S Í Ť VÝSTUP FUNKČNÍ VSTUP F U N K Č N Í S Í Ť VÝSTUP SÍŤ KONTEXTOVÁ KONTEXTOVÝ VSTUP I. Mrázová: ATNS (NAIL03) 33
Kontextové sítě Inverzní nematcý problém: Vstup sítě: θ, ẋ Výstup sítě: θ Příla: robot se 6 stupn volnost ( vstupních a 6 výstupních neuronů) => velá časová náročnost I. Mrázová: ATNS (NAIL03) 34
Kontextové sítě () Archtetura a vlastnost: Dopřené sítě (fee-forwar) Algortmus zpětného šíření Potencál neuronu : x = w + b w váha mez neuronem a x potencál neuronu výstup neuronu b.. Práh neuronu Výstup neuronu,, pomocí sgmo I. Mrázová: ATNS (NAIL03) 35
Kontextová síť pro nverzní nematu robota (4) FUNKČNÍ SÍŤ n artézsých souřanc (rchlost) n úhlových rchlostí n výstupů n úhlů KONTEXTOVÁ SÍŤ
Kontextové sítě (3) Přenos nformace mez ontextovou a funční sítí: Potencál neuronu funční sítě: x = w = g l ( l ) w váha (funční sítě) mez neuronem a l neuron ve výstupní vrstvě ontextové sítě (určuí váh funční sítě) g(.) přenos nformace mez neuronem l ontextové sítě a váhou w funční sítě Specální přípa: g e lneární funce g(x) = a l x ; a l 0 e onstanta => x = a l l I. Mrázová: ATNS (NAIL03) 37
Kontextová síť pro nverzní nematu robota (5) Propoení ontextové a funční sítě: FUNKČNÍ SÍŤ KONTEXTOVÁ SÍŤ
Kontextové sítě (4) Přenos nformace mez ontextovou a funční sítí (pro n stupňů volnost): Volba ontextu: funční síť b měla reprezentovat lneární func => menší složtost Kontextový vstup: onfgurace ramene (ána vetorem θ) Funční vstup: x Pro aný ontext θ lneární vztah θ a Funční síť te reprezentue lneární funce x I. Mrázová: ATNS (NAIL03) 39
Kontextové sítě (5) Přenos nformace mez ontextovou a funční sítí (pro n stupňů volnost): Funční síť: n vstupních a n výstupních neuronů Výstupní neuron nemaí práh => výstup f ( x ) = x Síť má n vah; t opovíaí J - (θ) Kontextová síť: n posítí ; ažá z nch opovíá salární func pro polož J n vstupních neuronů společných pro všechn posítě (se věma srtým vrstvam) Sgmoální přenosové funce I. Mrázová: ATNS (NAIL03) 40
Kontextové sítě (6) Přenos nformace mez ontextovou a funční sítí (pro n stupňů volnost): Zenoušení: Převo zobrazení n n na n funcí n Jasněší funce srtých neuronů Paralelní učení enotlvých funcí S rostoucím počtem stupňů volnost roste pouze počet funcí I. Mrázová: ATNS (NAIL03) 4