Dynamický backpropagation a predikce

Transkript

1 6 Dymcý bcpropgto predce V čláu je předstveo mtcové odvoeí dptce dymcých modelů pomocí grdetového učeí techy pětého šířeí chyby bcpropgto pro plc predce čsových řd. Jsou odvoey techy dptce dsrétího leárího predtvího modelu dptce dymcého vdrtcého eurou (tj. eurou s vdrtcou tvčí fucí dptce jedoduché reuretí euroové sítě. Pro demostrc dobrých overgečích vlstostí jsou uááy výsledy predce eleárího perodcého sgálu chotcé čsové řdy té predce reálých dt tj. polohy plc př dýcháí pcet. Stručě jsou dsutováy převpvé výsledy porovávých dptvích rchtetur vyplývjící ávěry pro prtcé využtí. Úvod Čláe volě vuje čláe otštěý v []. V ěm bylo předstveo odvoeí dptce spojtého modelu leárí soustvy spolu s dptcí prmetrů spojtého PID regulátoru pojeého v regulčím obvodu se soustvou prvího druhého řádu. V tomto čláu je předstve tech dptce dymcých modelů plová problemtce predce průběhu jedé velčy s osttím vorováím tj. predc čsových řd. Ztímco jsme v předchoím čláu [] se jedlo o spojtou ver této dptčí techy yí probereme odvoeí její dsrétí vere. Přpomeňme že grdetová tech dptce v šem čláu se odvouje techou pětého šířeí chyby (glcy bcpropgto v glcy psé ltertuře bývá souhrě očová jo RRL (Rel me Recurret Lerg reuretí učeí v reálém čse []. Pro úplost uveďme že me dlší lgortmy učeí dymcých sítí ptří tech očová rtou BP (BcPropgto hrough me [3]. Ve svém áldu se tol ehodí pro dptc v reálém čse vš může dosáhout lepších výsledů pro detfc systému. V tomto čláu předstvujeme techu RRL terá je sdější oprot BP hodí se dobře pro dptc dymcých modelů v reálém čse (tj. vore vorem čímž bíí řdu příležtostí pro plce utomtcého říeí. Zmňme že uvedeí metod RRL BP oc osmdesátých let odstrtovlo des jž rosáhlý rovoj dymcých (reuretích euroových sítí. Z dlší součást čláu povžujeme předstveí dymcého vdrtcého eurou stručé porováí jeho schopostí se schopostm leárího predtoru jedoduché euroové sítě. Smosttý vdrtcý euro je v glcé ltertuře očová jo QNU ( Qudrtc Neurl Ut [4 5]. V oboru euroových sítí estují v součsost dv obdobé směry m le QNU řdt. Jsou to polyomálí euroové sítě (PNN Polyoml Neurl Networs [6] euroové sítě vyšších řádů (HONN eurl Networs [7]. Z pohledu PNN le QNU hlížet jo reltvě jedoduchý přípd polyomálí euroové sítě tímco pohledu HONN je vdrtcý euro smosttý stvebí prve ještě složtější sítě. Adptce leárího predtvího modelu Pro sší oretc ujsěí termologe čeí předstvíme ejdříve dptc leárího reuretího predtvího modelu defového vthem s r y( + s w y( + s + w y ( s + r ( Leárí reuretí (predtví model ( má svém vstupu r reálých (měřeých hodot predové velčy roově požděých tj. y r ( y r (... y r ( r +. Vtří dymcá strutur obshuje s pětých veb tj. reurecí. Výstupem eurou y ( + s je tedy predce velčy s vorů dopředu. Převeďme leárí dymcý predtví model ( do vetorového tvru s řádovým vetorem formátu ( s + r dptovtelých prmetrů w sloupcovým vetorem formátu ( s + r tj. vetorem stvů roově požděých měřeých vstupů s + r y( + s w w( w w w K w s + r ( y( + s ( + s ( r( r( yr( r + ]. ( Pro jedodušeí vorce veďme očeí počtu prvů vetoru jo s + r (3 Nyí áorě uážeme dptc jedé váhy predtvího modelu ( potom uážeme mtcový tvr pro výpočet přírůstu všech vh jedou. Adptce jedé váhy w reuretího modelu ( probíhá podle schémtu e( + s yr( + s y( + s e( + w s µ ( w µ e( + s + s w w + w (4 de e( + s je chyb me reálou predovou hodotou. Obě musí být pro dptc ámé. o meá že v reálém čse by se dptce predcí opožďovl o s vorů. Symbol µ je oefcet rychlost učeí. V mtcové formě le prcálí dervc eurálího výstupu podle dptové váhy pst jo ( + s ( w( w ( ( + w (5 de / předstvuje ulový řádový vetor o prvcích s jedotou -té poc tj. poc váhy w w w w w + L L [ L L ] (6 výr / předstvuje sloupec prcálích dervcí vstupího vetoru podle dptové váhy w. Jedá se vlstě o -tý sloupec Jcobho mtce očeý j w uáý v rovc ( j w ( y ( + s ( + s ( + L L (7 de prcálí dervce reálé (měřeé velčy y r eávsí prmetrech modelu jsou tudíž ulové. N čátu dptce strtuje vetor j w ulových počátečích podmíe pro ždý dp-

2 6 tčí ro se reuretě počítá (posouvá ásledově j w ( L [ ] j w ( + w y ( ( w jw ( + s + ( + L L (8 Výsledý vetorový áps přírůstu smostté váhy w leárího predtvího modelu ( se potom počítá podle vthů v w µ. e ( + s ( ( + w. j w ( w w + w (9 de je -tý prve vetoru (. Nyí uážeme mtcovou formu odvoeí výpočtu dptčích přírůstů všech vh jedou což je velm efetví pro tvorbu progrmu ejmé v prostředí prcujícím s mtcovým vorc (př. v systému tlb. Zpšme jedodušeě prcálí dervce výstupí velčy dymcého eurou podle dptových vh vetoru w leárího modelu ( j ásleduje v rovc ( + s ( w ( w ( ( + ( w de / vlstě předstvuje jedotovou mtc o roměru J w je očeí Jcobho mtce dervcí prvů vetoru podle eurálích vh vetoru w j je uááo ve vthu ( + s ( + s ( + s L ( + s ( + s ( + s L J w ( L ( ( ( ( L L O L jejíž horí řáde se pro ždý dlší dptčí ro dosuje e vthu ( + s y ( + s y( + s y( + s K ( + w J w ( ( terý je relovtelou verí původě beroměrě psého výru (. Výsledá mtcová otce dptce všech vh leárího dymcého predtvího modelu ( jedou je v w µ. e ( + s (( + w. J w ( w w + w de w [ w w... w ] (3 Adptce vdrtcého predtvího modelu Nyí předstvíme vdrtcý predtví model terý hleds termologe euroových sítí le ývt vdrtcý euro ebo vdrtcá euroová jedot (QNU Qudrtc Neurl Ut. Reuretí vdrtcý euro se od oceptu ovečího reuretího umělého eurou lší (podobě jo od oceptu lscého leárího predtvího modelu ejmé tím že jeho tvčí fuce ν (tj. gregce vstupů stvů je vdrtcý polyom j je uááo v (4. Poud vypustíme eleárí (sgmodálí výstupí fuc typcou pro euroy ve srytých vrstvách sítě smotá reuretí QNU se ste eleárí dferečí rovcí s vdrtcým polyomem prvé strě. Nše mtemtcá repreetce smosttého reuretího vdrtcého eurou pro predc čsové řdy be výstupí sgmodálí fuce je urče rovcem s + r y ( + s wjj ( W ( j w w L w w L w W ( (4 O + ( L w de výstup eurou y ( + s je predová hodot s roů dopředu je sloupcový vetor stvů vstupů do eurou rošířeý o jedotu pro umožěí leárích čleů W je horí trojúhelíová mtce eurálích vh rošířeá o eurálí práh w. Použtím stejé grdetové techy mmlce vdrtcého rter (4 v ždém čsovém rou bude dptce jedé váhy reuretího vdrtcého modelu (4 vypdt ásledově w e ( + s j µ ( + s j wj wj + wj (5 de prcálí dervc výstupu modelu podle dptového prmetru vyjádříme pomocí prcpu dervováí per prtes jo ( + s ( W j j W W + + W (6 j j j de ( použtá symbolcá očeí prcálích dervcí podle váhy w j předstvují sloupec Jcobho mtce ( j w ( j j + + ( s y ( s y ( + L L (7 j j j prostředího čleu vyjde souč příslušých prvů vetoru W j. (8 j Sloupcový vetor j wj ve vthu (7 je vetor Jcobho mtce prcálích dervcí vetoru podle dptové váhy w j. V přípdě dptce reuretího predtvího modelu se vetor j wj reuretě počítá pro ždý ásledující dptčí omž cího schémtu j w ( W + j j + W w ( j j ( + s j jw ( + j ( + j (9 de ( j wj ( [... ]. Př blžším prooumáí předváděého odvoeí dospějeme možé úplé mtcové formě dptce vdrtcého predtvího modelu row{ W ( } ( ( + µ e( + s J W( W + row{ } W J W (

3 63 y r ( de ( row{ W(} je řádový vetor všech dptčích přírůstů vdrtcého predtvího modelu (4 row{ } je řádový vetor součů všech příslušých ombcí prvů vetoru. Jcobho mtce J W je mtce prcálích dervcí vetoru podle všech vh ve W její reuretí výpočet jož předchoí uvedeé řádové vetory jsou detlěj čey v příloe A-. out ( y r ( ( s+ r R y ( + s y ( + yr ( yr ( yr ( r + + ( + r R y ( ( y yr ( yr ( yr( r+ out ( ( w w w ( out (+ ( +.W. W out (+ ( + y( + y( + y ( + w out out out Obr. Schém dsrétí dymcé euroové sítě s euroy v reuretí sryté vrstvě sttcým výstupím leárím euroem ( ž (5 y ( + s Obr. Schém dymcého vdrtcého eurou defového vthy (4 y ( + s Adptce jedoduché reuretí euroové sítě V této část čláu předvedeme mtcové odvoeí dptce vh jedoduché reuretí euroové sítě sestávjící se prví vrstvy ovečích dymcých euroů (tj. euroů s leárí tvčí eleárí (sgmodálí výstupí fucí s jedou roově požděou pětou vbou jedoho sttcého výstupího eurou (obr.. Použjeme stejé očeí pro reálou hodotu predové velčy y r y pro výstup euroové sítě. Dále volme reltvě jedoduchou struturu euroové sítě t by byl vhodá pro predc čsových řd de je počet euroů v prví vrstvě ároveň tedy počet vtřích stvových velč (be fyálího výmu vstupujících do ždého eurou r je počet jedoroově požděých měřeých hodot vstupu ždého eurou. Reuretí síť s euroy v prví vrstvě jedím leárím euroem ve výstupí vrstvě vyoávjící predc sgálu podle obecěého fučího schémtu y ( + s f (y ( + y ( + y ( + y r ( y r ( y r ( r + ( de y ( + s je výstup sítě (predová hodot y ž y jsou výstupy euroů prví vrstvy y r je měřeá velč. tcový áps dsrétí dymcé euroové sítě potom vypdá ásledově y ( + s wout φ ( W ( wout out ( + ( de řády mtce vh prví vrstvy W jejíž roměr je ( + + r jsou vetory vh euroů prví vrstvy w ž w jejíž prví sloupec jsou eurálí prhy; řádový vetor vh výstupího eurou w out má stejý počet prvů jo je počet euroů prví vrstvy je vstupí vetor do prví vrstvy rošířeý o jedotu terou umožíme dptc eurálích prhů euroů je defová ásledově y ( y ( out ( ( y ( yr ( yr ( y r ( yr ( r + (3 vetor výstupů euroů prví vrstvy y ( + y ( + jsme očl out je ároveň vstupem do výstupího eurou (tj. do sttcé výstupí rovce spočítá se jo φν ( y ( + φν ( y ( + out ( + φν ( ( + (4 φν ( y ( + de př. Y. φν (. + e.. ν de ν( + je vetor výstupů tvčích fucí euroů prví vrstvy spočítá se součem mtce vh prví vrstvy W vstupího vetoru jo ν ν ν ( + W (. (5 ν Nyí odvodíme mtcovou otc dptce celého vetoru vh - tého eurou opět pomocí dervce výstupu podle vetoru vh w ( + ( wout out ( + ( + w out out (6 dy s ejprve pomůžeme jedodušeým beroměrým ápsem out( + φ ( W ( φ ( W w ( φ W (7 ( ( + W ν ν de mtce prcálích dervcí vh vstupí vrstvy podle vh prvího eurou ásobeá se vstupím vetorem W (IV ( předstvuje mtc o řádcích (jo euroů v prví vrstvě de řádu příslušého eurou je trspoový vetor (. Výr (7 tedy může pro relc vypdt ásledově out( + φ l * + w ( W J ν w (8 de [... ] má roměr ( + + r de jsou ( + + r ulové vetory * předstvuje souč jedotlvých prvů dvou mtc o stejém roměru (jo.* v systému tlb.

4 64 Poud vedeme řádový vetor δ o délce prvů (stejě jo euroů v prví vrstvě s jedotou -té poc osttím prvy ulovým (obdob Kroecerovy delt fuce používé př odvoováí sumčí formy lgortmu RRL můžeme mtc prcálích dervcí výstupů euroů prví vrstvy podle vh -tého eurou počítt výrem out( + φ (9 ( ( + W J ( w ν w de J w je ( + + r ( + + r Jcobho mtce prcálích dervcí vstupího vetoru podle vh -tého eurou prví vrstvy w pro ždý dlší dptčí omž se počítá původě ulových počátečích podmíe podle out( + ( + J w ( + w (3 de řády ž + se dosdí e vthu (9. Výsledá dptce -tého eurou prví vrstvy sítě potom tedy ještě o ěco více jedodušeější formou je w w w L w e + φ µ ( w out * ν (( ( d + W J ( w w + w (3 Podobě jo můžeme postupovt př odvoeí dptce vetoru vh výstupího eurou w out. Zjedodušeé beroměré odvoeí prcálích dervcí výstupu sítě podle dptových vh výstupího eurou ( + s wout ( ( + w out out out (3 out out out le pro mtcovou relc pst jo + y + + ( s ( s ( s ( + s K out out out out φ( out ( + w out * ( (33 ν w out de J w out je ( + + r Jcobho mtce dervcí vstupího vetoru podle vh výstupího eurou terou počítáme původě ulových počátečích podmíe vthem.5 eleárí perodcý sgál rovce ckey-glss dvh plc Obr. 3 Průběhy dt prvích vorů je pro tréováí byte jsou testovcí dt.5 test DLNU test RNN test DQNU Obr. 4 estováí učeých predtvích modelů s osttím tréovým prmetry pro predc čsové řdy eleárího sgálu s r test DLNU test RNN test DQNU Obr. 5 estováí učeých predtvích modelů s osttím tréovým prmetry pro predc porčujících dt ( teré modely ebyly tréováy ceyovy-glssovy rovce s r.5 test DLNU test RNN de je jedotový vetor jsou ulové vetory. (34 estová dt výsledy V této část budeme demostrovt vlstost odvoeých dymcých predtvích modelů. Abychom vydvhl promčí schopost modelů učeých odvoeou dptví techou budeme testovt učeé predtví modely be součsé dptce. o meá že budeme ejprve modely tréovt po ěol epoch dy test DQNU Obr. 6 estováí učeých predtvích modelů s osttím tréovým prmetry pro predc porčujících dt dvhu plc ( teré modely ebyly tréováy s r

5 réováí predce J eleárího perodcého DQNU sgálu J J DLNU RNN 4 tréovcích 6 epoch J DQNU J DLNU réováí predce cey-glss J DQNU J DLNU 5 tréovcích epoch tréovcích epoch réováí predce dvhu plc Obr. 7 Průběhy součtů druhých moc chyb jedotlvých typů dptových modelů sčíté pro ždou epochu tréováí pro ždý typ dt Dsuse I dyž příldy použtí lgortmu obr. 4 ž 6 euují vždy velm přesou predc vyplývjí těchto výsledů (včetě obr. 7 šch osttích potů velm důležté sutečost teré de ve stručost mííme. Z prvé: Jsou ptré dobré overgečí vlstost lgortmu včetě stblty poud je roumě vole rychlost učeí počátečí podmíy přípdě jsou vhodě ormlová dt (ejmé pro QNU. Z druhé: J J e( J QNU J LNU J ( 4 W 8 DLNU RNN DQNU J ( W J os dptových vh promčí schopost RNN le (romě vhodější volby vstupích dt potecálě lepšt té vhodější ofgurcí sítě (počet euroů vrstev Obr. 8 eoretcé porováí promčích overgečích vlstostí leárího modelu vdrtcého eurou reuretí euroové sítě jo ávslost chybového rtér myšleé ose dptovtelých prmetrů modelu (obreo jo rové sebe ose jed tréovcí epoch meá dptc (vore vorem přes celý tréovcí tervl posledí dptové váhy se použjí jo výchoí pro dlší tréovcí epochu. estováí potom meá predc be puté dptce porčujících testovcích dtech tj. predce s osttím vhm dtech pro terá jsme model eučl (pochoptelě romě prvího perodcého sgálu de porčující dt jsou shodá jo tréovcí. Prví čsovou řdou teré je demostrová overgece předváděého lgortmu učeí detfčí schopost eje reuretí euroové sítě le vdrtcého eurou je tedy umělý eleárí perodcý sgál geerový rovcí (3 se vorováím /3 seudy. π t yr ( t s t t (35 π s e Dlší čsová řd byl vytvoře průběhu chotcého řešeí spojté dferecálí rovce (36 cey-glss [8] vorováím s perodou jed seud. (t (t 7( + (t 7 (t (36 řetí čsová řd je ám měřeí dvhu plc pcet po fltrc šumu se vorovcí perodou /3 seudy [9]. réovcí dt měl délu tsíc vorů stejě t testovcí dt. Dt byl ormlová odečteím rtmetcého průměru vyděleím třem směrodtým odchylm vždy příslušých tréovcích dt. Protože jsme se v této část čláu sžl o stručou demostrc dptčího lgortmu součsě o jedoduché porováí schopostí uváděých modelů voll jsme pro jedoduchost r (tj. měřeých mulých hodot vstupu s (predce roů dopředu tj. 9 roově požděých pětých veb uvtř modelu. V tbulce jsou ofgurce tréovcích epoch rychlostí učeí teré jsme sdo usmo lel použl pro tréováí predce tří odvoeých modelů pro še tř typy dt. N obr. 4 ž 6 jsou výsledy pre - dce pro ždý typ dt ždý e tří modelů. Čerá brv je vyhre pro sutečou velču y r eleě jsou čey predové hodoty y červeě je vždy oče chyb jo rodíl reálé predové hodoty. Obr. 7 uuje j probíhlo tréováí jedotlvých modelů pro jedotlvá dt ždou epochu d W( 5 6 Jm W (.5.5 d W( Jm W Geerlčí schopost dymcých modelů př použtém dptčím lgortmu je velm dobrá (pochoptelě romě přípdu leárího modelu pro eleárí systémy. Z třetí: Z výsledů vyplývá j velý rodíl v promčích schopostech je me leárím modelem vdrtcým modelem. A víc je (eje pro tuto stručou uáu ptré že vdrtcý euro vyuje srovtelé promčí geerlčí schopost jo předstveý typ ovečí reuretí euroové sítě s jedou srytou vrstvou. Kvdrtcý euro přtom overguje rychlej (díy svému oveímu chrteru mohem přesěj ež leárí model víc srovtelě přesě s RNN. to popsé výsledy jsme prcpálě shrul obr. 8. Abychom více podepřel (romě obr. 4 ž 6 teoretcou úvhu o vlstostech vdrtcého eurou v porováí s leárím modelem reuretí euroovou sítí j je čeo obr. 8 uvádíme ávěr lespoň jede výstžý obráe obr. 9 pro čsovou řdu ceyovy-glssovy rovce terý le té vysthuje obdobou stuc pro osttí dt. N vodorové ose grfů je de vyese euldovsá vdáleost mometálí ofgurce dptovtelých prmetrů modelu od ejlepší leeé ofgurce. Pro ždý typ predtvího modelu jsme provedl tréováí růých počátečích podmíe tréovcích dtech po epochách. Souřdce tedy předstvuje polohu ejlépe dptových prmetrů vlášť pro ždý ejlépe učeý model deset jeho růých stcí. Poud body esměřují shor do počátu t to meá že váhy overgují horšímu loálímu mmu teré je vdáleé v prostoru prmetrů modelu úměrě vdáleost od počátu ose. N svslých osách je p vyese součet vdrátů chyby spočítý po ž- ( Obr. 9 Vulce overgece eurálích vh loálím mmům během dptce (od shor dolů jo ávslost součtového vdrtcého rtér (po ždé epoše tréováí euldovsé vdáleost eurálích vh od ejlepší leeé ofgurce (os v počátu pro dt ceyovy-glssovy rovce (vprvo detl v oolí ejmešího mm Kofgurce tréovcích epoch rychlostí učeí pro tréováí (dptcí tří eurálích modelů pro tř růé čsové řdy el. perod. cey-glss dvh plc ofgurce tréovcích µ tréovcích µ tréovcích µ pro tréováí epoch epoch epoch DLNU RNN DQNU 5 5

6 66 dé jedé tréovcí epoše testovcích dtech. Zčíá se obrovt ž po prví epoše. N obr. 9 je jsě vdět že během dptce (směr dolů j dptce sžuje hodotu J leárí model overguje e svému přroeě jedému mmu (do reuretí eruová síť overguje více mmům terá jsou od sebe reltvě dleo (ejmeší její mmum je v počátu vdrtcý euro má tedec overgovt vždy mmu teré je vždy reltvě blío jeho globálímu mmu. Závěr V čláu jsme předstvl grdetové prvdlo dptce dsrétího dymcého leárího modelu vdrtcého eurou s po mo - cí techy bcpropgto jsme odvodl dptc jedoho typu jedoduché dymcé euroové sítě. Uál jsme mtcovou formu te rá je efetví pro odvoeí pro progrmovou relc. N smulcích jsme čl porováí schopostí tří růých dptvích rchtetur se jímvým poty vyplývjícím pro dymcý v drtcý euro jeho potecálí plce v utomtcém říeí []. Bylo by šod dyby čteář po přečteí čláu byl egtvího dojmu vůl dálvé složtost odvoeí řešeí. Proto v příloe A- uujeme metodcý postup mtcově odvoeé dptce V příloe A- je uvede progrm pro výpočet dé reuretí euroové sítě LIERAURA [] BUKOVSKY I. HOA N. Dymcý bcpropgto. Automtce 5 ( č. str [] WILLIAS R. J. ZIPSER D. A lerg lgorthm for cotully rug fully recurret eurl etwors Neurl Computto (989 pp [3] WERBOS P. J. Bcpropgto through tme: Wht t s d how to do t Proc. IEEE 78 (99 o. pp [4] BUKOVSKY I. odelg of Comple Dymc Systems by Nocovetol Artfcl Neurl Archtectures d Adptve Approch to Evluto of Chotc me Seres Ph.D. hess Fculty of echcl Egeerg Cech echcl Uversty Prgue (7 dostupé o-le: [5] BUKOVSKY I. BILA J. GUPA. HOU. Z. G. HOA N. Foudto d Clssfcto of Nocovetol Neurl Uts d Prdgm of Nosyptc Neurl Itercto. I Dscoveres d Brethroughs Cogtve Iformtcs d Nturl Itellgece ACINI boo seres IGI Publshg Hershey PA USA pp.9 43 ISSN Lstopd 9. [6] NIKOLAEV N. Y. IBA H. Adptve Lerg of Polyoml Networs: Geetc Progrmmg Bcpropgto d Byes ethods Seres: Geetc d Evolutory Computto Sprger New Yor XIV 36 p. ISBN [7] Artfcl Hgher Order Neurl Networs for Ecoomcs d Busess ed. by g Zhg Chrstopher Newport Uversty USA IGI-Globl 8. ISBN [8] ACKEY. C. GLASS L. Oscllto d Chos Physologcl Cotrol Systems. Scece 97 (977 pp [9] HOA N. SAKAI. ENDO H. ISUYA. AKAI Y. YOSHIZAWA. A New oto gemet ethod for Lug umor rcg Rdto herpy. WSEAS rs. Systems 8 (9 Issue 4 pp [] SEANA L.: Neleárí euro-regulátor pro úlohy utomtcého říeí. Dplomová práce. Prh : ČVU FS 8. její mtcově odvoeou dptc. Je vytvoře v systému tlb je ptré že je velm rátý. V systému tlb le ompletí progrm relovt méě ež 3 řádů (pro QNU je ještě jedodušší. Čláe vl podpory grtu Š S jposého grtu # Ivo Buovsý Fult strojí ČVU v Pre Norysu Homm Reserch Dvso o Advced Iformto echology Cyberscece Ceter ohou Uversty PŘÍLOHA A- KVADRAICKÝ PREDIKIVNÍ ODEL Čley výru mtcové formy dptce reuretí vdrtcé euroové jedoty: row{ W( } w w w K w w row{ } L ( + s ( + s ( + s L ( + s ( + s ( + s ( + s L y ( + s J W ( L ( + ( + ( + ( + L L O L de se pro ždý dlší dptčí ro řády ž posouvjí o jede dolů druhý řáde Jcobho mtce J W se dosuje mtcovým výpočtem ( + s ( J W( W ( + row{ ( ( }+ ( W W J W ( PŘÍLOHA A- REKURENNÍ NEURONOVÁ SÍŤ Uá hlví část progrmu v prostředí tlb pro výpočet dptc vh předváděé reuretí euroové sítě v omžu : [out(:; yr(:-:-r+]; [; ]; uw*; for euro: ph(euro/(+ep(-(u(euro-; dphdu(euro*ep(- (u(euro/((+ep(-(u(euro^; ed out(:+ph; y(+swout*out(:+; e(+syr(+s-y(+s; % dpttce vystup vrstvy loes(; doutdwout((dphdu*l.*(w*jwout; dydwoutout(:+ +wout*doutdwout; dwoutmu*e(+*dydwout; woutwout+dwout; Jwout(:+:doutdwout; loes(++r; % dpttce vrstvy for euro: delteros( ; delt(euro; doutdw(dphdu*l.*((*delt +W*JW(:: euro; dydw(euro:(wout*doutdw; dw(euro:mu*e(+*dydw(euro:; JW(:+:eurodoutdW; ed WW+dW;