Odhad optimálního stupně regresního polynomu

Transkript

1 XXVI. ASR ' Smar, Istrumts ad Cotrol, Ostrava, Aprl 6-7, Papr 44 Odhad optmálího stupě rgrsího polyomu MORÁVKA, Ja Ig., Ph.D., Třcý žýrg, a.s., Střdso projc, Frýdcá 6, Třc Staré Město, 739 6, Abstrat: V prax j často třba ajít rgrsí závslost v tvaru polyomu. V příspěvu j uvd přhld a otstováí vhodých rtérí odhadu optmálího stupě rgrsího polyomu Byly tstovaá formačí rtéra autorů: Aa, Schwarz-Rssa, Haa- Qu, Gw-Ms a další umrco-statstcá rtéra: RSC, D_df, F-tst, DW (Durb-Watso), MSE, MEP, R p, W (Wald), zaméový tst, stadardzovaá asymtr a xcs, JB (Jarqu-Brra), BP (Brusch-Paga), CW (Coo-Wsbrg), RSC = RSS (Rsdual Sum of Squars) a s (rzduálí rozptyl). Klíčová slova: rgrs, rgrs polyomcá, optmálí stupň rgrsího polyomu Úvod V prax j třba poměrě často ajít rgrsí závslost, trá má a záladě fyzálěchmcé aalýzy, č a záladě xprtího odhadu, tvar rgrsího polyomu ( ~ N(, σ )) s y = b + b x bs x + = ym +, =,...,, () avša stupň s rgrsího polyomu í zám. Prvím úolm j proto zjstt odhad paramtru s. Odhady rgrsích ofctů b j (j =,...,s) lz pa zísat stadardím postupy larzovaé rgrs pomocí mtody jmších čtvrců (MNČ). Mtody řší a rtéra hodocí A. Zdálvě logcý postup přdáváí statstcy výzamých člů s vyšší mocou [ECKSCHLAGER, K. AJ. 98], [LEPŠ, J. 996] (bo opačě jjch ubíráí př startováí od maxmálě možého stupě) až statstcy výzamému ofctu určté mocy, vd uspoojvým výsldům [ANDĚL, J. 993], zvláště z důvodu přrozé multolarty polyomcých modlů, trá způsobuj výzamost rgrsích ofctů a záladě t-tstů [MELOUN, M. & MILITKÝ, J. 994]. B. Hldáí optmálího stupě rgrsího polyomu podl rzduálího součtu čtvrců (RSC) taé vd cíl, protož RSC mootóě lsá (dx dtrmac R mootóě stoupá) s zvyšujícím s stupěm polyomu [MELOUN, M. & MILITKÝ, J. 994]. C. Z ltratury apř. [RALSTON, A. 973], [ANDĚL, J. 993], [CIPRA, T. 986] j zámo, ž př dosaží sutčého (správého) stupě rgrsího polyomu dochází ustálí hodot rzduálího rozptylu. Matmatcy lz tuto formulac vyjádřt ásldově: modl () obsahuj = s + rgrsích paramtrů b,...,b s. Ozačm s výběrový rzduálí rozptyl. Přdpoládjm, ž sutčý počt rgrsích paramtrů j (taž sutčý stupň rgrsího polyomu j s = ). Dá s uázat, ž platí: - -

2 pro < s s > σ σ. () Otázou vša dlouho zůstávalo, ja z grafu hodot s vyčíst právě tu hodotu, od íž počíaj jž graf dostává přblžě vodorový (ostatí) charatr [RALSTON, A. 973], [ECKSCHLAGER, K. AJ. 98]. Naoc s uázalo, ž j třba zavést třídu vhodých fucí palzujících počt člů polyomu. Tyto fuc abývají svého globálího xtrému (mma) v případě správé volby stupě rgrsího polyomu. Mz alzá optmalzačí rtéra hodocí správého stupě polyomu patří dl [ANDĚL, J. 993], [ARLT, J. 999], [CIPRA, T. 986], [MELOUN, M. & MILITKÝ, J. 994] ásldující: AIC = l( s ) +, (3) což j zámé tzv. Aaovo formačí rtérum (Aa s Iformato Crtro, používaé apř. v programch ADSTAT, QC Exprt, TSP, JMP IN a Matlab), d symbol l v vztahu ozačuj přrozý (aturals) logartmus. Toto rtérum vša občas adhodocuj odhad stupě polyomu, tj. odhad můž s určtou ladou pravděpodobostí ovrgovat ějaé vyšší hodotě, ž j. Modfovaé AIC dl Ozaho j uvdo apř. v [ARLT, J. 999], [CIPRA, T. 986]. Dalším oblíbým rtérm, tré avrhl Schwarz a Rssa j SR l( ) = l( s ) +. (4) Používá s taé rtérum, tré odvodl Haa a Qu (s volbou c >, c =, 3) HQ c l(l( )) = l( s ) +. (5) V prax s osvědčlo rtérum dl autorů Gw a Ms GM = s ( ). (6) 4 + Obcě jsou výš uvdá (a další) rtéra používáa hlavě v aalýz časových řad pro staoví optmálích ARMA, ARIMA modlů, č v vícrozměré rgrsí aalýz. D. Vzhldm mootóímu lsáí RSC př zvyšováí stupě polyomu j možé zust použít taé autorm příspěvu avržé jdoduché rtérum obsahující souč počtu člů polyomu (tré lárě stoupají) a RSC s přdpoladm, ž u tohoto rtéra by mohlo docházt ostrému loálímu mmu př volbě optmálího stupě rgrsího polyomu: RSC = RSC = =.. (7) - -

3 Obdobá rtéra obsahující souč a RSC, č, a s byly taé autorm tstováy, ovšm jjch výsldy vyazovaly ta dobré vlastost, jao má rtérum RSC. E. Př aalýz časových řad (zjméa v oomtr) s určí stupě trdového polyomu, bo určí řádu dfrcováí stacoárího modlu ARIMA, používá mtoda postupých dfrcí [CIPRA, T. 986]. Zd s vychází z fatu, ž př postupém dfrcováí hodoty odhadutých rozptylů vysvětlovaé proměé y lsají až mmu (dy j dosaža stacoarta), a pa opět začou růst. Sldovaým rtérm j tdy: D _ df d σ ˆ s d d y y = cov( dff ( y, d)). (8) = d d = (,..., max ) j řád dfrcováí proměé y, s ozačuj výběrový rozptyl a posldí tvar rtéra j zapsá v otac programu Matlab. F. V modrích statstcých postupch a programch rgrsí aalýzy s doporučují a používají jště další rtéra [MELOUN, M. & MILITKÝ, J. 994]: hodota statsty Fshrova F-tstu (v záladím upravém tvaru), rtérum MEP (Ma Error Prdcto střdí vadratcá chyba prdc), prdovaý ofct dtrmac R p. Poz.: Scottovo rtérum přurčost a tím multolarty rgrsího modlu má výzam použít z důvodu přrozé (zbyté) multolarty polyomcých modlů. 3 Aalyzovaý modl a data V ltratuř [ANDĚL, J. 993] j aalyzová případ rgrsího modlu 3. řádu pro jdu hodotu směrodaté odchyly adtvího šumu ~ N(, σ ), σ = / a jsou zd použta jom rtéra AIC, SR, HQ a GM včtě uvdí hodot s. V příspěvu jsou uvdy výsldy pro víc hodot směrodaté odchyly adtvího šumu a pro další dsutovaá rtéra. V programu Matlab byl smulová polyomcý rgrsí modl 3.stupě tvaru y x = + x ~ N(, σ ), σ {,.,.,.,.5,,, 5},, (9) =.( ), + x x 3 + = y m +, =... 3, s uvažováím hodoty ásady grátoru psudoáhodých posloupostí (rad s ormálím rozdělím) sd = 357, maxmálího stupě polyomu max = 9 a hodotou c = 3 rtéra HQ. Na obr. j pro ázorost uvd graf výstupu (přpomíající tvarm momtovou charatrstu asychroího motoru) samotého modlu y m spolu s průběhm výstupu y zatížého adtvím výstupím šumm s směrodatou odchylou σ = /

4 5 Modl polyomu 3.stup 4 3 y ym 9 smrodatá odchyla sumu = x Obr.. Modl aalyzovaého polyomu 3.stupě s σ = / Na obrázu j vdět, ž tzv. osclac fuc y m_osc samotého modlu (rozdíl y m_max y m_m ) v daém trvalu hodot závsl proměé x má hodotu as 6. Pratcy to zamá, ž šum s zvětšující s směrodatou odchylou tuto fuc postupě přryj, bud tdy docházt sžováí odhadutého stupě polyomu a př hodotě srovatlé s hodotou osclac dojd dgrac polyomu. Zd budou zřjmě rtéra sgalzovat ostatí průběh fuc, tj. polyom.stupě (s =, což zamá ostatu) s jdím absolutím člm ( = ) vz obr.: 5 Modl polyomu 3.stup y ym 5 smrodatá odchyla sumu = 5 poct hodot = x Obr.. Modl aalyzovaého polyomu 3.stupě s σ = 5 4 Vyhodocí polyomcé rgrs V tab. jsou uvdy souhré přhldé výsldy odhadů optmálího stupě rgrsího polyomu podl výš uvdých íž dsutovaých rtérí v závslost a směrodaté odchylc výstupího šumu modlu

5 Tab.. Odhad počtu člů ( = s+) rgrsího polyomu v závslost a σ σ Krtérum AIC SR HQ GM RSC RSC s /8 6/8 8 D_df F-statsta (6) DW (>) Poz.: Kurzívou jsou ozačy hodoty ustálí rtérí (ostré, ploché optmum), ormálím písmm pa ostrá optma těchto rtérí. Tučým písmm jsou zvýrazěa spolhlvá a správá rtéra, urzívou pa rtéra použtlá s určtým omzím. DW... hodota Durb-Watsoova ofctu. Hodota rtéra F-tstu dosahuj př optmálí hodotě stupě polyomu (a rozdíl od jých rtérí) svého maxma a hodoty rtéra DW zd spadají dovtř rtcých mzí závslost vlčy. V statstcých programch Statgraphcs, EasyRg a QC Exprt byly pro modl s σ =.5 otstováy ásldující rtéra hodocí valty modlu: hodota statsty F-tstu střdí vadratcá chyba odhadu (MSE... Ma Squard Error) střdí vadratcá chyba prdc (MEP... Ma Error of Prdcto) prdovaý ofct dtrmac R p autoorlac rzduí: Durb-Watsoův ofct (DW), Waldův tst (W) trd rzduí: zaméový tst ormalta rzduí: stadardzovaá asymtr a xcs, Jarqu-Brraův tst (JB) homosdastcta rzduí: Brusch-Pagaův (BP) a Coo-Wsbrgův (CW) tst. Lz vša ostatovat, ž očávaé dtfačí vlastost s projvly pouz u hodot rtéra F-tst (ostré maxmum), JB (ostré mmum, avša rzdua přtom pro všchy stupě polyomu vyazovaly ormaltu) a DW (d s projvly statstcy výzamé hodoty autoorlac od optmálího stupě polyomu výš) obr.3: F-rtérum rtérum Durba-W atsoa.e+6.e+5.e+4 σ =..5 σ = 5.E+3.5.E+.E+.E+.E-.E-.E Obr. 3. Průběhy rtérí F-tst a DW σ =

6 Tto závěr j clm logcý: př polyomch žšího stupě s dá očávat autoorlac rzduí avša aruší jjch ormalty a homosdastcty spíš má opodstatěí. Hodoty R p a MEP vyazovaly jdozačý, bo vhodý průběh (víc loálích maxm pro = 6, 8 a 9, č mmum pro = 8). Proto jsou v tab. uvdy pouz rtéra F-tst a DW. Na obr.4 a obr.5 lz vdět průběhy uvdých záladích umrco-statstcých a formačích rtérí pro σ =.5. log RSC Rzduálí souct ctvrcu * RSC.5 5 Rzduálí rozptyl.5 5 Rozptyl dfrcí 4 log s^ -.5 log D_df - 5 =stup+ - 5 =rád+ Obr. 4. Průběhy záladích rtérí (pro σ = /) AIC : Aa 6 GM : Gw-Ms SR : Schwarz-Rssa 5 HQ : Haa-Qu Obr. 5. Průběhy formačích rtérí (pro σ = /) Na záladě údajů v tabulc a v grafch lz souhrě ostatovat, ž: rtéra RSC a s jsou spíš použtlá pro staoví stupě rgrsího polyomu rtérum F-tst dává jdozačý výsld pro jvětší směrodatou odchylu šumu z hldsa polohy globálího maxma. Poud vša budm uvažovat zásadě pouz prví loálí maxmum, pa jsou jho výsldy jdozačé použtí rtéra DW pro ulový šum j smyslé (zd rtérum raguj a umrcé chyby výpočtu), v ostatích případch posytuj správé hodocí ostatí rtéra dávají dobré a robustí odhady

7 podl průběhů závslostí a σ s uvdá rtéra sdružují do čtyř sup: {F-tst}, {AIC, SR, DW}, {HQ, GM, RSC} a {D_df} - vz obr. 6: Odhad počtu člů polyomu 4 3 F-tst = s + D_df HQ AIC AIC HQ D_df F-tst σ - sm ě rodatá odchyla Obr. 6. Průběhy rtérí F-tst, AIC, HQ a D_df pro σ <, 5> Z průběhů zobrazých sup rtérí j zřjmé, ž jjch robustost (odolost) vzhldm vlost šumu lsá v už uvdém pořadí, tj. {F-tst}, {AIC, SR, DW}, {HQ, GM, RSC} a {D_df}, tré j jctlvější. 5 Závěr Z uvdých rozborů j vdět, ž:. Pro odhad optmálího stupě rgrsího polyomu jsou vhodým rtér: obcá formačí rtéra AIC, SR, HQ, GM, RSC, D_df, s určtým omzím lz použít rtéra: F-tst (př větších ampltudách šumu j třba uvažovat prví maxmum), DW (lz použít pro ulovou ampltudu šumu). Správý odhad stupě rgrsího polyomu j možé usutčt pomocí uvdých rtérí (romě přílš subtlího D_df) pouz do vlost adtvího šumu as o řád žší, ž j osclac fuc a daém trvalu, čl pro: σ s y m _ osc 5 = y m _ max y 5 m _ m () 3. Př větších vlostch šumu dochází podhodocováí stupě polyomu z důvodu problmatcé rostruc (dtfac) průběhu výstupu sutčého modlu

8 6 Ltratura ANDĚL, J Statstcé mtody..vyd. Praha : Matfyzprss MFF UK Praha, s. ARLT, J Modrí mtody modlováí oomcých časových řad..vyd. Praha: Grada Publshg, s.r.o., s. ISBN CIPRA, T Aalýza časových řad s aplacm v oom..vyd. Praha : SNTL/ALFA, s. ECKSCHLAGER, K. AJ. 98. Vyhodocováí aalytcých výsldů a mtod..vyd. Praha : SNTL/ALFA, s. LEPŠ, J Bostatsta..vyd.-dots. Čsé Budějovc : srptum BF JU Čsé Budějovc, s. MELOUN, M. & MILITKÝ, J Statstcé zpracováí xprmtálích dat..vyd. Praha : PLUS, s. ISBN RALSTON, A Zálady umrcé matmaty..vyd. Praha : Acadma, s