MODIFIKACE WHITEOVA TESTU PRO NEJMENŠÍ VÁŽENÉ ČTVERCE

Transkript

1 ROBUST 2004 c JČMF 2004 MODIFIKACE WHITEOVA TESTU PRO NEJMENŠÍ VÁŽENÉ ČTVERCE Pve Pát Kíčová sov: Robustí regrese, ejmeší vážeé čtverce, Whiteův test, heteroskedsticit. Abstrkt: Odhd regresích koeficietů v ieárí regresím modeu metodouejmešíchvážeýchčtvercůjeodhdem -kozistetímssymptoticky ormáím rozděeím. Zost těchto vstostí ám umožňuje modifikovt myšeku H. Whit získt tk pro ejmeší vážeé čtverce modifikci Whiteov testu homoskedsticity disturbcí. 1 Lieárí regresí mode Provšechy Njeieáríregresímodedávzthem Y i = x T i β 0 +e i,,2,...,, (1 kde Y i jevysvětováproměá, x i =(x i1,..., x ip T R p jsouvysvětující proměé ebo též osiče(uvžujeme mode s pevými, to jest determiistickydýmiosiči. β 0 =(β1 0,...,β0 p T R p je správý vektor regresíchkoeficietůe i,,2,...,jsoudisturbce,tozmeááhodéfuktuce Y i odstředíhodotye(y i.pozmeejme,žeformismus, který jsme zvedi, je schope zhrout jk modey, kdy euvžujeme itercept, tk modey s iterceptem. Pokud totiž uvžujeme mode s iterceptem,stčípředpokádt,žeprvísožkvšechvektorů x i,,2,..., jerov1.provšechy β R p,,2,..., ozčme r i (β=y i x T i β i té reziduum z předpokdu, že β je vektor regresích koeficietů. Koečě pro pořádkové sttistiky druhých moci reziduí budeme používt ozčeí r(i 2 (β,,2,...,.tozmeá,žeprovšechy β Rp ptí 0 r 2 (1 (β r2 (2 (β r2 ( (β. 2 Defiice ˆβ (LWS,,w Nejprve defiujme váhovou fukci. Defiice2.1.Nechťfukce w:[0,1] [0,1]jeerostoucíspojitá[0,1], w(0=1w(1 = 0.Dáeechťvevšechbodechitervu(0,1existují obějedostréderivcefukce w,jsoustejěomezeéechťvbodě0 resp. 1 existuje koečá derivce zev resp. zprv. Potom fukci w zveme váhovou fukcí. Nyí již přistupme k defiici odhdu metodou ejmeších vážeých čtverců.

2 292 Pve Pát Defiice 2.2. Nechť K R p jekompktímožiptí β 0 K o.dáe echť w je váhová fukce. Potom odhd regresích koeficietů dý vzthem ˆβ (LWS,,w = rgmi β K ( i 1 w r(i 2 (β (2 zveme odhd metodou ejmeších vážeých čtverců. Ozčíme-i w (,1 ( 1 = w w ( 1, =1,2,...,, můžeme defiičí vzth(2 jedoduchou úprvou převést tvr ˆβ (LWS,,w = rgmi β K =1 w ( } ri(βi {r 2 i(β 2 r( 2 (β. Podobě ozčíme-i pro ibovoé s N ( ( w (,s 1 = w s w s, =1,2,...,, (3 ptí ásedující vzth ( 1 w s = =1 3 Zákdí předpokdy } w (,s I {r i(β 2 r( 2 (β. (4 Dříveežsebudemevěovtsymptotickýmvstostemˆβ (LWS,,w,shrňme předpokdy o áhodých disturbcích osičích, z kterých můžeme tyto vstosti dokázt. Nejprve ozčme F(z distribučí fukci áhodé veičiy e 1 f(zjejíhustotu.dáeozčme Q = 1 x ix T i. Předpokdy A {e i } jeposoupostezávisých,stejěrozděeýcháhodýchveiči. Prorozděeíprvděpodobostiáhodéveičiy e 1 ptí: Její distribučí fukce F(z je bsoutě spojitá. Hustot prvděpodobosti f(z je symetrická, omezeá ostře kesjící R +. Nceém Rexistuje f (zjevbsoutíhodotěomezeá. E ( e 4 1 = κ4 R +. {x i } jeposoupostpevých(eáhodýchvektorůzrp ptí:

3 Modifikce Whiteov testu pro ejmeší vážeé čtverce 293 x i 4 = O(. im Q = Q,kde QjereguárímticezR p,p. N prví pohed se může zdát, že poždvky rozděeí prvděpodobosti áhodých disturbcí jsou příiš omezující. Musíme si icméě uvědomit, že u ksických ejmeších čtverců poždujeme ormitu disturbcí, tedy dokoce ještě siější podmíku. A eí-i tto podmík spě( stčí pouze má odchyk od ormity- viz[1], jsou ejmeší čtverce optimáí pouze ve třídě ieárích odhdů. To jiými sovy zmeá, že můžeme ( čsto to eí obtížé ézt eieárí odhd, který je epší ež ejmeší čtverce. 4 Asymptotickévstosti ˆβ (LWS,,w Ozčme Gdistribučífukciáhodéveičiy e 2 1provšechy α [0,1] ozčme u 2 αhorí α kvtirozděeí G(z,tz. P(e 2 1 > u 2 α=1 G(u 2 α=α. Dáedefiujme ςz= 2 u z z 2 df(z. u z Vět 4.1. Nechť ptí Předpokdy A. Dáe echť w je ějká váhová fukce. Potom (ˆβ(LWS,,w β 0 = O p (1 ˆβ (LWS,,w másymptotickyormáírozděeísvektoremstředíchhodotrovým β 0 kovričímticí 1 (ˆβ(LWS,,w ς1 z 0 V, F 2 dw2 (z = ( 1 2 Q 1, (z 2u 1 z f(u 1 z dw(z 0 tz. L( (ˆβ(LWS,,w β 0 ( (ˆβ(LWS,,w N 0, V, F pro. Důkz. [4]. Pozmeejme, že pro ieárí regresí mode s áhodými osiči můžeme obdobé výsedky ézt v[3]. 5 Modifikce Whiteov testu Důkzy v této kpitoe vyždují o trochu přísější poždvky vysvětující proměé. Dopňme tedy předpokdy z oddíu 3.

4 294 Pve Pát Předpokdy B Jsou spěy Předpokdy A sup x ij =O(1. i,j {1,2,...,} Se zjímvou myšekou, jk testovt homoskedsticitu disturbcí v ieárím regresím moduu při použití ksických ejmeších čtverců přiše H.White(viz.[7].Jehoápdspočívávtom,žeporovámedvodhdymtice σ 2 Q,kokrétěodhdy 1 r2 i (ˆβ (LS, Q 1 r2 i (ˆβ (LS, x T i x i. Podobý trik můžeme použít i v přípdě ejmeších vážeých čtverců. Vtomtopřípděpůjdeodvrůzéodhdymtice σ 2 w Q,kdejsmeozčii Dáe ozčme ˆV 1 =ˆσ 2 w, Q, ˆσ 2 w, =1 1 σw 2 = ˆV2 = 1 0 ς 2 1 z dw2 (z. ( i 1 w 2 r 2 (ˆβ(LWS,,w (i Proodhdyˆσ 2 w,,ˆv 1 ˆV 2 ptíásedujícítvrzeí. ( w 2 ki 1 r 2 (ˆβ(LWS,,w x i i x T i. Lemm 5.1. Nechť ptí Předpokdy B. Dáe echť w je ějká váhová fukce. Potom Dáe pk ˆσ 2 w, P σ 2 w pro. ˆV 1 P σ 2 w Q ˆV2 P σ 2 w Q, pro. Důkz. Použijeme-i vzth(4 sdo dostáváme ˆσ 2 w, = 1 r 2 i (ˆβ(LWS,,w =1 { w (,2 I ri 2 (ˆβ(LWS,,w } r( 2 (ˆβ(LWS,,w Z -kovergeciˆβ (LWS,,w Lemmt310z[4]dostáváme(podrobější postup při úprvě obdobých výrzů viz.[4] ˆσ 2 w, =1 e 2 i =1 { } w (,2 I e 2 i u2 + o 1 p (1. (5

5 Modifikce Whiteov testu pro ejmeší vážeé čtverce 295 Náhodéveičiy e 2 { } i =1 w(,2 I e 2 i u2,,2,....jsouezávisé 1 (viz. Lemm D.1, stejě rozděeé ptí ( { } ( { } E e 2 i w (,2 I e 2 i u 2 = w (,2 1 E e 2 ii e 2 i u 2 = 1 Vr ( =1 e 2 i =1 = =1 =1 1 w (,2 ς 2 (1 = { w (,2 I e 2 i u 2 1 } ( E e 4 i 0 ς 2 1 z dw2 (z+o(1 (6 =1 { w (,4 I e 2 i u 2 1 } E ( e 4 i = κ4. (7 Zevzthů(5 (5pkjižvypývá,žeˆσ 2 w, kovergujevprvděpodobosti k σ 2 w. KovergeceˆV 1 vprvděpodobostikσ 2 w Qjeyípřímýmdůsedkem dokázékovergeceˆσ 2 w,předpokdu im Q =Q. KovergeceˆV 1 vprvděpodobostikσ 2 w Qsepkdokážeogickým postupemjkokovergeceˆσ 2 w,. Ozčme yí ψ is = x ik x i s=1,..., p(p+1/2; k=1,...,p; =1,..., p ψ i R p(p+1/2 vektorsesožkmi ψ is.dáepkozčme ˆB = 1 [ ( w 2 ki 1 ˆD = 1 ri 2 (ˆβ(LWS,,w ˆσ w, 2 ] 2 ψ T i ψ i [ ( w 2 ki 1 r 2 (ˆβ(LWS,,w i ˆσ 2 w,] ψ i. kdečís k i jsouprovšech,2,....defiovávzthem r 2 i (ˆβ(LWS,,w = r 2 (ki (ˆβ(LWS,,w. Vět 5.1. Nechť ptí Předpokdy B. Dáe echť w je ějká váhová fukce E ( e1 8 <+.Potom ( L ˆD T ˆB 1 ˆD χ 2 p(p+1/2,

6 296 Pve Pát Důkz. Ozčme [ ˆD = 0 1 e 2 i ˆB 0 = 1 [ =1 e 2 i =1 { } w (,2 I e 2 i u { } w (,2 I e 2 i u e 2 j j=1 =1 e 2 j j=1 =1 { } w (,2 I e 2 j u2 ψ 1 i { } 2 w (,2 I e 2 j u 2 ψ 1 i T ψ i. Z -kovergeciˆβ (LWS,,w Lemmt310z[4]dostáváme(podrobější postup při úprvě obdobých výrzů viz.[4] ˆD = ˆD 0 + o p(1. (8 Ukážeme,že ˆD 0 p(p+1 másymptoticky 2 rozměré ormáí rozděeí s uovou středí hodotou kovričí mticí E (ˆB0.Stčíkdyžukážeme(viz.LemmtuD.2,žeproibovoé η R p(p+1 2 má áhodá veiči η TˆD0 symptotickyormáírozděeísuovoustředíhodotou =1 w(,2 rozptyem { η } TˆB0 η T.Využijeme-iopět,žeáhodéveičiy e 2 i I e 2 i u2,,2,..., jsouezávisé(lemmd.1stejěrozděeé 1 dostáváme ( η E TˆD0 =0 ( η ( η 2=E ( Vr TˆD0 =E TˆD0 η TˆB0 η T. Uvědomíme-isi,žejedkprovšechy ω Ωje { } =1 w(,4 I e 2 i u2 1 1, druhou stru e díky vstostem váhové fukce w skutečosti, že f(z ( >0provšechy z Rtkéexistuje γ >0tk,žeprovšechy N jee e 4 { } 1 =1 w(,4 I e 2 i u2 > γ, můžeme pro áhodé veičiy 1 e 2 i =1 { } w (,2 I e 2 i u e 2 j j=1 =1 { } w (,2 I e 2 j u 2 ψ 1 i

7 Modifikce Whiteov testu pro ejmeší vážeé čtverce 297 ověřit ptost Feer-Liderbergovy podmíky pode Cetráí imití věty (viz. př.[6] tedy ptí L η TˆD0 E (η TˆB N(0,1 (9 η 0 T Koečěopětz -kovergeciˆβ (LWS,,w Lemmt310z[4]dostáváme (podrobější postup při úprvě obdobých výrzů viz.[4] ˆB = ˆB 0 + o p (1 (10 použijeme-i obdobý postup jko v důkzu Lemmtu 1 dostváme ˆB 0 P E (ˆB0 Zevzthů(8 (11jižpyetvrzeívěty. pro. (11 6 Shrutí V oddíe 4 jsme viděi, že z určitých předpokdů(předpokdy A je odhd metodouejmešíchvážeýchčtverců(lws -kozistetí,symptoticky ormáí můžeme odvodit jeho symptotickou reprezetci. Jestiže dáe připomeeme, že jde o odhd s poteciáě vysokým bodem seháím(více viz.př.[3]ebo[4],jeptré,želwsjsoumetodou,jejížvyužitímůže být při regresí ýze dt příosé. Chceme-i ji všk korektě používt, emůžeme se vyhout ověřováí zákdích předpokdů. V oddíe 5 jsme pro LWS odvodii modifikci jedoho z testů heteroskedsticity disturbcí používého pro ksické ejmeší čtverce(ls, totiž Whiteov testu. Podobě jko v přípdě ksického Whiteov testu můžeme očekávt, že ámi odvozeá modifikce ebude citivá pouze porušeí homoskedsticity, e i dších předpokdů. Dáe je třeb tké pozmet, že u LWS, jkožto robustího odhdu očekáváme určitou odoost vůči porušeí zákdích předpokdů. Právě v přípdě poždvku homoskedsticitu distubcí se ukzuje, že LWS se s určitou mírou heteroskedsticity dokáží poměrě dobře vyrovt. To je důsedek fktu, že v přípdě LWS miimizujeme součet vážeých reziduí právě toto vážeí ám může pomoci viv heteroskedsticity disturbcí potčit. Námi vržeá modifikce Whiteov testu pk vstě více ež heteroskedsticitu původích disturbcí testuje heteroskedsticitu zvážeých disturbcí. N jedu stru musíme být tedy optrí při iterpretci výsedku tohoto testu vzhedem k původím disturbcím, druhou stru tkto postveý test ám může podt reevtí iformci, pokud jde o vhodost použití LWS.

8 298 Pve Pát Dodtek LemmD.1.Nechť ζ 1 d ζ 2 jsouezáviséáhodéveičiyu >0.Potom ζ 1 I{ ζ 1 < u}ζ 2 I{ ζ 2 < u}jsouopětezáviséáhodéveičiy. Důkz Provedemepřímývýpočet.Nechť 1 d 2 jsoureááčís.potom P(ζ 1 I{ ζ 1 < u} 1, ζ 2 I{ ζ 2 < u} 2 = = P( u ζ 1 mi{ 1, u}, u ζ 2 mi{ 2, u} = P( u ζ 1 mi{ 1, u} P( u ζ 2 mi{ 2, u}= = P(ζ 1 I{ ζ 1 < u} 1 P(ζ 2 I{ ζ 2 < u} 2. LemmD.2.(Štěpá(1987,pge166,II.7.26Náhodývektor(Y 1,...,Y má rozměré ormáí rozděeí s kovričí mticí Γ právě tehdy, když áhodáveiči Y T tmáprovšechy t R ormáírozděeísrozptyem t T Γt. Referece [1] Fisher R.A.(1922: O the mthemtic foudtios of theoretic sttistics.phios.trs.roy.soc.lodoser.a222, [2] Chtterjee S., Price B.(1977. Regressio ysis by exmpe. J. Wiey &Sos,NewYork. [3] Mšíček L.(2003. Digostik sezitivit robustích modeů. PhD disertce, MFF UK. [4] Pát P.(2003. Odhd metodou ejmeších vážeých čtverců. Dipomová práce, FJFI, ČVUT. [5] Rousseeuw P.J., Leroy A.M.(1987. Robust regressio d outier detectio. J.Wiey& Sos, New York. [6] Štěpá J.(1987. Teorie prvděpodobosti(probbiity Theory. Prgue: Acdemi. [7] White H.(1980. A heteroskesticity-cosistet covrice mtrix estimtor d direct test for heteroskedsticity. Ecoometric 48, Poděkováí: Výzkum podporová grtem GA ČR č. 402/03/0084. Adres: P. Pát, Ktedr mtemtiky, FJFI, ČVUT E-mi: pt@kmiux.fjfi.cvut.cz