Transkript

1 TESTY ZALOZENE NA REGRESNICH PO RADOV YCH SK ORECH Jan PICEK TU Liberec, KPDM Abstract: In this paper we construct a class of regression rank scores tests in the linear mixed model where some of the predictors are nonstochastic and some are stochastic. The tests are based on regression rank scores, introduced by Gutenbrunner and Jureckova (1992)as dual variables to the regression quantiles of Koenker and Bassett (1978). Their properties are analogous to those of the corresponding rank tests in location model. Rezme: V to stat~e my konstruiruem klass kriteriev v lineno smexanno modeli, t.e., nekotorye stolbce regressionno matricy sluqanye i nekotorye nesluqanye. Kriterii vyvedny na osnove regressionnyh rangovyh metok, kotorye vveli C. Gutenbrunner i. reqkova (1992) kak dvuhstvennye peremennye k regressyonnym kvantilam, kotorye vveli v 1978 godu R. Koenker i G. Bassett. Svostva tih kriteriev anlogiqny svostvam sootvetstvuxih rangovyh kriteriev v modeli sdviga. 1. Uvod Budeme uvazovat nasledujc linearn regresn model Y = X + E (1) Y = (Y 1 ::: Y n ) je vektor pozorovan, X je n p rozmerna regresn matice vysvetlujcch promennych, =( 1 ::: p ) 0 2 IR p je vektor neznamych parametru ae =(E 1 ::: E n )jevektor chyb. Snaha po zobecnen L-odhadu parametru polohy na regresn model vedla k zaveden pojmu regresn -kvantil. R. Koenker a G. Basset [11] ho denovali v modelu (1) nasledovne: Regresnm -kvantilem b () (0 < < 1) v modelu linearn regrese (1) nazyvame kazdy vektor t 2 IR p, ktery jeresenm nx (Y i ; x 0 i t):=min t (2) (x) =x (x) x 2 IR 1

2 a (x) = ; I [x<0] x 2 IR 1 : Studiem asymptotickych vlastnost regresnch kvantilu a konstrukc odhadu na nich zalozenych se dale napr. zabyvali D. Ruppert a R. Carrol [13], Jureckova [7, 8], Antoch a Jureckova [1], C. Gutenbrunner [2]. Koenker a Basset v [11] charakterizovali regresn - kvantil b () jako slozku b optimalnho resen ulohy parametrickeho linearnho programovan, ktera manasledujc tvar: 1 0 n u+ +(1; )1 0 n u; := min Xb + u + ; u ; = Y (3) b 2 IR p u + u ; 2 IR n + 0 <<1 Autori tez uvazovali i dualn ulohu, ale jej resen vyuzvali jen k vypoctu regresnch kvantilu. Optimaln resen ^a() =(^a 1 () ::: ^a n ()) 0 2 IR n jej ekvivalentn verze dualn ulohy Y 0^a := max X 0^a =(1; )X 0 1 n (4) ^a 2 [0 1] n nazvali Gutenbrunner a Jureckova[3] regresnmi poradovymi skory aukazali, ze dualitu mezi poradkovymi statistikami a poradm v modelu polohy lze prirozene zobecnit na klasicky linearn regresn model (1). Motivac kzaveden regresnch poradovych skoru je, ze v prpade modelu polohy (tj. X = 1 n ) ^a i () a (R i ) 8 < : 1 jestlize (R i ; 1)=n R i ; n jestlize (R i ; 1)=n < R i =n 0 jestlize R i =n < (5) R i je porad Y i mezi Y 1 ::: Y n. Funkce a (j ) j =1 ::: n 0 <<1 je presne taz, kterou zavedl Hajek v r Navrhl tehdy rozsren Kolmogorov-Smirnovova P testu, jehoz kriterium je n funkcional procesu ft n () = c nia n(r i ) 0 1g a ukazal, ze asymptoticke rozdelen tohoto kriteria je shodne s asymptotickym rozdelenm obycejneho Kolmogorov-Smirnovova testu. Nejen Kolmogorov-Smirnovuv test, ale i standardn (linearn) poradove testy mohou byt vyjadreny jako funkcionaly procesu T n (). Prirozene se tedy naskytla otazka, zda lze konstruovat testy zalozene na regresnchporadovychskorech jako analogii poradovychtestu. Prvn idea

3 se objevila v praci Gutenbrunnera a Jureckove v[3], teorie vsak byla aplikovatelna pouze na testy s useknutou skorovou funkc. Obecna trda testu zalozenychnaregresnchporadovychskorech byla zkonstruovana vclanku Gutenbrunnera, Jureckove, Koenkera a Portnoye [4]. Hlavnm metodologickym nastrojem pro odvozen asymptotickych vlastnost testu je asymptoticka reprezentace regresnchkvantilu, stejnomerna v. Testy Kolmogorov{Smirnovovatypu zalozenych na regresnchporadovych skorech odvodila Jureckova [9]. Algoritmus pro vypocet regresnchporadovychskoru popsali R. Koenker a V. d'orey v [12]. V tomto prspevku se budeme zabyvat testy zalozenymi na regresnch poradovych skorech ve smsenem modelu, tj. za predpokladu, ze nektere sloupce regresn matice jsou nahodne. 2. Vlastnosti regresnch poradovych skoru Z duality mezib () a^a() vyplyva ^a i () = ( 1 jestlize E i > x 0 i ( b () ; ()) 0 jestlize E i < x 0 i ( b () ; ()) (6) a X ^a i ()x i =(1; ) nx x i ; i2m nx I[E i > x 0 i(b () ; ())]x i M = fi : E i = x 0 i(b () ; ())g: Z vlastnost regresnch poradovych skoru pri konecnem n je patrne nejdulezitejs jejich invariance vzhledem k regresi s matic X, plynouc prmo z denice (4): ^a( Y + Xb) =^a( Y) 8 b 2 IR p (7) ktera je rozsrenm invariance porad (nebo poradovych skoru (5)) vzhledem k posunut v poloze. Na zaklade reprezentace regresnch kvantilu Gutenbrunner a kol. v [4] odvodili asymptotickou reprezentaci a rozdelen procesu regresnch poradovych skoru v modelu (1), pricemz uvazovali nasledujc predpoklady. Chyby E 1 ::: E n jsou nezavisle stejne rozdelene nahodne veliciny s distribucn funkc F a hustotou f, ktere splnuj tyto podmnky (A.1) jf ;1 ()j c((1 ; )) ;a pro 0 < 0 1 ; 0 0 <a 1=4 ; " ">0ac>0. < 1

4 (A.2) 1 f(f ;1 ()) c((1 ; ));1;a pro 0 < 0 1 ; 0 <1 c>0. (A.3) Hustota f(x) je absolutne spojita, je kladna a omezena na na intervalu (A B) a klesajc prox! A+ ax! B;, (A.4) ;1 A supfx : F (x) =0g a 1B inffx : F (x) =1g: Derivace f 0 je omezena. f 0 (x) f(x) cjxj pro jxj K 0 c>0. Matice X vyhovuje temto pozadavkum (B.1.) x i1 =1 i =1 ::: n: (B.2.) lim n!1 D n = D, matice D n = n ;1 X 0 X a D je pozitivne denitn p p rozmerna matice. (B.3.) n ;1 P n jjx ijj 4 = O(1) pro n!1. (B.4.) max 1in jjx i jj = O ; n (2(b;a);)=(1+4b) pro nejake b > 0 a > 0 takove,ze 0 < b ; a < "=2. Poznamenejme, ze vyse uvedenepodmnky splnuje napr. normaln, logisticke a t rozdelen s peti a vce stupni volnosti. Veta 1 Necht' d n =(d n1 ::: d nn ) 0 je vektor splnujc nasledujc podmnky: (C.1) X 0 nd n = 0 1 n nx d 2 ni! 2 0 < 2 < 1 (C.2) n ;1 n X jd ni j 3 = O(1) pro n!1 (C.3) max jd nij = O n (2(b;a);)=(1+4b) 1in a b jsou dany podmnkou (B.4). Dale necht' jsouvmodelu (1) splneny podmnky (A.1)-(A.4) a (B.1)-(B.4). Potom plat

5 i) ii) sup 01 ( n ;1=2 n X Proces d ni (^a ni () ; ~a i ()) )! 0 pro n!1 (8) ~a i () =I [E i >] i =1 ::: n: (9) ( ;1 n ;1=2 n X d ni^a ni () :0 1 ) (10) konverguje k Brownovu mustku v Prochorove topologii na C[0 1]. 3. Linearn regresn poradova statistika Protoze ve trdelinearnch poradovych testu dulezitou roli zaujmaj linearn poradove statistiky, uvazovali Gutenbrunner a kol. [4] analogicky linearn regresn poradovou statistiku S n = n ;1=2 n X d ni^bni (11) se skory ^b n =(^b n1 ::: ^b nn ) 0 generovanymi neklesajc skorovou funkc a denovanymi jako integral '(t) : (0 1)! IR 1 0 < ^bni = ; Z 1 0 Z 1 0 ' 2 (t)dt < 1 (12) '(t)d^a ni (t) i =1 ::: n: (13) Odvodili tez asymptotickou reprezentaci statistiky S n (11). Veta 2 Necht' '(t) je neklesajc funkce dana v (12) takova, ze jej derivace ' 0 (t) existuje pro 0 <t< 0 1 ; 0 <t<1 asplnuje k' 0 (t)k c(t(1 ; t)) ;1; (14) pro nejake, splnuje (B.4), a pro t 2 (0 0 ) [ (1 ; 0 1). Jestlize jsou splneny podmnky (A.1)-(A.4), (B.1)-(B.4) a (C.1)-(C.3) potom S n ma reprezentaci S n = n ;1=2 n X d ni '(F (E i )) + o p (1): (15)

6 Tuto vetu rozsrme na situaci, kdy koecienty v linearn regresn poradove statistice jsou nahodne. Oznacme-li koecienty jako z 1n :::z nn, potom msto podmnek (C.1)-(C.3) budeme uvazovat tyto predpoklady: (D.1) z n = (z 1n ::: z nn ) 0 je nezavisly nahodny vyber z rozdelen s distribucn funkc G, ktera ma spojitou hustotu g. (D.2) IEjz 1 j 3 < 1. (D.3) Vektory z n a E n jsou nezavisle. Jako H oznacme sdruzenou distribucn funkci G F. Veta 3 Necht' '(t) je neklesajc funkce dana v (12) takova, ze jej derivace ' 0 (t) existuje pro 0 <t< 0 1 ; 0 <t<1 aplat pron j' 0 (t)j c(t(1 ; t)) ;1; (16) pro nejake <, splnuje (B.4), a pro t 2 (0 0 ) [ (1 ; 0 1). Potom za platnosti predpokladu (A.1)-(A.4), (B.1)-(B.4), (D.1)-(D.3) ma statistika S n asymptotickou reprezentaci S n = n ;1=2 n X (z ni ; bz ni )'(F (E i )) + o p (1) (17) bz ni = H n z ni i =1 ::: n a H n = X n (X 0 nx n ) ;1 X 0 n Dukaz. Pro potrebydukazu P oznacme r i = n (b ;1=2 bi ;'(F (E i ))) i =1 ::: n a statistiku Sn = n ;1=2 n (z ni ; bz ni )'(F (E i )). Clem je tedy ukazat, ze S n ; Sn = o p (1). Zpodmnky (D.3) plyne, ze r =(r 1 ::: r n ) 0 a(z n ; bz n ) jsou nezavisle. Predpokladejme jeste, ze rozptyl z 1n = 2. Nejprve poctejme nasledujc podmneny moment IE G (S n ; S n) 2 E 1 ::: E n = IE G (z n ; bz n ) 0 r (z n ; bz n ) 0 r = r 0 IE G (I n ; H n )z n z 0 n(i n ; H n ) 0 E 1 ::: E n r = = r 0 (I n ; H n ) 2 I n (I n ; H n )r E 1 ::: E n Stac si uvedomit, ze vzhledem k (B.1) plat (I n ; H n )1 n = 0 n, a tedy (I n ; H n )IEZ n = 0 n. Dale vme, ze projekcn matice je idempotentn a symetricka.

7 Z denice podmnene stredn hodnoty tak zskavame Z (S n ; Sn) 2 dh(e 1 ) ::: dh(e n ) = B Z = 2 ((I ; H)r) 0 ((I ; H)r) df (E 1 ) ::: df(e n ) B pro kazde B 2 IR n. Tvrzen potom vyplyva zvety 2((I n ; H n )r = o p (1)) Testy ve smsenem modelu Uvazujme nyn linearn regresn model(1)ve tvaru Y n = X n + Z n + E n (18) a jsou r a q rozmerne nezname parametry, X n je pevna n r rozmerna pevna matice, Z n je n q rozmerna nahodna matice, Y je n rozmerny vektor pozorovan a E je n rozmerny vektor nezavislych stejne rozdelenych chyb. Zajmat nas bude problem testu hypotezy proti Pitmanove alternative H 0 : =0 je neurceno (19) H n : = n ;1=2 0 ( 0 2 IR q pevne): (20) Predmetem nasich uvah budou linearn testy zalozene na regresnch poradovych skorech, ktere jsou podobne jako obvykle poradove testy zalozeny na linearnch regresnch poradovych statistikach. Protoze za platnosti H 0 regresn poradove skory odpovdaj submodelu Y n = X n + E n (21) pracujeme pri jejich vypoctu pouze s matic X n, tj. matic. Lze tedy vyuzt vysledku zpredchazejc casti. tedy s nenahodnou Budeme proto uvazovat, ze matice Z n splnuje nasledujc podmnky: (E.1) Matice Z n ma nezavisle stejne rozdelene radky z i i =1 ::: n. Jde tedy o nezavisly nahodny vyber z rozdelen vektoru z =(z 1 ::: z q ) 0 s q rozmernou distribucn funkc G, ktera ma spojitou hustotu g.

8 (E.2) IEkzk 3 < 1. (E.3) Matice Z n avektor E n jsou nezavisle. Jako H oznacme sdruzenou distribucn funkci G F, resp. h jako sdruzenou hustotu g f. Zaved'me jeste nasledujc oznacen Q n = n ;1 (Z n ; b Zn ) 0 (Z n ; b Zn ) (22) bz n = H n Z n a H n = X n (X 0 nx n ) ;1 X 0 n: (23) Tedy b Zn je projekce matice Z n do prostoru tvoreneho sloupci matice X n. a Jako testovou statistiku pro test hypotezy (19) uvazujeme A 2 (') = Z 1 0 T n = S0 n Q;1 n A 2 (') S n ('(t) ; ') 2 dt ' = S n = n ;1=2 (Z n ; b Zn ) 0 ^bn (24) Z 1 0 '(t)dt pricemz skory b n = (^b n1 ::: ^b nn ) 0 jsou vypocteny na zaklade regresnch poradovych skoru odpovdajcch submodelu (21). Test je zalozen na asymptotickem rozdelen T n za platnosti H 0 danem nasledujc vetou, ktera zaroven udava asymptoticke rozdelen T n za lokaln alternativy H n. Veta 4 Predpokladejme, ze matice X n splnuje podmnky (B.1)-(B.4) a matice Z n podmnky (E.1)-(E.3). Dale predpokladejme, ze F splnuje (A.1)- (A.4). Necht' T n je statistika denovana v (24), pricemz skorova funkce ' dana v (12) splnuje (16). Predpokladejme, ze existuje lim n!1 IE G Q n = Q ajetopozitivne denitn matice. Potom i) za hypotezy H 0 ma statistika T n asymptoticky 2 s q stupni volnosti. ii) Za platnosti alternativy H n ma T n asymptoticky necentraln 2 rozdelen s q stupni volnosti a s parametrem necentrality 2 = 0 0 Q 0 2 (' F )=A 2 (') (25) 2 (' F )=; Z 1 0 '(t)df(f ;1 (t)): (26)

9 Dukaz.(i) Zvety 3 plyne, ze za nulovehypotezy H 0 ma statistika S n asymptoticky stejne rozdelen jako statistika S n = n ;1=2 (Z n ; b Zn ) 0 '(F (E)): Asymptoticke rozdelen teto statistiky je podle centraln limitn vety q{ rozmerne normaln s nulovou stredn hodnotou (z podmnky B.1) a s variancn matic Q A 2 ('). Tedy statistika T n ma asymptoticky 2 s q stupni volnosti. (ii) Posloupnost lokalnch alternativ Q H n je kontiguitn vzhledem k posloupnosti rozdelen s hustotami f h(y i ; x 0 i)g (rozdelen za nulove hy- n potezy). Potom veta 3 plat tez zah n a statistika S n ma tedy asymptoticky stejne rozdelen jako statistika S n za H n. Zfaktu,ze asymptoticke rozdelen S n je za H n normaln sestredn hodnotou (' F )Q 0 asvariancn matic QA 2 ('), plyne pozadovane tvrzen. 2 Jako prklad volby ', muzeme vzhledem ke klasickym poradovym testum uvest '(t) =t ; 1=2 0 <t<1(coz odpovda Wilcoxonovu testu). Potom skory ^b ni = R ^a ni (t)dt ; 1=2 aa 2 (') =1=12. References [1] Antoch, J. and Jureckova, J. (1985). Trimmed LSE resistant to leverage points. Comp. Statist. Quarterly, 4, [2] Gutenbrunner, C. (1986). Zur Asymptotik von Regressionquantileprozessen und daraus abgeleiten Statistiken. Ph.D. disertace, Universitat Freiburg. [3] Gutenbrunner, C. a Jureckova, J. (1992). Regression rank-scores and regression quantiles. Ann. Statist., 20, [4] Gutenbrunner, C., Jureckova, J., Koenker, R. and Portnoy, S. (1993). Tests of linear hypotheses based on regression rank scores. Nonparametric Statistics, 2, [5] Hajek, J. (1965). Extension of the Kolmogorov-Smirnov Test to the Regression Alternatives. Bernoulli-Bayes-Laplace, Proc. Intern. Research Seminar (J. Neyman and L. Le Cam, eds.), Springer-Verlag., Berlin. [6] Hajek, J. a Sidak, Z. (1967). Theory of Rank Tests, Academia, Praha.

10 [7] Jureckova, J. (1983). Trimmed Polynomial Regression. Commentationes Mathematicae Universitatis Carolinae, 24, 4, [8] Jureckova, J. (1984). Regression quantiles and trimmed least squares estimator under a general design. Kybernetika, 20, [9] Jureckova, J. (1991). Tests of Kolmogorov-Smirnov type based on regression rank scores. Transactions of the 11th Prague Conf. on Information Theory, Statist. Decis. Functions and Random Processes, (J. A. Vsek, ed.), pp Academia, Prague. [10] Jureckova, J. (1996). Regression rank scores tests applied to heavy-tailed distributions., v recenznm rzen. [11] Koenker, R. a Bassett, G. (1978). Regression quantiles. Econometrica, 46, [12] Koenker, R. a d'orey, V. (1994). Remark on algorithm 229. Applied Statistics, 43, [13] Ruppert, D. a Carroll, R. J. (1980) Trimmed least squares estimation in the linear model. J. Amer. Statist. Assoc., 75,