LWS při heteroskedasticitě

Transkript

1 Stochastické modelování v ekonomii a financích Petr Jonáš 7. prosince 2009

2 Obsah

3 1 Předpoklad 1: Y i = X i β 0 + e i i = 1,..., n. (X i, e i) je posloupnost nezávislých nestejně rozdělených náhodných veličin (i.n.i.d.) s E(X i e i) = 0.

4 2 Předpoklad 2: (a) Existují konečné kladné konstanty δ, takové, že pro všechna i platí (b) E e 2 i 1+δ <, E X ij X ik 1+δ < pro j, k = 1..., K. M n = 1 n n i=1 EX i X i M n je regulární pro dostatečně velké n takové, že det M n > δ > 0

5 3 Předpoklad 3: (a) Existují konečné kladné konstanty δ, takové, že pro všechna i platí (b) E e 2 i X ij X ik 1+δ <, j, k = 1..., K. V n = 1 n n i=1 Ee 2 i X i X i V n je regulární pro dostatečně velké n takové, že det V n > δ > 0

6 4 Označme ˆβ n = (X X ) 1 X Y Lemma 1: Za platnosti předpokladů 1 a 2 ˆβ n s.j. β 0.

7 5 : Za platnosti předpokladů 1, 2 a 3 n V 1/2 n M n ( ˆβ n β 0 ) A N(0, I ).

8 6 Důkaz Za platnosti předpokladu 1: X i e i nezávislé + E(X i e i ) = 0. Uvažujme n 1/2 n i=1 X ie i ko matice V n = 1 n n i=1 Ee 2 i X i X i je positivně definitní a můžeme definovat V 1/2 V 1/2 n. n má stejnoměrně omezené prvky E e i X ij 2+δ <.

9 7 Abychom mohli použít CLV (Ljapunov), potřebujeme λ R K ukázat n 1/2 i=1 V E λ n X i e i 2+δ 0. n 2+δ 2 Plyne z Minkowského nerovnosti můžeme použít CLT n V 1/2 n Nyní (rovnost platí s.j.) n A X i e i N(0, I ). i=1 = ( 1/2 X X V n Mn n n V 1/2 n Mn ( ˆβ n β 0 ) = ) 1 1/2 1/2 V n n V n n X i e i. i=1

10 8 Theorem 3.1, (White, 1980b) Necht pro každé n 1 X (n) 1,..., X n (n) náhodné veličiny v R p. V n = 1 n n i=1 jsou nezávislé centrované je positivně definitní pro dostatečně velká n. Necht pro dostatečně velká n je T n 2 = V n 1 symetrická positivně definitní matice. Jestliže existuje δ > 0 pro všechna λ R p, pak n i=1 E λ T n X (n) i 2+δ n 2+δ 2 (n) EX i X (n) i 0 1 n n i=1 T n X (n) i A N(0, I p ).

11 9 Použitím pomocného lemma 3.2 z článku (White, 1980b): Z důkazu lemma 1: ( ) 1/2 X 1 X 1/2 V n Mn V n I P 0 n 1/2 n V n Mn ( ˆβ n β 0 ) n 1/2 1/2 V n n X i e i P 0 i=1 Použitím pomocného lemma 3.3 z článku (White, 1980b): n V 1/2 n M n (β n β 0 ) A N(0, I ).

12 10 Theorem 3.2, (White, 1980b) Necht g : R K R 1 je spojitá funkce a X ni X ni P 0, i = 1, 2,..., K. Náhodné vektory X n = ( X n1,..., X nk ) leží uvnitř kompaktní podmnožiny R K. Potom g(x n ) g( X n ) P 0.

13 Uvažujme lineární regresní model Y i = X i β 0 + e i, i = 1,..., n, (1) kde platí e t inid, e t = 0, vare t = σ 2 t (0, K), K <, t. ˆβ n,w LWS = arg min β R n ( ) s 1 w r(s) 2 (β). (2) n s=1 Postupně se dostaneme až k n ( ˆβ n,w LWS = arg min w β R kde F (n) β (v) = 1 n s=1 n i=1 F (n) β ) ( r s(β) ) rs 2 (β), (3) I( Y i X i β < v) (4) 11

14 12 Problém: Rezidua nejsou stejně rozdělená, pro další účely zavedeme následující značení: F β,t (u) := 1 T T F β,t (u) t=1 kde [ ] F β,t (u) = Y t Xt β < u.

15 13 Označme V i = (X i2,..., X ip ). Předpoklad V1 (distribuce): (a) Posloupnost { (Vt, e t ) } je posloupnost nezávislých t=1 p-dimenzionálních náhodných veličin rozdělených podle distribuční funkce F V,e (v, r), která je absolutně spojitá, její hustota f V,e (v, r) je omezená. (b) Pro marginální hustotu f V (v) platí M := sup{ v : f V (v) > 0} <.

16 14 Předpoklad V2 (momenty): (a) t platí: E[e t ] = 0, E[V t ] = 0. (b) t existují druhé momenty náhodných veličin V t a e t.

17 15 Předpoklad V3 (váhová funkce): Váhová funkce w : [0, 1] [0, 1] je - absolutně spojitá, - nerostoucí, - w(0) = 1, - α [ [0, 1] existuje derivace w (α) a w (α) L <, - E w ( F β (0),t ( e t ) ) ] X t Xt je pozitivně definitní pro všechna t a dále existují konstanty 0 < δ <, 0 < M < takové, že pro všechna t platí [ E w ( F β,t ( e t ) ) et 2 1+δ] < M. a [ w ( E F β,t ( e t ) ) ] X tj X tk 1+δ < M, j, k = 1..., p.

18 16 Dále platí M T = 1 T T E t=1 [ w ( F β,t ( e t ) ) X t X t ] je regulární pro dostatečně velká T a det M T > δ > 0.

19 17 Předpoklad V4 (jednoznačnost řešení): Pro každé t existuje právě jedno řešení β (0) vektorové rovnice [ β E w ( F β,t ( r t (β) ) ) ] X t (e t Xt β) = 0 v neznámé β.

20 18 Předpoklad V5 (Vlastnosti hustoty reziduí): Dále f e (r) existuje a je omezená konstantou U e.

21 19 Předpoklad V6 (Lipschitz. derivace váhové funkce): Derivace w (α) váhové funkce w je Lipschitzovská 1. řádu s konstantou J w, tj. α, α [0, 1] : w (α) w ( α) J w α α.

22 20 Předpoklad V7 (Nezávislost): Posloupnosti {V t } t=1 a {e t} t=1 jsou nezávislé. Dále platí ( a R + ) ( a > 0) : ( t) : inf {g t(z)} > L > 0, {z (a,a+ a)} kde g t (z) je hustota G t (z) := P [ e 2 t < z ].

23 21 Předpoklad V8 (Moment): zahrnut ve (V3). Existuje q > 1 tak, že pro všechna t je E[ e t 2q ] <, nebot platí (V3) [ E w ( F β,t ( e t ) ) et 2 1+δ] < a funkce w je omezená

24 22 Předpoklad V9 (Moment): (a) Existují konečné kladné konstanty δ, takové, že pro všechna i platí ( E w ( F β,t ( e i ) ) 2 e 2 i X ij X ik 1+δ) <, j, k = 1..., K. (5) (b) V n = 1 n n i=1 Ew ( F β,t ( e i ) ) 2 e 2 i X i X i (6) je regulární pro dostatečně velká n a det V n > δ > 0.

25 23 Asymptotická reprezentace LWS Necht jsou splněny předpoklady (V1) - (V9) a necht Q = lim T 1 T [ t=1 w( F β T 0,T ( e t )) X t Xt ]. Potom = Q 1 1 T T t=1 T ( βlws T β 0) = w( F β 0,T ( e t )) X t e t + o p (1). T 1 T 2008) t=1 [ w( F β 0,T ( e t )) X t X t ] = M T s.j. Q; viz (Víšek,

26 24 : Za platnosti předpokladů (V1) - (V9) n V 1/2 n M n ( β LWS n β 0 ) A N(0, I ).

27 25 Důkaz Za platnosti předpokladu (V7): w( F β 0,n( e i ))X i e i nezávislé + (V4) E(w( F β 0,n( e i ))X i e i ) = 0. Uvažujme n 1/2 n i=1 w( F β 0,n( e i ))X i e i ko matice V n = 1 n n i=1 Ew 2 ( F β 0,n( e i ))e 2 i X i X i je positivně definitní a můžeme definovat V n 1/2 má stejnoměrně omezené prvky E w( F β 0,n( e i ))e i X ij 2+δ <. (V9) V 1/2 n.

28 26 Abychom mohli použít CLV (Ljapunov), potřebujeme λ R K ukázat n 1/2 i=1 V E λ n w( F β 0,n( e i ))X i e i 2+δ 0. n 2+δ 2 Plyne z Minkowského nerovnosti můžeme použít CLT Nyní n V 1/2 n n A w( F β 0,n( e i ))X i e i N(0, I ). i=1 n V 1/2 n ( + V n 1/2 X WX M n n M n ( β LWS n β 0 ) = V 1/2 n M n o p (1)+ ) 1 V n 1/2 n V n 1/2 n w( F β 0,n( e i ))X i e i. i=1

29 27 Použitím pomocného lemma 3.2 z článku (White, 1980b): ( ) V n 1/2 X 1 WX M n V n 1/2 I P 0 n Z asymptotické reprezentace LWS: n V 1/2 n M n ( β n LWS β 0 ) n 1/2 V n 1/2 n w( F β 0,n( e i ))X i e i P 0 i=1 Použitím pomocného lemma 3.3 z článku (White, 1980b): n V 1/2 n M n ( β LWS n β 0 ) A N(0, I ).

30 28 Předpoklad 1: Y i = X i β 0 + e i i = 1,..., n. (X i, e i) je posloupnost nezávislých nestejně rozdělených náhodných veličin (i.n.i.d.) s E(X i e i) = 0.

31 29 Předpoklad 2: (a) Existují konečné kladné konstanty δ, takové, že pro všechna i platí (b) E e 2 i 1+δ <, E X ij X ik 1+δ < pro j, k = 1..., K. M n = 1 n n i=1 EX i X i M n je regulární pro dostatečně velké n takové, že det M n > δ > 0

32 30 Předpoklad 3: (a) Existují konečné kladné konstanty δ, takové, že pro všechna i platí (b) E e 2 i X ij X ik 1+δ <, j, k = 1..., K. V n = 1 n n i=1 Ee 2 i X i X i V n je regulární pro dostatečně velké n takové, že det V n > δ > 0

33 31 Označme ˆβ n = (X X ) 1 X Y Lemma 1: Za platnosti předpokladů 1 a 2 ˆβ n s.j. β 0.

34 32 : Za platnosti předpokladů 1, 2 a 3 n V 1/2 n M n ( ˆβ n β 0 ) A N(0, I ).

35 33 Přípomenutí Pokud bychom uvažovali model s pevnými regresory, asymptotická ko matice odhadu ˆβ n : M n 1 V n M n 1 = ( ) X 1 ( ) ( ) X X ΩX X 1 X, n n n kde Ω je n n diagonální matice s prvky σ 2 i = E(e 2 i ). Potřebujeme konzistentní odhad!

36 34 Problém: Jak odhadnout V n = ( ) X ΩX? n n parametrů σi 2 z n pozorování? NE! Potřebujeme odhadnout (v modelu s náhodnými regresory) 1 n n i=1 Ee 2 i X i X i.

37 35 Víme: je konzistentním odhadem 1 n 1 n n i=1 n i=1 e i nepozorovatelné nahradíme e 2 i X i X i Ee 2 i X i X i. ê in = Y i X i ˆβ n. ˆV n = 1 n n i=1 ê 2 inx i X i

38 36 Předpoklad 4: Existují konečné kladné konstanty δ a takové, že pro všechna i platí E X 2 ij X ik X il 1+δ < pro j, k, l = 1..., K.

39 37 Věta 1: Za platnosti předpokladů 1,2,3(a) a 4 ˆV n V n s.j. 0.

40 38 Důkaz: β 0 je konečné existuje K, kompaktní okoĺı β 0 takové, že (β j β 0j ) je konečné (β K). Dále existuje konečné Potom β : (β j β 0j ) 2 ( β j β 0j ) 2, β K. X 2 ij (β j β 0j ) 2 X ik X il X 2 ij ( β j β 0j ) 2 X ik X il. (Y i X i β) 2 X ik X il = (e i X i (β β 0 )) 2 X ik X il

41 39 Použitím nerovnosti a + b r 2 r 1 a r + 2 r 1 b r r 1. Existují konečné kladné konstanty λ 0,..., λ K (Y i X i β) 2 X ik X il λ 0 (e i ) 2 X ik X il + λ 0 e 2 i X ik X il + K j=1 K j=1 λ j (X 2 ij (β j β 0j )) 2 X ik X il λ j X 2 ij X ik X il ( β j β 0j ) 2 m kl (X i, e i ). (Y i X i β) 2 X ik X il m kl (X i, e i ).

42 40 Existují konečné kladné konstanty µ 0,..., µ K E m kl (X i, e i ) 1+δ µ 0 λ 1+δ 0 E e 2 i X ik X il 1+δ + + K j=1 µ j λ 1+δ j X 2 ij X ik X il 1+δ ( β j β 0j ) 2+2δ. Stejně omezené E e 2 i X ikx il 1+δ (3a) E X 2 ij X ikx il 1+δ, j = 1..., K (4) a λ 0,..., λ K, µ 0,..., µ K a ( β 1 β 01 ) 2+2δ,....( β K β 0K ) 2+2δ jsou konečné kladné konstanty E m kl (X i, e i ) 1+δ je stejně omezené na K.

43 41 Použitím pomocného lemma 2.3 z článku (White, 1980b): sup β K K n 1 (Y i X i β) 2 X ik X il n 1 j=1 K j=1 E(Y i X i β) 2 X ik X il s.j. 0. Protože ˆβ n s.j. β 0 použitím lemma 2.6 z článku (White, 1980b): K n 1 (Y i X ˆβ n ) 2 X ik X il n 1 j=1 i K j=1 Ee 2 i X ik X il s.j. 0. tzn. ˆV n V n s.j. 0.

44 42 Pro LWS půjde dokázat obdobné tvrzení. Připomeňme: a označme ˆV LWS n V n = 1 n = 1 n n i=1 Ew 2 ( F β 0,n( e i ))e 2 i X i X i n w 2 (F (n) i=1 β LWS ( ri ))(ri LWS ) 2 X i X i

45 43 Věta 1 ˆV LWS n V n P 0.

46 44 Důkaz: Je obdobný jako Whiteův důkaz (Theorem 1, (White, 1980a)). Rozdíl je v posledním kroku. Pro LWS nemáme ˆβ s.j. n β 0, ale pouze ˆβ n LWS P β 0. Pokud se omezíme na množinu K ɛ : P(K ɛ ) > 1 ɛ a ˆβ n LWS (ω) β 0 ω K ɛ, pak už můžeme použít Whiteův důkaz a dostaneme ˆV LWS n V n P 0.

47 Víšek, J. Á. (2008). Asymptotic representaion of the least weighted squares. Preprint. White, H. (1980a). A heteroskedasticity-consistent covariance matrix estimator and a direct test for heteroskedasticity. Econometrica. White, H. (1980b). Nonlinear regression on cross-section data. Econometrica. 45

48 45 Děkuji za pozornost