Bodové a intervalové odhady parametrů v regresním modelu

Transkript

1 Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel

2 Lineární regresní model Mějme lineární regresní model (LRM) Y = Xβ + e, kde y 1 e 1 β y 2 Y =., e = e 2 x 11 x 1 1k., X = β 2, β =.. x y n e n1 x nk n β k Odhady neznámých parametrů metodou nejmenších čtverců jsou dány β = ( X X ) 1 X Y, reziduální součet čtverců je S e = (Y X β) (Y X β) = Y Y β X Y.

3 Lineární regresní model odhady Odhady parametrů β jsou nevychýlené, [ (X E(ˆβ) = E X ) 1 X Y] = ( X X ) 1 X E(Y) = ( X X ) 1 X Xβ = β, reziduální součet čtverců normovaný konstantou n k nevychýleným odhadem rozptylu σ 2 σ2 = se 2 = 1 n k Se = 1 n (y i ŷ i) 2. n k Za předpokladů normality lze provádět testy hypotéz o parametrech uvažovaného modelu. Dále lze na základě uvedených výsledků konstruovat intervaly spolehlivosti pro neznámé parametry a také konstruovat intervaly spolehlivosti pro predikované hodnoty odezvy Y při daných hodnotách regresorů. i=1

4 Lineární regresní model odhady Předpokládejme nyní, že náhodné chyby e i, i = 1..., n v lineárním regresním modelu mají normální rozdělení s nulovou střední hodnotou a rozptylem σ 2. Potom mají odhady β j, j = 1,..., k regresní koeficientů β j normální rozdělení, tedy platí βj N(β j, D( β j)), kde rozptyly D( β j) jsou dány: D( β 1) = σ 2 v 11, D( β 2) = σ 2 v 22,..., D( β k ) = σ 2 v kk, přičemž v 11, h 22,..., v kk jsou prvky na hlavní diagonále matice (X X) 1. Rozptyly odhadů regresních parametrů odhadneme D( β j) = s 2 e v jj, druhé odmocniny těchto odhadů s( β j) = s 2 e v jj se nazývají směrodatné chyby odhadů regresních parametrů.

5 Lineární regresní model odhady Východiskem pro konstrukci intervalů spolehlivosti pro parametry β j regresního modelu jsou statistiky t = β j β j s( β j), které mají Studentovo rozdělení s n k stupni volnosti. Oboustranný interval spolehlivosti při riziku odhadu α má potom tvar β j t 1 α/2 (n k) s( β j) < β j < β j + t 1 α/2 (n k) s( β j), kde t 1 α/2 (n k) označuje kvantil Studentova rozdělení.

6 Lineární regresní model odhady, regresní přímka Příklad. Následující tabulka udává informaci o teplotě (ve stupních Celsia) v jednom městě a množství zmrzliny (v kilogramech) prodaných v osmi náhodně vybraných cukrárnách. Odhad regresní přímky je teplota zmrzlina ŷ = 71, ,918x, s( β 1) = 14,4079, s( β 2) = 0,4492, pro α = 0, 05 je t 1 α/2 (n k) = t 0,975(8 2) = 2,44691, potom 95% intervaly spolehlivosti odhady pro parametry regresní přímky jsou 107,02355 < β 1 < 36,51376, 3,81888 < β 2 < 6,01695.

7 Lineární regresní model odhady, regresní parabola Příklad. U automobilu Trabant se měřila spotřeba paliva v litrech na 100 km (Y ) v závislosti na jeho rychlosti (X ). Rychlost Spotřeba 6,1 5,8 6,0 6,5 6,8 8,1 10,0 Odhadnutá parabolická regresní funkce má tvar ŷ = 11, ,207262x + 0,001917x 2. s( β 1) = 1, , s( β 2) = 0, , s( β 3) = 0, pro α = 0, 05 je t 1 α/2 (n k) = t 0,975(7 3) = 2,776445, potom 95% intervaly spolehlivosti odhady pro parametry parabolické regresní funkce jsou 8, < β 1 < 14, , 0, < β 2 < 0, , 0, < β 3 < 0,

8 Lineární regresní model odhady, dva lineární regresory Příklad. Výrobce nealkoholických nápojů má zájem analyzovat potřebný čas k servisu (doplnění lahví případně malý servis zařízení) automatů na výdej lahví s těmito nápoji. Celkovou dobu doplnění lahví je třeba predikovat pomocí dvou dostupných proměnných: počet lahví, které je třeba doplnit do automatu, a vzdálenost, kterou musí údržbář ujít. Vysvětlovanou proměnnou je v tomto případě celkový čas, vysvětlující proměnné jsou počet doplněných lahví a vzdálenost. čas 16,68 11,5 12,03 14,88 13,75 18, ,83 79,24 21,5 počet lahví vzdálenost čas 40, ,5 19, , ,5 35,1 počet lahví vzdálenost čas 17,9 52,32 18,75 19,83 10,75 počet lahví vzdálenost

9 Lineární regresní model odhady, dva lineární regresory Metodou nejmenších čtverců získáme odhad regresní funkce ŷ = 2, ,61591x + 0,01438z. s( β 1) = 1,096730, s( β 2) = 0,170735, s( β 3) = 0, pro α = 0,05 je t 1 α/2 (n k) = t 0,975(25 3) = 2,073873, potom 95% intervaly spolehlivosti odhady pro parametry parabolické regresní funkce jsou 0, < β 1 < 4,615710, 1, < β 2 < 1,969990, 0, < β 3 < 0,

10 Nalezené odhady β 1,..., β k parametrů β 1,..., β k regresního modelu lze použít k odhadu regresní funkce y v daném bodě x 0 = (x 01, x 02,..., x 0k ), tedy při hodnotách regresorů X 1 = x 01, X 2 = x 02,..., X k = x 0k. Odhad regresní funkce y = y(x) v bodě x = x 0 pak získáme ze vztahu ŷ = ŷ(x 0) = β 1x 01 + β 2x β k x 0k. Nalezení odhadu ŷ(x 0) regresní funkce y(x 0) v bodě x 0 je jednou z nejčastějších úloh regresní analýzy. Odpovídá nalezení střední ( průměrné ) hodnoty vysvětlované proměnné Y při daných hodnotách regresorů X 1 = x 01, X 2 = x 02,..., X k = x 0k.

11 Pro konstrukci intervalu spolehlivosti pro regresní funkci se použije statistika t = ŷ(x0) y(x0), s(ŷ(x 0)) kde s(ŷ(x 0)) = s e x 0 (X X) 1 x 0 je směrodatná chyba (odchylka) bodového odhadu ŷ(x 0). Statistika t má Studentovo rozdělení s n k stupni volnosti,. Odtud lze odvodit vztah pro oboustranný intervalový odhad y(x 0) regresní funkce y(x) v bodě x 0 ŷ(x 0) t 1 α/2 (n k) s(ŷ(x 0)) < y(x 0) < ŷ(x 0) + t 1 α/2 (n k) s(ŷ(x 0)).

12 Zajímá-li nás interval spolehlivosti pro predikci (předpověď) vysvětlované veličiny Y v bodě x 0 = (x 01, x 02,..., x 0k ), tedy interval spolehlivosti pro pozorování Y 0 = y(x 0) + e 0, kde e 0 je náhodná chyba tohoto pozorování v bodě x 0, dostaneme s využitím uvedeného modelu ŷ(x 0) t 1 α/2 (n k) s 0 < Y 0 < ŷ(x 0) + t 1 α/2 (n k) s 0, kde s 0 je směrodatná chyba odhadu Y 0, tedy směrodatná chyba veličiny ŷ(x 0) + e 0, která je rovna s 0 = s e 1 + x 0 (X X) 1 x 0.

13 přímková regrese Určíme množství prodané zmrzliny pro teplotu 33, které lze očekávat na základě spočítané přímkové regresní funkce ŷ = 71, ,918x. Bodový odhad je ŷ(30) = 71, , = 90,522. Označme ( ) x 0 =, X = ( ) (X X) 1 6, , =, s = 5, , ,

14 přímková regrese Směrodatná chyba bodového odhadu regresní funkce je s(ŷ(x 0)) = s e x 0 (X X) 1 x 0 = 2, Intervalový odhad je 85,30920 < y(x 0) < 95,73557, t 0,975(6) = 2, Směrodatná chyba pro jedno pozorování Y 0 je s 0 = s e 1 + x 0 (X X) 1 x 0 = 6, Intervalový odhad je 75,37323 < Y 0 < 105,67155.