13.1. Úvod Cílem regresní analýzy je popsat závislost hodnot znaku Y na hodnotách

Transkript

1 13 Regrese Úvod Cílem regresní analýzy je popsat závislost hodnot znaku Y na hodnotách znaku X. Přitom je třeba vyřešit jednak volbu funkcí k vystižení dané závislosti a dále stanovení konkrétních hodnot parametrů těchto zvolených funkcí. V dalších sekcích se zaměříme na funkce tvaru k y = β j φ j (x) j=0 kde funkce φ j (x) jsou známé funkce neobsahující neznámé parametry a φ 0 (x) = 1. Častou volbou je φ j (x) = x j, j = 0, 1,..., k Přímka procházející počátkem Nejprve se zaměříme na φ 0 (x) = 0 a φ 1 (x) = x. Nechť platí Y i = βx i + e i, i = 1..., n. V tomto případě X = (x 1,..., x n ), takže X X = ( x2 i ). Odhad ˆβ = x i Y i / x 2 i. Odhad pro σ 2 je s 2 = ( Y 2 i ˆβ ) x i Y i /(n 1). Příklad 13.1 Mějme měděnou trubku o délce L 0 = 1000 mm při teplotě t 0 = 20 C. Bylo naměřeno, o kolik milimetrů se tato trubka prodlouží, stoupne-li její teplota o C. Je známo, že pro délkovou roztažnost platí vzorec L = αl 0 t, kde α je tzv. koeficient tepelné roztažnosti. Změna teploty t: Prodloužení trubky L: 0,18 0,35 0,48 0,65 0,84 0,97 129

2 Je třeba odhadnout koeficient α. Proto provedeme úpravu dat z tabulky s cílem přejít na model Y i = βx i + e i, i = 1..., n, kde x i je hodnota výrazu L 0 t v i-tém měření, Y i je prodloužení trubky, β píšeme místo α a e i jsou chyby měření. x i : Y i : 0,18 0,35 0,48 0,65 0,84 0,97 Vyjde n = 6, ˆβ = 1, , s 2 = 3, Příklad 13.2 (mravenec průzkumník) Mravenec průzkumník se probouzí při teplotě okolo 5 C, při teplotě 10 C už může dosáhnout rychlosti 18 m/hod., při teplotě 15 C vyvine rychlost 54 m/hod., při teplotě 20 C běží rychlostí 126 m/hod., při teplotě 25 C uhání rychlostí 210 m/hod., při teplotě 28 C jeho rychlost klesá na 190 m/hod. Bernard Werber: Mravenci, KK, 2005 Najděte regresní přímku ˆβ 0 + ˆβ 1 x pro závislost rychlosti y mravence průzkumníka na teplotě okolí x. Určete index determinace. Zkonstruujte pás spolehlivosti pro regresní přímku a okolo regresní přímky. Marek, J.: Pravděpodobnost a matematická statistika 130

3 XIII.3 Věta. V modelu lineární regrese jsou odhadem parametrů regresní funkce β 0 + β 1 x odhady ˆβ 0 = Y i x2 i x i x iy i n x2 i ( x, (1) i) 2 ˆβ 1 = n x iy i x i Y i n x2 i ( x, (2) i) 2 S( ˆβ 0, ˆβ 1 ) = Y 2 i ˆβ 0 Y i ˆβ 1 x i Y i. (3) Data lze také vztáhnout k těžišti a pro výpočet odhadů regresních parametrů lze použít tyto vztahy ˆβ 1 = (x i x)y i (x i x) 2, ˆβ0 = Y ˆβ 1 x, Ŷ = ˆβ 0 + ˆβ 1 x = Y + ˆβ 1 (x x). Odchylky e i = Y i Ŷi = Y i ˆβ 0 ˆβ 1 x i = Y i Y ˆβ 1 (x i x), i = 1,..., n, se nazývají rezidua Statistika S e = S( ˆβ 0, ˆβ 1 ) = e 2 i = (Y i Ŷi) 2 = [Y i Y ˆβ 1 (x i x)] 2, se nazývá reziduální součet čtverců resp. součet čtverců reziduí. XIII Regrese 131

4 Výsledky uvádí tabulka i x i Y i x 2 i x i Y i Yi 2 Ŷ i e i e 2 i = ˆβ 0 = Y i x2 i x i x iy i n x2 i ( x = i) = = ˆβ 1 = n x iy i x i Y i n x2 i ( x = i) = = = S( ˆβ 0, ˆβ 1 ) = Y 2 i ˆβ 0 Y i ˆβ 1 x i Y i = = ˆβ 0 + ˆβ 1 x = x Marek, J.: Pravděpodobnost a matematická statistika 132

5 S e = , S 2 = S e n 2 = = , S = Výpočet lze realizovat pomocí těžiště x = 19.6, Y = 119.6: i x i Y i x i x (x i x) Y i (x i x) 2 Ŷ i e i e 2 i ˆβ 1 = (x i x)y i (x i x) 2 = = ˆβ 0 = Y ˆβ 1 x = = ˆβ 0 + ˆβ 1 x = x S e = , S 2 = S e n 2 = = , 5 2 S = Kvalitu s jakou jsou data popsána regresní přímkou, udává index determinace. I = n (Ŷi Y ) n (Y i Y ) = = i x i Y i Y i Y (Y i Y ) 2 Ŷ i Y (Ŷi Y ) Výpočtem zjistíme, že ( X n n X = x i n x i (X X) 1 = V našem případě 1 n x2 i ( x i) 2 X X = x2 i ( ) 5 98, ), ( x2 i x ) i x. i n XIII Regrese 133

6 (X X) 1 = Proto ( ) = 98 5 ( ) var( ˆβ) = var[(x X) 1 X Y] = (X X) 1 X [var(y)]x(x X) 1 var( ˆβ 0 ) = σ 2ˆβ0 = = (X X) 1 X (σ 2 I))X(X X) 1 = σ 2 (X X) 1. σ 2 n [ ] x2 i 1 n x2 i ( x i) = 2 σ2 n + (x) 2 n (x = i x) 2 = = var( ˆβ nσ 2 1 ) = σ 2ˆβ1 = n x2 i ( x i) = σ2 2 n (x i x) = 2 = = Při aplikacích se mnohdy také zajímáme o hodnotu β 0 + β 1 x, kde x je nějaké dané číslo, x min x i, max x i. Lze ukázat, že kde P(T d β 0 + β 1 x T h ) = 1 α, T d = ˆβ 0 + ˆβ 1 x t n 2,1 α 2 S T h = ˆβ 0 + ˆβ 1 x + t n 2,1 α 2 S 1 n (x x)2 + (xi x), (4) 2 1 (x x)2 + n (xi x). (5) 2 Oboustranný intervalový odhad hodnoty parametrické funkce β 0 +β 1 x pro dané x tvoří uspořádana dvojice statistik (T d, T h ). Dosazujeme-li do T d, T h různé hodnoty x min x i, max x i, dostaneme při spojitě se měnícím x tzv.pás spolehlivosti kolem regresní přímky. Tento pás má nejmenší šířku pro x = x, vzdaluje-li se x od x, šířka pásu roste. Určeme interval spolehlivosti pro x = 20. T d = ˆβ 0 + ˆβ 1 x t n 2,1 α 2 S 1 n T h = ˆβ 0 + ˆβ 1 x + t n 2,1 α 2 S (x x)2 + (xi x) = 2 + ( ) (x x)2 + n (xi x) = 2 = Marek, J.: Pravděpodobnost a matematická statistika 134

7 ( ) = Dosazujeme-li do T d, T h různé hodnoty x min x i, max x i, dostaneme při spojitě se měnícím x tzv.pás spolehlivosti kolem regresní přímky. Příklad 13.4 (mravenec průzkumník a vyšší teplota) Přepočtěte předchozí úlohu, když navíc uvažujte šesté měření při teplotě 30 C s naměřenou rychlostí mravence průzkumníka 140 m/hod. Najděte regresní přímku ˆβ 0 + ˆβ 1 x pro závislost rychlosti y mravence průzkumníka na teplotě okolí x. Určete index determinace. Zkonstruujte pás spolehlivosti pro regresní přímku a okolo regresní přímky. Při výpočtu užijte tabulek z předchozího příkladu. XIII Regrese 135

8 Příklad 13.5 (měření délky jednoho stupně zeměpisné délky) Okolo roku 1750 byla zorganizována měření délky oblouku poledníku s cílem potvrdit či vyvrátit hypotézy o tvaru Země jako rotačního elipsoidu. (Na měření v Římě se podílí Roger Joseph Boškovič na objednávku papeže Benedikta XIV.) Výsledky uvádí tabulka (délky oblouku jsou uváděny v toisích): i zem. poloha zem. šířka L x = sin 2 L délka oblouku y 1 Quito 0 0 0, Mys Dobré Naděje , Řím , Paříž , Laponsko , Marek, J.: Pravděpodobnost a matematická statistika 136

9 Výsledky uvádí tabulka i x i Y i x 2 i x i Y i Yi 2 Ŷ i e i e 2 i e e e e e e e = ˆβ 0 = Y i x2 i x i x iy i n x2 i ( x = i) = = ˆβ 1 = n x iy i x i Y i n x2 i ( x = i) == S( ˆβ 0, ˆβ 1 ) = Y 2 i ˆβ Y i ˆβ 1 x i Y i = ˆβ 0 + ˆβ 1 x = x S e = e+004, S 2 = S e e = n = e+003, S = XIII Regrese 137

10 Příklad: měření poledníku Test H 0 : β 1 = 0 proti H a : β 1 0 je založen na statistice T 1 = b 1 x2 i nx2 /s = / = Statistika T 1 > t n 3,1 α/2 = t 5 3,1 0.05/2 = Nulovou hypotézu zamítáme. Příklad 13.6 (mravenec průzkumník a vyšší teplota) Přepočtěte předchozí úlohu, když navíc uvažujte šesté měření při teplotě 30 C s naměřenou rychlostí mravence průzkumníka 140 m/hod. Najděte regresní přímku ˆβ 0 + ˆβ 1 x pro závislost rychlosti y mravence průzkumníka na teplotě okolí x. Určete index determinace. Zkonstruujte pás spolehlivosti pro regresní přímku a okolo regresní přímky. Při výpočtu užijte tabulek z předchozího příkladu. Výsledky uvádí tabulka i x i Y i x 2 i x i Y i Yi 2 Ŷ i e i e 2 i = ˆβ 0 = Y i x2 i x i x iy i n x2 i ( x = i) = = ˆβ 1 = n x iy i x i Y i n x2 i ( x = i) = = S( ˆβ 0, ˆβ 1 ) = Y 2 i ˆβ 0 Y i ˆβ 1 x i Y i = = ˆβ 0 + ˆβ 1 x = x Marek, J.: Pravděpodobnost a matematická statistika 138

11 S e = , S 2 = S e n 2 = = , S = Kvadratická regrese XIII.7 Věta. V modelu kvadratické regrese Y i = β 0 +β 1 +β 2 x 2 1+ɛ i lze odhad ˆβ získat opět z maticového vztahu ˆβ = (X X) 1 X Y, (6) 1 x 1 x 2 1 X = 1 x 2 x , X X = n xi x 2 i xi x 2 i x 3 i, (7) x 1 x n x 2 2 i x 3 i x 4 i n Yi X Y = xi Y i. x 2 i Y i Příklad 13.8 Uvažujme příklad mravenec průzkumník a vyšší teplota. Najděme kvadratickou aproximaci. XIII Regrese 139

12 V našem případě dostáváme X =, X X = , (8) X Y = ˆβ = 248, , ,5450 Pro reziduální součet čtverců platí S e = S(b 0, b 1, b 3 ) = e 2 i = Yi 2 b 0 Y i b 1 Pro odhad disperze pak platí s 2 = Se. n 3 V našem případě dostáváme Ŷ = x i Y i b 2 x 2 i Y i., S e = , s 2 = S e 6 3 = Proveďte také testy: a) H 0 : β 1 = 0 proti H a : β 1 0 b) H 0 : β 2 = 0 proti H a : β 2 0, c) H 0 : (β 1, β 2 ) = 0 proti H a : (β 1, β 2 ) 0. Test H 0 : β 2 = 0 proti H a : β 2 0 (test linearity regrese proti alternativě kvadratické regrese) je založen na statistice T 2 = b 2 = s 2 v = Statistika T 2 > t n 3,1 α/2 = t 6 3,1 0.05/2 = Nulovou hypotézu zamítáme. Test H 0 : (β 1, β 2 ) = 0 proti H a : (β 1, β 2 ) 0 je založen na statistice Z = 1 ( ) 1 ( ) 2s (b v11 v 1, b 2 2 ) 12 b1,. v 21 v 22 b 2 Statistika Z = > F 2,n 3,1 α = F 2,3, = Nulovou hypotézu zamítáme. Závěr: zamítáme hypotézu H 0 : (β 1, β 2 ) = 0. Marek, J.: Pravděpodobnost a matematická statistika 140

13 13.4. Regrese se dvěma nezávislými proměnnými Najděte odhady parametry β 0, β 1 a β 2 tak, aby platilo Y i = ˆβ 0 + ˆβ 1 x i + ˆβ 2 z i + ε i. XIII.9 Věta. V uvedeném modelu regrese se dvěma nezávisle proměnnými lze odhad ˆβ získat opět z maticového vztahu ˆβ = (X X) 1 X Y, (9) 1 x 1 z 1 X = 1 x 2 z 2..., X X = n xi zi xi x 2 i xi z i, (10) zi xi z 1 x n z i z 2 i n Yi X Y = xi Y i. zi Y i Příklad (savci) XIII Regrese 141

14 V našem případě dostáváme Pokusíme se u savců popsat závislost podílu tělesné vahy potomků po narození a váhy matky (ozn. Y, v %) na délce těla matky (ozn. x, v metrech) a době březosti (ozn. z, v měsících). i savec Y i x i z i 1. hraboš 53,00% 0,14 0,66 2. malý pes 30,00% 0,50 2,07 3. antilopa 10,00% 1,90 10,50 4. šimpanz 4,25% 1,30 8,30 5. plejtvák 1,00% 25,00 12,00 1 0,14 0,66 1 0,50 2,07 5,00 28,84 33,53 X = 1 1,90 10,50 1 1,30 8,30, X X = 28,84 630,57 331,87, (11) 33,53 331,87 327, ,00 12,00 X Y = 98,25 71,95 ˆβ = 49,9601 0, ,36 4,2448 prvky matice(x X) 1 ozn.v ij Pro reziduální součet čtverců platí S e = S( ˆβ 0, ˆβ 1 ) = e 2 i = Y 2 i β 1 x i Y 2 i β 2 z i Y 2 i. Pro odhad disperze pak platí s 2 = V našem případě dostáváme S e n Ŷ = , S e = , s 2 = S e 5 3 = Marek, J.: Pravděpodobnost a matematická statistika 142

15 Y = ˆβ 0 + ˆβ 1 x + ˆβ 2 z = 49, ,2003x 4,2448z. U ženy s výškou 165 cm, dostáváme odhad Ŷ = 49,9601+0, , = 12.08%, což je velký podíl tělesné váhy matky a dítěte odhad nasvědčuje na dvojčata. Pozn.: Při hledání odhadů neznámých parametrů regresni přímky je třeba vždy posoudit, zda lze opravdu závislost zvoleným modelem aproximovat. Realita může být mnohem složitější, závislá proměnná může být závislá na dalších faktorech. Snaha vše popsat vzorcem může vést k tragikomickým závěrům. Vhodnost modelu je možné ověřit pomocí vhodných testů. a) Test H 0 : β 1 = 0 proti H a : β 1 0 je založen na statistice T 1 = β 1 = s 2 v = Statistika T 1 < t n 3,1 α/2 = t 5 3,1 0.05/2 = Nulovou hypotézu nezamítáme. b) Test H 0 : β 2 = 0 proti H a : β 2 0 je založen na statistice T 2 = β 2 = 4,2448 s 2 v = Statistika T 2 < t n 3,1 α/2 = t 5 3,1 0.05/2 = Nulovou hypotézu nezamítáme. c) Test H 0 : (β 1, β 2 ) = 0 proti H a : (β 1, β 2 ) 0 je založen na statistice Z = 1 ( ) 1 ( ) 2s ( ˆβ 2 1, ˆβ v11 v 2 ) 12 ˆβ1,. v 21 v 22 ˆβ 2 Statistika Z = < F 2,n 3,1 α = F 2,2, = 19. Nulovou hypotézu nezamítáme. Závěr: nelze zamítnout hypotézu H 0 : (β 1, β 2 ) = 0. XIII Regrese 143

16 13.5. Regrese periodická funkce Příklad V tabulce jsou uvedeny průměrné měsíční teploty Y v Dunaji v Bratislavě. X i Y i Najděte aproximaci trigonometrickým polynomem prvního stupně ve tvaru Y i = β 0 + β 1 sin( π 6 x i) + β 2 cos( π 6 x i) + ɛ i i = 1,..., 12 Úlohu převedeme ne regresi se dvěma nezávislými proměnnými. Zavedeme substituci t i = sin( π 6 x i) a z i = cos( π 6 x i). V uvedeném modelu regrese se dvěma nezávisle proměnnými lze odhad ˆβ získat opět z maticového vztahu ˆβ = (X X) 1 X Y, (12) 1 t 1 z 1 1 sin( π X = 1 t 2 z 2... = ) cos( π) sin( π ) cos( π) t n z n 1 sin(2π) cos(2π) V našem případě X X = , X Y = (X X) 1 = , X Y = Odtud po dosazení dostáváme ˆβ = 10,3333 4,7704 7,6093 s 2 = S e n 3 = Y 2 i b 0 Y i b 1 t iy i b 2 z iy i n 3 = Marek, J.: Pravděpodobnost a matematická statistika 144

17 Regresní funkce je Y = sin( π 6 x) cos(π 6 x). a) Test H 0 : β 1 = 0 proti H a : β 1 0 je založen na statistice T 1 = β 1 = s 2 v 11 Statistika T 1 > t n 3,1 α/2 = t 12 3,1 0.05/2 = Nulovou hypotézu zamítáme. b) Test H 0 : β 2 = 0 proti H a : β 2 0 je založen na statistice T 2 = β 2 = s 2 v 22 Statistika T 2 > t n 3,1 α/2 = t 12 3,1 0.05/2 = Nulovou hypotézu zamítáme. c) Test H 0 : (β 1, β 2 ) = 0 proti H a : (β 1, β 2 ) 0 je založen na statistice Z = 1 ( ) 1 ( ) 2s ( ˆβ 2 1, ˆβ v11 v 2 ) 12 ˆβ1,. v 21 v 22 ˆβ 2 Statistika Z = > F 2,n 3,1 α = F 2,9, = Nulovou hypotézu zamítáme. Závěr: nelze zamítnout hypotézu H 0 : (β 1, β 2 ) = 0. XIII Regrese 145