Regresní analýza. Eva Jarošová

Transkript

1 Regresní analýza Eva Jarošová 1

2 Obsah 1. Regresní přímka 2. Možnosti zlepšení modelu 3. Testy v regresním modelu 4. Regresní diagnostika 5. Speciální využití Lineární model 2

3 1. Regresní přímka 3

4 nosnost Jednoduchá regrese Studium závislosti jedné numerické veličiny (měřitelné na spojité stupnici) na jiné numerické veličině Scatterplot of nosnost vs průměr Zkoumání existence vztahu Popis vztahu pomocí modelu Odhad (předpověď ) Kalibrace průměr Hledání optimálních podmínek 4

5 Původ pojmu regrese Francis Galton zkoumání závislosti výšky synů na výšce otců y výška syna x výška otce y i = ,58 x i y i - 170,8 = 0,58 ( x i ) x = 176 y = 176,6 x = 156 y = 165 5

6 Regresní model y i i i střední hodnota proměnné Y v bodě x i funkce proměnné X chyba (náhodná složka) projev vlivů v modelu neuvažovaných Model regresní přímky y x i 0 1 i i 6

7 Interpretace parametrů ( x 1) x x x 1 7

8 nosnost Odhad parametrů 1300 Fitted Line Plot nosnost = - 569,5 + 6,898 průměr vyrovnaná hodnota pozorovaná hodnota průměr pozorovaná hodnota - vyrovnaná hodnota = reziduum minimum reziduálního součtu čtverců 8

9 Metoda nejmenších čtverců Reziduální součet čtverců (část variability závisle proměnné, která není vysvětlena modelem) n n n R i i i i 0 1 i i 1 i 1 i 1 S e (y Y ) (y b b x ) Hledání b 0 a b 1 tak, aby S R byl minimální S b R 0 0 S b R 1 0 Normální rovnice y nb b x i 0 1 i 2 i i 0 i 1 i x y b x b x 9

10 Odhad parametrů b n x y x y i i i i n xi xi b y i 0 b1 n n x i S x i y i xy i i x i 10

11 Výstup v Minitabu průměr 11

12 nosnost Graf regresní přímky Fitted Line Plot nosnost = - 569,5 + 6,898 průměr S 99,9008 R-Sq 75,8% R-Sq(adj) 72,8% průměr Nosnost svaru v závislosti na průměru, Duncan (1965) 12

13 pruhyb Přímka procházející počátkem 100 Plot of Fitted Model síla Určení modulu pružnosti plastické hmoty, Hátle, Likeš (1972) 13

14 Kvalita modelu, koeficient determinace celková variabilita proměnné Y (celkový součet čtverců) y n S (y y) i 1 i 2 variabilita proměnné Y vysvětlená modelem (teoretický součet čtverců) T n S (Y y) i 1 i 2 nevysvětlená část variability reziduální součet čtverců Platí S S S y T R n S (y Y ) R i i i 1 2 koeficient determinace (model s konstantou) R S S hodnoty z intervalu < 0 ; 1 > 2 T y 14

15 Výstup v Minitabu průměr 15

16 Kvalita modelu, směrodatná chyba odhadu průměr s S R n p 16

17 Odhad, předpověď Bodový odhad pro průměr 220 Y = -569,5 + 6, = 948,1 odhad střední hodnoty nosnosti při průměru 220 odhad nosnosti při průměru

18 nosnost Intervalový odhad Fitted Line Plot nosnost = - 569,5 + 6,898 průměr Regression 95% CI 95% PI S 99,9008 R-Sq 75,8% R-Sq(adj) 72,8% průměr

19 2. Možnosti zlepšení modelu 19

20 Příčiny nízké hodnoty koeficientu determinace Nevhodně zvolená vysvětlující proměnná (závislost neexistuje nebo je slabá) Nevhodně zvolený tvar modelu (závislost existuje, ale není lineární) Nejsou zařazeny všechny důležité vysvětlující proměnné (je třeba hledat další proměnné, které mají vliv na Y) 20

21 Neexistující závislost Cena notebooku vs hmotnost Y = x R 2 = 0,

22 dráha Nevhodný tvar modelu Fitted Line Plot dráha = - 20,13 + 3,142 rychlost S 11,7687 R-Sq 87,8% R-Sq(adj) 87,6% rychlost

23 Další modely lineární z hlediska parametrů ln x x x x x x x x Modely po transformaci, např. 0 1 ln ln xln

24 Regresní parabola x x 2 jedna vysvětlující proměnná v lineárním a kvadratickém tvaru speciální případ regresního polynomu ačkoli regresní funkce obsahuje kvadratický člen, je lineární v parametrech odhad parametrů metodou nejmenších čtverců 24

25 dráha Regresní parabola Y 1,580 0,4161x 0,06556x Fitted Line Plot dráha = 1, ,4161 rychlost + 0,06556 rychlost**2 S 9,92696 R-Sq 91,4% R-Sq(adj) 91,2% 2 zlepšení R 2 z 87,8 % na 91,4 % rychlost Y b b x b x

26 Nejsou zařazeny důležité vysvětlující proměnné Y 6,9595 0,2429x 1 Y 0,7559 0,20013 x1 0, x2 2 R 17,5 % R 86,9 % 2 26

27 Porovnání modelů s různým počtem parametrů Upravený koeficient determinace 2 2 n 1 Radj 1 (1 R ) n p x 1 : R 2 adj = 14,4 % p počet parametrů modelu x 1, x 2 R 2 adj = 85,9 % 27

28 3. Testy v regresním modelu 28

29 Ověření existence závislosti model y x i 0 1 i i t-test Testovaná hypotéza H 0 : (Y nezávisí na X) 1 0 Alternativní hypotéza H 1 : (Y závisí na X)

30 Testová statistika Postup při t-testu t b j s(b ) j směrodatná chyba odhadu, vyjadřuje přesnost odhadu Kritický obor W { t : t t 1 / 2 } Platí-li t t, zamítneme H 0. 1 / 2 t 1 / 2 kvantil t-rozdělení s (n p) stupni volnosti, n je rozsah výběrového souboru p je počet parametrů modelu (u přímky p = 2) 30

31 Využití p-hodnoty P-hodnota pravděpodobnost, že při platnosti testované hypotézy H 0 nabude testová statistika hodnoty svědčící ještě více v neprospěch H 0 než vypočtená hodnota testové statistiky Je-li p-hodnota menší než, H 0 zamítneme na hladině významnosti. Výhoda používání p-hodnoty: Ihned vidíme, jak silný důkaz proti platnosti H 0 máme. 0, 01 p 0, 05 slabší důkaz 0,001 p 0, 01 silnější důkaz p 0, 001 silný důkaz 31

32 Výstup v Minitabu průměr 32

33 Ověření existence závislosti model y x x i 0 1 i1 2 i2 i F-test Testovaná hypotéza H 0 : (Y nezávisí na žádné z vysvětlujících proměnných) Alternativní hypotéza H 1 : non H 0 (Y závisí alespoň na jedné z vysvětlujících proměnných) 33

34 Testová statistika Postup při F-testu ST p 1 SR n p p počet parametrů (zde p = 3 ) n rozsah výběrového souboru) F Kritický obor W { F : F F 1 } Platí-li F F 1, zamítneme H 0. F 1 - kvantil F rozdělení s (p 1) a (n p) stupni volnosti 34

35 Výstup v Minitabu 35

36 4. Regresní diagnostika 36

37 proud_o Zkoumání vhodnosti tvaru regresní funkce Fitted Line Plot proud_o = - 105,7 + 17,44 prasnost_o S 5,43780 R-Sq 98,2% R-Sq(adj) 98,1% prasnost_o Odlučovač popílku, opakovaná data 37

38 residual Graf rezidua vs vysvětlující proměnná 8 Residual Plot proud = -105, ,4394*prasnost prasnost 38

39 residual Rezidua vs vysvětlující proměnná 8 Residual Plot proud = -96, ,5851*prasnost prasnost 39

40 proud Zkoumání vhodnosti tvaru regresní funkce Fitted Line Plot proud = - 96, ,59 prasnost S 3,31370 R-Sq 99,2% R-Sq(adj) 99,1% prasnost Kalibrace filtru v odlučovači popílku, Vaněk 40

41 proud Volba jiné regresní funkce Fitted Line Plot proud = - 28,95-0,363 prasnost + 1,006 prasnost** S 2,22604 R-Sq 99,7% R-Sq(adj) 99,6% prasnost

42 residual Rezidua vs vysvětlující proměnná 4,3 Residual Plot 2,3 0,3-1,7-3, prasnost 42

43 Ověření předpokladů o náhodné složce Konstantní rozptyl (homoskedasticita) Nezávislost Normalita Důsledky zanedbání předpokladů vliv na přesnost odhadů na spolehlivost intervalového odhadu závěry t-testů a F-testu 43

44 residual Heteroskedasticita 8 Residual Plot proud = -105, ,4394*prasnost prasnost 44

45 Heteroskedasticita Zjišťování heteroskedasticity Grafy reziduí Testy (Bartlett, Levene, Glejser, Goldfeld-Quandt, Breusch-Pagan, ) Opatření Transformace, např. logaritmická Vážená metoda nejmenších čtverců 45

46 Residual ztráty Autokorelace Fitted Line Plot ztráty = 50,44 + 4,249 rok + 0,2311 rok** S 10,4268 R-Sq 99,1% R-Sq(adj) 99,1% Graf reziduí Residuals Versus the Order of the Data (response is ztráty) rok Ztráty při výrobě vody v letech , Zvára (1989) Observation Order Durbin-Watsonův test 46

47 Residual výroba Autokorelace Fitted Line Plot výroba = 327,7 + 20,31 rok + 0,7519 rok** S 15,1551 R-Sq 99,9% R-Sq(adj) 99,9% Residuals Versus the Order of the Data (response is výroba) rok Observation Order

48 ztráty Residual Autokorelace Fitted Line Plot ztráty = - 42,34 + 0,2633 výroba 400 S 9,26088 R-Sq 99,3% R-Sq(adj) 99,3% 20 Residuals Versus the Order of the Data (response is ztráty) výroba Observation Order Závislost ztrát na výrobě vody, Zvára (1989) Opatření: transformace (Cochran Orcutt) 48

49 ISC Longitudinální data Speciální případ závislosti (kromě autokorelace ještě závislost pozorování náležejících stejné jednotce) čas Degradace solárních článků, Kenett, Zacks (1998) Lineární model s náhodnými efekty 49

50 Percent Nesplněný předpoklad normálního rozdělení 99 Normal Probability Plot of the Residuals (response is ztráty) Residual Testy normality: např. Shapiro-Wilk Opatření: Transformace Zobecněný lineární model (gama model, logistická regrese) 50

51 nosnost Odlehlá a vlivná pozorování Fitted Line Plot nosnost = 285,5 + 2,958 průměr S 164,489 R-Sq 27,5% R-Sq(adj) 19,4% průměr Nosnost svaru, přidáno (300;900) 51

52 y y Důsledky přítomnosti vlivného pozorování Fitted Line Plot y = 0, , body_wt Fitted Line Plot y = 0, ,2346 dose 0,6 S 0, R-Sq 2,3% R-Sq(adj) 0,0% 0,6 S 0, R-Sq 5,2% R-Sq(adj) 0,0% 0,5 0,5 0,4 0,4 0,3 0,3 0, body_wt ,2 0,70 0,75 0,80 0,85 dose 0,90 0,95 1,00 52

53 53

54 54

55 55

56 56

57 5. Speciální využití 57

58 DOE Odezvové plochy hledání optimálních podmínek y x x x x x x Surface Plot of y vs x2; x1 8 y x x2 Chutnost koláče v závislosti na době a teplotě pečení, Weisberg (2005) 58

59 Y Kalibrace 100 Plot of Fitted Model 80 = (-6, ,42606*prasnost)^ , X 10,5418 (9,94168;11,1846) 59