Statistická analýza jednorozměrných dat

Transkript

1 Statistická analýza jednorozměrných dat Prof. RNDr. Milan Meloun, DrSc. Univerzita Pardubice, Pardubice 31.ledna 2011 Tato prezentace je spolufinancována Evropským sociálním fondem a státním rozpočtem České republiky. 1

2 Kapitola 6.1 STATISTICKÁ ZÁVISLOST 2

3 Nekorelovaná data 3

4 Pozitivní korelace Pokud však budeme měřit data v příliš malém intervalu, nemusí se závislost vůbec prokázat!! 4

5 Lineární závislost Když je jedna proměnná násobkem druhé, je pak možné jednu proměnnou z analýzy vyloučit, a to bez ztráty informace. 5

6 Cíl regresní analýzy Cílem regresní analýzy je nalezení vhodného modelu studované závislosti tak, že se snažíme nahradit každou měřenou (experimentální) hodnotu závisle proměnné y exp hodnotou vypočtenou (predikovanou) y vyp čili hodnotou ležící na spojité funkci (modelu) nezávisle proměnné x. 6

7 závisle proměnná Y Grafické vysvětlení měřené hodnoty modelové (vypočítané) hodnoty nezávisle proměnná X 7

8 Definice regresního modelu j m j m i i ij im n n nj nm i n j m i n y x x x x x x x x x x x x x y x y x x y X ε β y závisle nezávisle proměnná regresní náhodná proměnná parametry chyba y = X +

9 Geometrický význam 9

10 Vyčíslení odhadů parametrů regresního modelu metodou nejmenších čtverců n ˆ 2 yi - y i i=1 reziduum = min. 10

11 Geometrické znázornění kritéria U optimalizační problém v (m+1) rozměrném prostoru n 2 U = i=1 w i y exp y vyp,i minimum, kde y vyp,i = f(x i, β 1,, β m, p 1,, p m ) 11

12 Sčítání a odčítání vektorů 12

13 Metoda projekčních matic y vektor proměnné y P vektor predikce e vektor reziduí Cílem: minimální délka vektoru e = y y P délku vektoru vyjádříme D = e, e = n i=1 e i 2 Odhady modelových parametrů β minimalizují čtverec délky vektoru D 2 = n i=1,y i m j=1 x ij b j - = 2 y i y P,i n i=1 13

14 Důsledek Vektor rezieuí e je kolmý na všechny sloupce matice X, a proto odpovídající skalární součiny jsou nulové n x j, e = x ij i=1 a maticově X T e = 0 a dosazením e = y Xb bude X T y = X T Xb e i = 0, j = 1, m 14

15 Důsledek Odhad b minimalizující vzdálenost D má tvar b = X T X 1 X T y projekční matice H, pro kterou platí y P = Hy a pomocí vektoru b y = Xb = X X T X 1 Xy 15

16 Vlastnosti projekční matice H 1. Projekční matice H = X X T X 1 X T promítne libovolný vektor V do roviny L. 2. Pokud vektor V již leží v rovině L, platí HV = V. 3. Pokud je však vektor V kolmý na rovinu L, platí HV = 0, kde 0 je nulový vektor. 16

17 Vlastnosti projekční matice P Projekční matice P pro kolmou projekci do nadroviny L kolmé na nadrovinu L, má tvar P = E H kde E je jednotková matice Závěr: Rozklad vektoru y do dvou složek y = Hy + Py = y P + e Geometricky: vektor y byl rozložen na dva kolmé vektory 17

18 Předpoklady metody nejmenších čtverců 1. Parametry β mohou nabývat libovolných hodnot. Omezení jsou pouze fyzikálního smyslu. 2. Model je lineární v parametrech β; platí při tom aditivní model měření y = Xβ + ε 3. Matice X je nenáhodná, nastavitelných hodnot nezávisle proměnných. Má hodnost m: (a) žádné dva sloupce x i a x k nejsou kolineární (čili paralelní). (b) (X T X) je pak symetrická regulární matice. (c) Rovina L je m rozměrná a vektory X b jsou jednoznačné. 18

19 Předpoklady metody nejmenších čtverců 4. Náhodné chyby ε i mají nulovou střední hodnotu E ε i = 0. Je-li E ε i = K, je nutno zavést absolutní člen a pak bude E ε i = Náhodné chyby ε i mají konstantní rozptyl, homoskedasticita, E ε i 2 = σ Náhodné chyby ε i jsou vzájemně nekorelované, cov ε i, ε j = E ε i ε j = Náhodné chyby mají normální rozdělení ε N 0, σ 2. 19

20 závisle proměnná Homoskedasticita vs. heteroskedasticita závisle proměnná Homoskedasticita znamená, že hodnoty závisle proměnné y mají pro všechny hodnoty nezávisle proměnné x konstantní rozptyl, čili konstantní variabilitu-proměnlivost. malá variabilita hodnot y pro hodnotu x1 vysoká variabilita hodnot y pro hodnotu x2 nezávisle proměnná homoskedasticita x1 x2 nezávisle proměnná heteroskedasticita 20

21 Test homoskedasticity Pomocí testu trendu reziduí n D = R e i i 2 i + ρ s = 1 6 n 3 n D testujeme významnost Spearmanova korelačního koeficientu ρ s t R = ρ s n 2 1 ρ s 2 21

22 Pomocí Cookova - Weisbergova testu Vycházíme z předpokladu, že rozptyl naměřené hodnoty y i je určitou funkcí proměnné x i (např. exponenciální funkcí) n i=1 y i y e i 2 S f = 1 σ 4 n i=1 y i y Pravidlo: pokud v datech není heteroskedasticita, potom platí, že S f < χ 2 (1). 2 22

23 Využití vícenásobného korelačního koeficientu R R = TSC CSC = 1 RSC CSC Diskuze: = cos α = 1 n i=1 n i=1 e i 2 y i y 2 (a) R 0, pak platí H 0 : y P = J y čili H 0 : β = 0 23

24 Využití vícenásobného korelačního koeficientu R R 0, β = 0, všechny regresní koeficienty jsou rovny nule 24

25 Využití vícenásobného korelačního koeficientu R (b) R 1, pak platí H A : y P = X β čili H A : β 0 R 1, β 0 všechny regresní koeficienty jsou různé od nuly Testování R: H 0 : β = 0 čili R 2 = 0 vs. H A : β 0 čili R

26 Využití vícenásobného korelačního koeficientu R (CSC RSC)(n m) R 2 (n m) F R = = RSC(m 1) (1 R 2 )(m 1) v porovnání s F 1 α (m 1, n m) 26

27 Diskuze korelačního koeficientu R 1. R se blíží k nule: parametry regresního modelu kromě absolutního členu jsou rovny nule a platí model M R se blíží k ± 1: parametry...nejsou rovny nule a platí model M 1. U regresních modelů nelze použít R k posouzení linearity ani k posouzení kvality regresního modelu. 27

28 Koeficient determinace R 2 (x100%) Je čtverec vícenásobného korelačního koeficientu. Vyjadřuje procento bodů, popsaných regresním modelem. Testování: H 0 : β c = 0 nebo H 0 : R 2 = 0 Testační kritérium F-testu (CSC RSC)(n m) R 2 (n m) F R = = RSC(m 1) (1 R 2 )(m 1) Je-li F R < F 1 α (m 1, n m), je H 0 přijata. Významnost korelačního koeficientu je shodná s testem významnosti všech regresních koeficientů vyjma absolutního členu. 28

29 Příklad: Omezení klasické analýzy lineárního modelu Anscomb 5 uvádí testační data pro čtyři simulované výběry. Testujte statistickou významnost obou parametrů β 1 a β 2 a proveďte grafickou analýzu reziduí. Data: čtyři simulované výběry vykazují stejné charakteristiky b 1 = 0.5, b 2 = 3.0, D b 1 = , D b 2 =

30 Pokračování příkladu 30

31 Pokračování příkladu Řešení: Lineární regresní model E y x = β 1x + β 2 má pro všechny výběry a) stejné odhady parametrů: b 1 = 0.5, b 2 = 3.0, D b 1 = , D b 2 = , b) stejné testační charakteristiky významnosti parametrů: T 1 = a T 2 = 4.241, c) stejné testační charakteristiky: F R = 17.97, R 2 = 0.66, σ = ukazují, že β 1 a β 2 jsou významě odlišné od nuly. 31

32 Průběhy 32

33 Průběhy 33

34 Pokračování příkladu Závěr: Neshodu modelu s daty indukuje grafická analýza reziduí. 34

35 Konstrukce intervalů spolehlivosti Bodové odhady parametrů β mají pro praxi menší význam. Intervaly spolehlivosti (konfidenční intervaly), ve kterých leží teoretická hodnota β se zvolenou pravděpodobností 1 α. 35

36 Interval spolehlivosti parametrů β Pro hladinu významnosti α = 0.10, 0.05 nebo 0.01 odpovídají 90%ní, 95%ní nebo 99%ní intervaly spolehlivosti. α = 0.10 odpovídá 90%ní jistota α = 0.10 odpovidá 95%ní jistota α = 0.10 odpovídá 99%ní jistota 36

37 Interval spolehlivosti parametrů β Při zanedbání korelace mezi parametry lze odvodit α %ní jednoduché intervaly spolehlivosti parametru β j dle b j t α 1 n m σ c jj β j b j + t α 1 n m σ 2 2 kde c jj je j-tý diagonální prvek matice X T X 1, t 1 α 2 n m je kvantil Studentova rozdělení s (n m) stupni volnosti. Pro korelované parametry jsou jednoduché intervaly spolehlivosti příliš úzké. c jj 37

38 Extrémní intervaly spolehlivosti Jsou extrémy na elipsoidech spolehlivosti dle b j p c jj β j b j + d c jj Elipsoid spolehlivosti pro q regresních parametrů: jedná se o posledních q složek vektoru β α %ní hraniční elipsoid spolehlivosti platí b 2 β T 2 D 1 2 b 2 β 2 = qσ 2 F 1 α (q, n m) kde - matice D 2 rozměru (q q) vznikla z matice X T X 1 vynecháním prvních (m q) sloupců a (m q) řádků, - symbol β 2 značí vektor posledních q složek vektoru β 38

39 Interval spolehlivosti predikce y P,i α %ní interval spolehlivosti predikce y P,i v místě x 0 : b t α 1 n m s P0 x T 0 β x T 0 β + t α 1 n m 2 kde s P0 2 je rozptyl predikce 2 D y P0 = s P,0 = σ 2 x T 0 X T X 1 x α %ní pásy spolehlivosti (resp. konfidenční pásy): jsou nejužší v těžišti nezávisle proměnných x 0j = xj. 2 39

40 Scheffého metoda S pravděpodobností 1 α leží teoretická, čili pravdivá hodnota x T β v oblasti pásů x T b ± mf 1 α (m, n m)σ x T X T X 1 x a konfidenční pásy se nazývají pásy Workinga- Hottellinga. 40

41 Interval spolehlivosti regresních parametrů Vyjadřuje interval na číselné ose, ve kterém se s pravděpodobností 1 α vyskytuje neznámý parametr β základního souboru β j = b j ± tα 2,n m s b j Pravidlo: Pokud IS obsahuje nulu což znaží, že dolní hranice je záporná a horní kladná, je testovaný parametr β j statisticky nevýznamný. Směrodatné odchylky pro úsek a a směrnici b přímky: s a = s yx 1 + x 2 n 2 s2 s b = s xy x s x n 2 41

42 Interval spolehlivosti modelových hodnot JEDNA HODNOTA REGRESNÍHO MODELU (tyto hodnoty platí jen pro jeden konkrétní výběr, ze kterého byly vypočítány) IS jedné modelové hodnoty horní hranice IS dolní hranice IS Plocha, ve které se s pravděpodobností 1 - nacházejí všechny možné modely vypočítané z jakéhokoliv výběru pocházejícího z daného základního souboru 42

43 IS modelových hodnot Pro model přímky: Směrodatná odchylka reziduí μ y = y i ± tα 2,n 2 σ n n(x i x ) n x i x 2 i=1 Modelová hodnota Polovina IS modelu přímky 43

44 Test významnosti regresního modelu co testujeme? Y = b 0 + b 1 x 1 + b 2 x 2 + b 3 x b m x m Testuje se významnost odhadů jednotlivých parametrů: Test: Jestliže je testovaný odhad parametru statisticky nevýznamný, pak jeho příslušná proměnná x j nepřispívá ke zpřesnění odhadu závisle proměnné y a tato proměnná x j je v modelu zbytečná. Testuje se model jako celek: Test: zda příslušná kombinace všech nezávisle proměnných statisticky významně zpřesní odhad závisle proměnné y oproti použití pouhého průměru všech hodnot y. 44

45 Příklad: Validizace nové analytické metody Proveďte validizaci nové analytické metody porovmáním jejich výsledků y vůči standardům x. (a) určete odhady b 1 a b 2, (b) zkonstruujte 95%ní interval spolehlivosti úseku a směrnice, (c) 95%ní elipsoid spolehlivosti, (d) 95%ní interval spolehlivosti predikce v těžišti. Data: n = 24, m = 2 45

46 Pokračování příkladu Obsah látky určený standardní metodou (x) a novom metodou (y) v g 46

47 Pokračování příkladu (a) odhady b 1 a b 2 : - odhad úseku b 2 = (±12.61), - odhad směrnice b 1 = (±0.0302), - koeficient determinace R 2 = 0.974, - odhad směrodatné odchylky reziduí σ = (b) interval spolehlivosti úseku H 0 : β 2 = 0 vs. H A : β 2 0 b 2 t 1 α 2 22 D b 2 β 2 b 2 + t 1 α 2 22 D b 2 a dosazením β

48 Pokračování příkladu vyjde β Závěr testování: interval spolehlivosti úseku zahrnuje nulu, takže H 0 je přijata a úsek β 2 lze považovat za nulový. Interval spolehlivosti směrnice H 0 : β 1 = 1 vs. H A : β β a vyčíslením β

49 Pokračování příkladu Závěr testování: Interval spolehlivosti neobsahuje jedničku, takže H 0 je zamítnuta a směrnici β 1 nelze považovat za jednotkovou. (c) Konstrukce 95%ní elipsy spolehlivosti a bod β 1 = 1 a β 2 = 0: H 0 : β 2 = 0 a β 1 = 1 vs. H A : β 2 0 a β

50 Pokračování příkladu Závěr testování: 95%ní elipsa spolehlivosti neobsahuje bod *β 1 = 1; β 2 = 0+ a proto H 0 je zamítnuta. 50

51 Pokračování příkladu (d) Interval spolehlivosti predikce v těžišti: Pro případ regresní přímky a x i = x = je psát 2 D y P = s P,0 = σ 2 1 n x x + = σ2 n D n Dosazením η x

52 Pokračování příkladu Tedy η x Závěr testování: intervaly spolehlivosti predikce v těžišti vzchází poměrně široký. 52

53 Pokračování příkladu Závěr: Intervaly spolehlivosti indikují, že úsek regresní přímky lze považovat za nulový β 2 = 0, zatímco směrnice β 1 je výrazně odlišná od jedničky. Nová analytická metoda vede k odlišným výsledkům od standardní. 53

54 Kapitola 6.2 PODSTATNÉ TESTY VÝZNAMNOSTI V KORELAČNÍ A REGRESNÍ ANALÝZE 54

55 Podstatné testy významnosti v korelační a regresní analýze test významnosti korelačního koeficientu test významnosti modelu jako celku test významnosti jednotlivých regresních parametrů test shody lineárních regresních modelů a mnoho dalších testů 55

56 Test významnosti R Test významnosti odpovídá, zda je korelace R mezi výběrovými proměnnými natolik silná, abychom ji mohli považovat za prokázanou i pro základní soubor ρ. Pro párový R: t R = R Pro násobný R: F R = proměnných n 2 1 R 2 R2 (n m) (1 R 2 )(m 1) t α,n 2 n je počet hodnot výběru t α,n m m je počet Pro parciální R: t R = R n k 2 t 1 R 2 α,n k 2 k je počet vyloučených proměnných 56

57 Test významnosti regresního modelu co testujeme? Y = b 0 + b 1 x 1 + b 2 x 2 + b 3 x b m x m Testuje se významnost odhadů jednotlivých parametrů: Test: Jestliže je testovaný odhad parametru statisticky nevýznamný, pak jeho příslušná proměnná x j nepřispívá ke zpřesnění odhadu závisle proměnné y a tato proměnná x j je v modelu zbytečná. Testuje se model jako celek: Test: zda příslušná kombinace všech nezávisle proměnných statisticky významně zpřesní odhad závisle proměnné y oproti použití pouhého průměru všech hodnot y. 57

58 Test významnosti regresních parametrů H 0 : β j = 0, tj. j-tý regresní parametr je nevýynamný t = b j β j s b pro β j = 0 t = b j s b Pokud platí, že t > t α2 ;n m, potom je j-tý regresní parametr statisticky významný a příslušná proměnná musí zůstat v modelu. 58

59 Test shody regresních modelů Shoda dvou empirických modelů H 0 : β j,1 = β j,2, tj. regresní koeficienty obou modelů jsou v základním souboru shodné. Vycházíme z testování shody regresních parametrů dvou lineárních modelů y 1 = X 1 β 1 + ε 1 a y 2 = X 2 β 2 + ε 2. Při tomto testu využijeme tzv. složeného modelu, tj. oba porovnávané výběry sloučíme do jednoho a také pro něj stanovíme parametry stejného modelu jako pro oba dílčí výběry 59

60 Testy složených hypotéz H 0 : β 2 = 0, proti H 0 : β 2 0 kde β 2 je posledních q prvků vektoru β, užijeme regresní model v děleném tvaru. y = X 1 X 2 β 1 β 2 + ε = X 1 β 1 + X 2 β 2 + ε kde X 1 je n (m q), obsahující vysvětlující proměnné, jejichž regresní koeficienty nejsou v testovaném vektoru β 2. X 2 je n q, obsahující vysvětlující proměnné, jejichž regresní koeficienty jsou v testovaném vektoru β 2. 60

61 Testy složených hypotéz a) Pokud platí H 0, je y P,1 = X 1 b 1, kde b 1 = X T 1 X 1 X T 1 y a odpovídající reziduální součet čtverců je RSC 1 = y y P,1 T y yp,1 b) Pokud platí H A, je u P = Xb, kde b = X T X X T y a odpovídající reziduální součet čtverců je RSC = y y P T y y P 61

62 Testy složených hypotéz Rozdíl (RSC 1 RSC) odpovídá zvýšení reziduálního součtu a testuje se F 1 = (RSC 1 RSC)(n m) RSC q vs. F 1 α (q, n m) 62

63 Příklad Simultánní test složené hypotézy u LB zákona U přímky LB zákona testujte H 0 : β 2 = 0, β 1 = proti H A : β 2 0, β Nesprávný přístup spočívá v odděleném testování dvou nulových hypotéz H 0 : β 2 = 0, H 0 : β 1 = Řešení: Dosazením T 2 = = T 1 = =

64 Pokračování příkladu 1. Obě kritéria jsou menší než t (4) = a testování vede k nesprávnému závěru přijmutí hypotézy H 0 : β 2 = 0, β 1 = Správnější přístup spočívá v simultánním testování složené hypotézy H 0 : β 2 = 0, β 1 =

65 Konstrukce 95%ní oblasti spolehlivosti Křížkem je vyznačen bod β 2 = 0, β 1 =

66 Postup a) RSC = s využitím skutečných odhadů b 1 = a b 2 = b) RSC 1 = s využitím předpokládaných hodnot parametrů β 2 = 0, β 1 = Dosazením do testačního kritéria bude F 1 = ( ) = Jelikož F 1 > F ,4 = 6.944, je H 0 : β 2 = 0, β 1 = zamítnuta. 66

67 Pokračování 95%ní konfidenční elipsoid parametrů β 1 a β 2 ukazuje, že bod β 1,0 = 0.148, β 2,0 = 0 leží mimo 95%ní oblast spolehlivosti. Závěr: Zásadně nelze nahradit simultánní testování složené hypotézy dílčími testy oddělených hypotéz. 67

68 Příklad: Validizace simultánním testem složené hypotézy Testujte složenou hypotézu H 0 : β 2 = 0, β 1 = 1 u validizace nové analytické metody proti H A : β 2 0, β 1 1. Řešení: RSC = 3440 a dosazením β 1,0 = 1 a β 2,0 = 0 vyjde RSC 1 = Testační kritérium ( ) 22 F 1 = = je větší než F = 3.44, takže H 0 je zamítnuta. 68

69 Pokračování příkladu 69

70 Pokračování příkladu Závěr: I simultánní test složené hypotézy H 0 : β 2 = 0, β 1 = 1 potvrdil, že nová analytická metoda není shodná se standardní metodou. 70

71 Porovnání regresních přímek A B C D 71

72 Porovnání regresních přímek Porovnáním M navržených regresních modelů y ij = β 2j + β 1j x ij + ε ij j = 1,, M; i = 1,, n j Postup: 1. krok: vyčíslení β 2j, β 1j, σ 2 j, j = 1,, M 2. krok: test homskedasticity σ 2 j = σ 2, j = 1,, M 3. krok: testování, zda-li a) regresní přímky mají společný průsečík, b) regresní přímky mají společnou směrnici, c) regresní přímky jsou totožné. 72

73 Test homoskedasticity (Bartlettův test) H 0 : σ j 2 = σ 2, j = 1,, M, se stupni volnosti v j = (n j m), pro přímku m = 2 Celkový počet stupňů volnosti V = L = 1 + M j=1 v j 1 3M 3 M j=1 V 1 v j 73

74 Sdružený odhad rozptylu M v j σ j 2 σ 2 c = j=1 je vážená kombinace odhadů rozptylu V jednotlivých modelů. Testační kritérium Bartlettova testu B = V ln σ c 2 M j=1 2 v j ln σ j L 2 Test: Je-li B < χ 1 α M 1, je H 0 přijmuta (homoskedasticita). K porovnání dvou přímek (skupin bodů), M = 2, stačí testační kritérium F 2 = max(σ 1 2,σ 2 2 ) min(σ 1 2,σ 2 2 ) 74

75 Test homogenity úseků H 0 : β 21 = β 22 = = β 2j = = β 2M = β 2c, Sdružený odhad úseku β 2c je vážená kombinace odhadů jednotlivých úseků M j=1 w Bj b 2j b 2c = M j=1 w Bj kde j-tý váhový koeficient w Bj úseku j-té přímky w Bj = n j n j x ij xj i=1 n j 2 x i=1 ij 2 75

76 Testační statistika F-testu kde n = F I = M j=1 n j 1 M M 1 j=1 1 n 2M w B,j b 2j b 2c 2 M j=1 n j i=1 e ij 2 76

77 Rezidua e ij jsou určována z jednotlivých přímek a platí M j=1 n j i=1 e ij 2 M = RSC j j=1 kde RSC j je reziduální součet čtverců v j-té skupině. Test: Je-li F I < F 1 α (M 1, n 2M), je H 0 přijata a všechny přímky mají stejný úsek. Nejlepším odhadem společného úseku je b 2c a jeho rozptyl je, 77

78 D b 2c = σ 2 w Bj M j=1 = 1 n 2M M j=1 M j=1 w Bj n j i=1 e ij 2 78

79 Test homogenity směrnic (test rovnoběžnosti regresních přímek) H 0 : β 11 = β 12 = = β 1j = = β 1M = β 1c, Sdružený odhad celkové směrnice β 1c je vážená kombinace jednotlivých směrnic β 1j dle M j=1 w Sj b 1j b 1c = kde w Sj = n j i=1 x ij xj 2 M j=1 w Sj 79

80 Test homogenity směrnic (test rovnoběžnosti regresních přímek) Testační statistika F-testu 1 M 1 F S = M j=1 1 w S,j b 1j b 1c 2 M j=1 n j i=1 n 2M Test: Je-li F S < F 1 α (M 1, n 2M), H 0 je přijata a regresní přímky jsou rovnoběžné. Nejlepším odhadem celkové směrnice je b 1c a její rozptyl je D b 1c = 1 n 2M M n j j=1 e ij 2 i=1 M j=1 w Sj e ij 2 80

81 Test shody regresních přímek H 0 : β 2j = β 2c, β 1j = β 1c, j = 1,, M, je kombinací předchozích testů Testační statistika F A = kde RSC C = M j=1 RSC j RSC K RSC C 2M 2 RSC C n 2M Test: Je-li F A < F 1 α (2M 2, n 2M), je H 0 přijata a všechny regresní přímky jsou totožné se společným odhadem úseku a b 2K směrnice b 1K. 81

82 Test shody dvou lineárních modelů test shody parametrů β 1 a β 2 dvou lineárních modelů y 1 = X 1 β 1 + ε 1 RSC 1 y 2 = X 2 β 2 + ε 2 RSC 2 kde X 1 rozměru (n 1 m), y 1 rozměru (n 1 1), kde X 2 rozměru (n 2 m), y 2 rozměru n 2 1. y 1 y 2 = X 1 X 2 β + ε 1 ε 2 RSC 82

83 Chowův test shody dvou lineárních modelů H 0 : β 1 = β 2 vs. H A : β 1 β 2 Testační kritérium F c = (RSC RSC 1 RSC 2 )(n 2m) (RSC 1 + RSC 2 )(m) kde n = n 1 + n 2. Testování: (a) při homoskedasticitě σ 1 2 = σ 2 2 : F c vs. F(m, n 2m), (b) při heteroskedasticitě σ 1 2 σ 2 2 : F c vs. F(m, r), kde r = n 1 m σ n 2 m σ n 1 m σ n 2 m σ

84 Příklad 6.14 Porovnání výsledků měření ze dvou laboratoří Stanovení volné enthalpie ΔG i par oxidu boritého v závislosti na teplotě T[K] bylo provedeno paralelně be dvou laboratořích. Je možné hodnoty naměřené v obou laboratořích považovat za shodné? Data: n = 6, m = 2 84

85 Pokračování příkladu Řešení: Lineární regresní model pro obě skupiny dat E ΔG = β T 1,A T + β 2,A E ΔG T = β 1,B T + β 2,B Chowův test H 0 : β A = β B vs. H A : β A β B kde β A = β 1,A, β 2,A T a βb = β 1,B, β 2,B T. 85

86 Pokračování příkladu 86

87 Pokračování příkladu Dosazením za RSC = RSC c, RSC 1 = RSC A a RSC 2 = RSC B do testačního kritéria Chowova testu F c = (RSC RSC 1 RSC 2 )(n 2m) (RSC 1 + RSC 2 )(m) bude ( )(12 4) F c = = ( )(2) Data A se od B liší v rozptylu, budou stupně volnosti dle r = =

88 Pokračování příkladu 88

89 Pokračování příkladu Test: Jelikož F ,4 Závěr: = 6.94 > F c, je H 0 : β A = β B přijata. Chowovým testem je prokázáno, že výsledky v obou laboratořích A a B jsou shodné. 89

90 Příklad 6.15 Porovnání dvou kalibračních přímek Dva preparáty insulinu A a B byly vyšetřovány s ohledem na snížení úrovně krevního cukru. 11 krysám byl naočkován insulin A a 9 krysám pak insulin B. Porovnejte, zda účinek obou insulinů je shodný. Data: množství insulinu x [μl] a snížení hladiny cukru y[%] 90

91 Pokračování příkladu Řešení: Pro insulin A platí y A = ± ± x RSC A = a σ = Pro insulin B platí y A = ± ± x RSC A = a σ = 3.26 Pro sloučené obě skupiny C = A + B platí y c = ± ± x RSC c =

92 Pokračování příkladu Dosazením do testačního kritéria ( )(20 4) F c = = Test: Jelikož F ,16 = 3.63 < F c, je H 0 zamítnuta a působení obou insulinů je rozličné. 92

93 Pokračování příkladu Závěr: Oba vyšetřované typy insulinu působí odlišně. 93

94 Testy vhodnosti lineárního modelu 1. Test vhodnosti lineárního modelu f x, β = Xβ dle Uttsové: H 0 : lineární model vs. H A : nelineární model 94

95 RSC 1 regresí s využitím n 1 bodů, RSC regresí s využitím n bodů. Testační kritérium F U = (RSC RSC 1)(n 1 m) RSC 1 (n n 1 ) Uttsová: volit n 1 n/2 a body co nejblíže k těžišti Test: Je-li F U < F 1 α (n n 1, n 1 m), je H 0 přijata. 95

96 Test kvadratického členu H 0 : β 2 = 0 (test významnosti β 2 ) E y/x = β 1 x + β 2 x 2 + β 3 RSC K pro kvadratický model RSC L pro lineární model Testační kritérium linearity Test: Je-li F L < F 1 α F L = (RSC L RSC K )(n 3) RSC K (1) 1, n 3, je H 0 přijata. 96

97 Linearita testem všech charakteristik a) střední kvadratická chyba predikce n MEP = 1 y n i x T 2 i b i i=1 kde b i je odhad, určený ze všech bodů kromě i-tého. Platí vztah MEP = 1 n n i=1 e i 2 1 H ii 2 pro velké n jsou prvky H ii 0 a MEP = RSC n. 97

98 Linearita testem všech charakteristik b) Predikovaný koeficient determinace R 2 n MEP P = 1 y 2 i ny n i=1 c) Akaikovo informační kritérium AIC = n ln RSC n + 2m nejvhodnější model má AIC minimální. 98

99 Hodnocení kvality regresního modelu Střední kvadratická chyba predikce (MEP) MEP = 1 n 1 H 2 ii i=1 kde e 2 i je čtverec reziduí modelu a H ii je i-tý diagonální prvek projekční matice H. Akaikovo informační kritérium (AIC) AIC = n ln RSC n n e i 2 + 2m kde RSC je reziduální součet čtverců a m je počet parametrů. Čím je AIC (MEP) menší, tím je model vhodnější. 99

100 Příklad 6.16 Výběr ze tří polynomických regresních modelů Regresní analýzou dat vyšetřete, zda místo kvadratického modelu by lépe vyhovoval polynom třetího, nebo pátého stupně. Řešení: a) polynom třetího stupně MEP, R P 2 a AIC indikují polynom třetího stupně jako nejvhodnější y P = ± ±0.485 x ± x ± x 3 Přičemž odhady všech tří parametrů vycházejí statisticky významné. 100

101 Pokračování příkladu b) polynom pátého stupně: všechny parametry β kromě β 3 vycházejí statisticky nevýznamné, protože se zde projevuje multikolinearita. Tabulka 6.3 Rozlišení stupně regresního polynomu statistikami MEP, R P 2, R 2 a AIC 101

102 Pokračování příkladu 102

103 Pokračování příkladu 103