II. Statistické metody vyhodnocení kvantitativních dat Gejza Dohnal

Transkript

1 Základy navrhování průmyslových experimentů DOE II. Statistické metody vyhodnocení kvantitativních dat Gejza Dohnal!

2 Testování statistických hypotéz

3 kvalitativní odezva kvantitativní chí-kvadrát test homogenity, kontingenční tabulka ano ano normální ne spojitá ne GLIM, K-W regrese, t-test, ANOVA regrese, Wilcoxon Kruskal-Wallis Friedman

4 Vícefaktoriální návrhy experimentů Kontingenční tabulka odezva má kvalitativní charakter: může nabývat r hodnot jeden kvalitativní faktor: může nabývat s hodnot, u nichž nemá smysl uspořádání provádíme N > r.s pozorování a sledujeme četnosti nij výsledky zapisujeme do tabulky o s řádcích a r sloupcích Testování v kontingenční tabulce: test hypotézy o nezávislosti znaků (test homogenity) test symetrie Test nezávislosti: testová statistika = Σ(pozorované - očekávané) očekávané označme: nij absolutní četnost v řádku i a sloupci j napozorovaná v experimentu mij očekávaná četnost v řádku i a sloupci j za platnosti hypotézy m ij = R is j N, kde Ri = součet četností v řádku i Sj = součet četností ve sloupci j Omezení: očekávané četnosti musejí být větší než 5! = rx sx (n ij m ij ) i=1 j=1 m ij testová statistika má chí-kvadrát rozdělení o (r-1)x(s-1) stupňů volnosti

5 Vícefaktoriální návrhy experimentů Kontingenční tabulka odezva má kvalitativní charakter: může nabývat r hodnot jeden kvalitativní faktor: může nabývat s hodnot, u nichž nemá smysl uspořádání provádíme N > r.s pozorování a sledujeme četnosti nij výsledky zapisujeme do tabulky o s řádcích a r sloupcích Příklad: Ovlivňuje barva očí Rh faktor? Provedeme 400 pozorování, jejichž výsledky jsou v tabulce napravo: Za předpokladu nezávislosti by (podle marginálních součtů) mělo platit: Chceme testovat hypotézu o tom, že barva očí neovlivňuje Rh faktor: => Na hladině významnosti 5% nebyla prokázána závislost mezi barvou očí a Rh faktorem.

6 Vícefaktoriální návrhy experimentů Kontingenční tabulka Příklad : Ovlivňuje složení krmiva schopnost otelení krav? odezva má kvalitativní charakter: dojde k otelení (ano) nebo nedojde (ne) dva kvantitativní faktory, každý na dvou úrovních: krmení s vysokým nebo nízkým obsahem energie nebo proteinů. To vytvoří celkem 4 kombinace = 4 řádky tabulky. Celkem bylo sledováno n = 100 zvířat. kombinace ano ne vysoká energie a vysoký protein vysoká energie a nízký protein 88 1 nízká energie a vysoký protein 75 5 nízká energie a nízký protein Pro celou tabulku: testová statistika má df = 3.1=3 (stupně volnosti) = 58, 549, 0,01(3) = 11, 3 Sloučíme-li řádky 1 + (vysoká energie) a (nízká energie), dostaneme tabulku x s df = 1 a testovou statistiku (efekt energie) en = 3, 080, 0,01(1) = 6, 63 Sloučíme-li řádky (vysoký protein) a + 4 (nízký protein), dostaneme tabulku x s df = 1 a testovou statistiku (efekt proteinu) prot =7, 709, 0,01(1) = 6, 63 Odečteme-li hodnoty chí-kvadrát energie a proteinu od celkového chí-kvadrátu, dostaneme efekt interakce en.prot = 18, 760.

7 Vícefaktoriální návrhy experimentů Kontingenční tabulka Test symetrie: hypotéza: n ij N = n ji N testová statistika = rx i=1 ix j=1 (n ij n ji ) n ij + n ji má chí-kvadrát rozdělení o r(r-1) stupňů volnosti Příklad: Dědí syn barvu očí otce? Bylo provedeno 1000 pozorování, jejichž výsledky jsou v tabulce napravo. Barva očí je zakódována: 1=sv.modrá, =modrozelená 3=tm.šedá nebo sv.hnědá, 4=tm.hnědá Dosazením do testové statistiky dostaneme hodnotu Kritická hodnota pro 6 stupňů volnosti a pro α=5% je barva očí otce = 19, 56 6(0, 05) = 1, 59 barva očí syna => Na hladině významnosti 5% nebyla prokázána shoda barvy očí otce a syna.

8 Vícefaktoriální návrhy experimentů Regresní model experimentu odezva má kvantitativní charakter: může nabývat hodnot z podintervalu reálné přímky lineární model regresní závislosti: Y = b0 + b1 X1 + b X + + bk Xk + ε Máme n pozorování: Y = (Y1, Y,, Yn) vektor pozorování odezvy X = (Xij), i =1,..,n, j =0,1,..,k matice (nx(k+1)) pozorování k faktorů β = (β0, β1,,βk) vektor (k+1) neznámých parametrů ε = (ε1,, εn) vektor náhodných odchylek (náhodná složka) obecný lineární model: Y = Xβ + ε Předpoklady lineárního modelu: 1) E(ε) = 0 => střední hodnota E(εi)=0 pro všechna i = 1,, n => E(Y) = Xβ ) rozptyl Var(εi)=σ je konstantní (nezávisí na i ) = homoskedaticita 3) Cov(εiεj)=0 pro všechna i j = 1,,, n => D(ε) = σ I = D(Y) 4) Matice X je nenáhodná 5) Hodnost matice X je k+1 6) náhodné veličiny εi mají normální rozdělení Pokud je některý z těchto předpokladů porušen, jedná se o zobecněný lineární model (GLM)

9 Vícefaktoriální návrhy experimentů Regresní model experimentu odhad parametrů metodou nejmenších čtverců: (X X)b = X Y => b = (X X) -1 X Y Platí: E(b) = β, D(b) = σ (X X) -1 lineární model pro jeden faktor: Y = X 0 X = Y 1 1 X A X A = Y n 1 X n P P n P xi xi x i X 0 Y = a b P P Yi xi Y i = Y = a + bx + ε 0 1 A n Ȳ = 1 n X Yi, x = 1 n X xi b 1 = P xi Y i n xȳ P x i n x, b 0 = Ȳ b 1 x s = P P P Y i b 0 Yi b 1 xi Y i n T 1 = b q 1 X Pro test hypotézy H0: x β1 = 0 použijeme testovou statistiku i n x s, která má t-rozdělení o (n-) stupních volnosti. s 1 (x x) Pro dané x je interval spolehlivosti predikce Y: b 0 + b 1 x ± t n ( )s + P n x i n x

10 Vícefaktoriální návrhy experimentů Regresní model experimentu odhad parametrů metodou nejmenších čtverců: (X X)b = X Y => b = (X X) -1 X Y Platí: E(b) = β, D(b) = σ (X X) -1 lineární model pro jeden faktor: Y = a + bx + ε

11 Vícefaktoriální návrhy experimentů Regresní model experimentu lineární model pro dva faktory: Y 1 1 X 1 Z 1 X 1 Z 1 Y X A Y n 1 X n Z n X n Z n 0 P P P 1 P n P xi P zi P xi z i X 0 X = B xi x i xi z i x P P P P i z zi xi z i z P P P i xi zi xi z i x i z i xi zi P x i zi Y = a + bx + cz + dxz + ε 0 1 a 0 A = Bb ca d C A X0 Y = 1... n 1 A 0 P P Yi B P xi Y P zi Y i xi z i Y i 1 C A

12 Srovnání dvou souborů dat Dvě nezávislá měření X : X 1,X,...,X n Y : Y 1,Y,...,Y m X s N(µ X, X) Y s N(µ Y, oba parametry v obou případech známe# známe střední hodnoty a neznáme rozptyly# známe rozptyly a neznáme střední hodnoty# žádný z parametrů neznáme Odhady středních hodnot: X = 1 n Odhady rozptylů: s X = 1 n 1 nx i=1 X i X (X X), s Y = 1 n 1 Y ) Ȳ = 1 m nx i=1 Y i X (Y Ȳ )

13 Srovnání dvou souborů dat Dvě nezávislá měření X : X 1,X,...,X n Y : Y 1,Y,...,Y m X s N(µ X, X) Y s N(µ Y, Y ) test shody rozptylů# test shody středních hodnot při stejných rozptylech# test shody středních hodnot při nestejných rozptylech Dvě závislá měření X : X 1,X,...,X n Y : Y 1,Y,..., Y n párová pozorování párový test shody středních hodnot

14 Srovnání rozptylů dvou nezávislých měření Liší se statisticky významně dvě nezávislá měření z hlediska velikosti rozptylu? Lze považovat rozptyl dvou nezávislých měření za shodný při dané hladině významnosti? nulová hypotéza :# alternativní hypotéza:# H 0 : H A : X = X 6= Y Y F-test testová statistika :# hladina významnosti: F = s X s Y Fisherovo-Snedecorovo rozdělení F(n-1, m-1) H0 nezamítneme, když pro dané bude# # F / (n 1,m 1) <F <F / (n 1,m 1)

15 Srovnání středních hodnot dvou nezávislých souborů dat - dvouvýběrový t-test Liší se statisticky významně dvě nezávislá měření z hlediska jejich střední hodnoty? Lze považovat střední hodnoty dvou nezávislých měření za shodné při dané hladině významnosti? Lze od sebe statisticky významně odlišit dvě nezávislá měření podle jejich jejich střední hodnoty? nulová hypotéza :# H 0 : µ X = µ Y alternativní hypotéza: testová statistika :# hladina významnosti: H A : µ X 6= µ Y T = X Ȳ s X Ȳ (oboustranná)#

16 Srovnání středních hodnot dvou nezávislých souborů dat - dvouvýběrový t-test nulová hypotéza :# alternativní hypotéza: testová statistika :# hladina významnosti: H 0 : µ X = µ Y H A : µ X 6= µ Y T = X Ȳ s X Ȳ (oboustranná)# pokud X = Y pokud X 6= Y dvouvýběrový t-test# se stejnými rozptyly dvouvýběrový t-test # s nestejnými rozptyly

17 Srovnání středních hodnot dvou nezávislých souborů dat - dvouvýběrový t-test pokud X = Y = ) s X Ȳ = s X + s Ȳ = s X n + s Y m = s 1 n + 1 m = s m + n n.m dále odhadneme s ze všech naměřených hodnot: s 1 X n mx = (X i X) + (Y i Ȳ ) = n + m i=1 i=1 1 (n 1)s X +(m 1)s Y tedy: n + m s X Ȳ = n + m nm(n + m ) (n 1)s X +(m 1)s Y

18 Srovnání středních hodnot dvou nezávislých souborů dat - dvouvýběrový t-test pokud X = Y = Testová statistika bude mít tvar: T = X p Ȳ (n 1)s X +(m 1)s Y r nm(n + m ) n + m ta má t-rozdělení (Studentovo rozdělení) pravděpodobnosti o (n+m-) stupních volnosti. H0 nezamítneme, když pro dané bude# T t (n + m ) kde t (n + m ) je (oboustranná) -kritická hodnota t-rozdělení o (n+m-) stupních volnosti.

19 Srovnání středních hodnot dvou nezávislých souborů dat - dvouvýběrový t-test Y pokud X 6= : Testová statistika bude mít tvar: X T = q Ȳ 1 n s X + 1 m s Y a má rozdělení, které je směsí t-rozdělení o (n-1) a (m-1) stupních volnosti. H0 nezamítneme, když pro dané bude splněna nerovnost T At (n 1) + Bt (m 1), kde A a B jsou váhy, A+B=1. A = 1 n s X 1 n s X + 1 m s Y, B = 1 m s Y 1 n s X + 1 m s Y

20 Srovnání párových souborů dat - párový t-test pozorování stejné veličiny před a po nějakém zásahu# měření stejných obektů za různých podmínek# měření stejné veličiny ve dvou různých časech#... X : X 1,X,...,X n X s N(µ X, Y : Y 1,Y,..., Y n Y s N(µ Y, X) Y ) ) Z 1 = X 1 Y 1, Z = X Y,..., Z n = X n Y n, Z s N(µ X µ Y, Z) H 0 : µ X = µ Y H A : µ X 6= µ Y H 0 : µ Z =0 H A : µ Z 6=0

21 Srovnání párových souborů dat - párový t-test H 0 : µ Z = a H A : µ Z 6= a T = Z s Z ap n T má t-rozdělení (Studentovo rozdělení) pravděpodobnosti o (n-1) stupních volnosti. H0 nezamítneme, když pro dané bude# T t (n 1) kde t (n 1) je (oboustranná) -kritická hodnota t-rozdělení o (n-1) stupních volnosti.

22 Jednostranné testy dolní nebo horní jednostranná alternativa : H 0 : µ X = µ Y H A : µ X <µ Y H 0 : µ X = µ Y H A : µ X >µ Y H0 nezamítneme, když pro dané bude buď# T< t (n 1) nebo# T>t (n 1) kde t (n 1) je (jednostranná) -kritická hodnota t-rozdělení o (n-1) stupních volnosti. oboustranná -kritická hodnota je (1 /)-kvantil# t 1 / (n 1) jednostranná -kritická hodnota je (1 ) -kvantil t 1 (n 1)

23 Příklady: Lze považovat délky tyčí od dvou různých dodavatelů za shodné na hladině významnosti 5%? Byly měřeny odchylky délky ocelových tyčí od požadované hodnoty 4m od dvou dodavatelů. Odchylky jsou uvedeny v cm. Dodavatel X: > x [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] [103] [109] [115]

24 Příklady: Lze považovat délky tyčí od dvou různých dodavatelů za shodné na hladině významnosti 5%? Byly měřeny odchylky délky ocelových tyčí od požadované hodnoty 4m od dvou dodavatelů. Odchylky jsou uvedeny v cm. Dodavatel Y: > y [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97]

25 Příklady: Lze považovat délky tyčí od dvou různých dodavatelů za shodné na hladině významnosti 5%? Byly měřeny odchylky délky ocelových tyčí od požadované hodnoty 4m od dvou dodavatelů. Odchylky jsou uvedeny v cm. 1) Vizualizace dat: Box&Whiskers diagram

26 Příklady: Lze považovat délky tyčí od dvou různých dodavatelů za shodné na hladině významnosti 5%? Byly měřeny odchylky délky ocelových tyčí od požadované hodnoty 4m od dvou dodavatelů. Odchylky jsou uvedeny v cm. ) Srovnání rozptylů: F-test > var.test(x,y) # F test to compare two variances # data: x and y F = 0.871, num df = 119, denom df = 99, p- value = alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: sample estimates: ratio of variances => nulovou hypotézu nezamítáme, rozptyly se statisticky významně neliší

27 Příklady: Lze považovat délky tyčí od dvou různých dodavatelů za shodné na hladině významnosti 5%? Byly měřeny odchylky délky ocelových tyčí od požadované hodnoty 4m od dvou dodavatelů. Odchylky jsou uvedeny v cm. 3) Srovnání středních hodnot: dvouvýběrový t-test se shodnými rozptyly > t.test(x,y, var.equal=t) # Two Sample t- test # data: x and y t = , df = 18, p- value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y => nulovou hypotézu nezamítáme, střední hodnoty se statisticky významně neliší

28 Příklady: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 1) Data: > pred_cvicenim [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] [103] [109] [115]

29 Příklady: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 1) Data: > po_cviceni [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] [103] [109] [115]

30 Příklady: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? ) Grafické zobrazení

31 Příklady: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 3) Rozdíly: > rozdil = pred_cvicenim - po_cviceni > rozdil [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] [103] [109] [115]

32 Příklady: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 4) Párový t-test: > t.test(rozdil, mu=0) # One Sample t- test # data: rozdil t = , df = 119, p- value = 9.54e- 05 alternative hypothesis: true mean is not equal to 0 95 percent confidence interval: sample estimates: mean of x => nulovou hypotézu zamítáme, cvičení mělo vliv a rychlost reakce se statisticky # významně zvýšila