Design Experimentu a Statistika - AGA46E

Transkript

1 Design Experimentu a Statistika - AGA46E Czech University of Life Sciences in Prague Department of Genetics and Breeding Summer Term 2015 Matúš Maciak (@ A 211) Office Hours: T 9:00 10:30 or by appointment 1 / 21

2 Strucne opakovani Zakladne problemy ve statistice Jednovyberove problemy bodovy odhad neznameho parametru; (nejcasteji neznamy parametr stredne hodnoty, nebo rozptylu) intervalovy odhad (interval spolehlivosti) pro neznamy parametr; (pro neznamy parametr stredne hodnoty, nebo parametr rozptylu) test hypotezy o neznamem parametru; (opet pro parametr stredne hodnoty nebo rozptylu) Dvouvyberove problemy srovnani dvou strednich hodnot (neznamych parametru µ 1 a µ 2 ); (pomoci bodoveho nebo intervaloveho odhadu, nebo statistickeho testu) srovnani dvou parametru rozptylu (neznamych parametru σ 2 1 a σ2 2 ); (pomoci bodoveho nebo intervaloveho odhadu, nebo statistickeho testu) 2 / 21

3 Strucne opakovani Uzitecne vzorce pro inferenci pro neznamy parametr stredne hodnoty (resp. srovnani dvou parametru) se znamym rozptylem: n X n µ σ N(0, 1) pro neznamy parametr stredne hodnoty (resp. srovnani dvou parametru) s neznamym rozptylem: X n µ n t n 1 s n pro neznamy parametr rozptylu σ 2 : (n 1)s 2 n σ 2 χ 2 n 1 pro srovnani rozptylu dvou nahodnych vyberu (σ 2 1 vs. σ 2 2): s n 2 1 /σ 2 1 s n 2 2 /σ 2 2 F n1,n 2 3 / 21

4 Strucne opakovani Tabulky kritickych hodnot N 4 / 21

5 Strucne opakovani Dvouvyberove problemy: rozptyl Je dulezite rozlisovat homoskedasticitny a heteroskedasticitny pripad. Avsak je mozne odhadovat rozptyl pouze pro heteroskedasticitny pripad a pouzit jej i pro homoskedasticitny pripad, avsak takovy rozptyl je hodne konzervativny. Opacny postup ale nelze aplikovat. pro pripad homoskedasticity (σ 2 1 = σ 2 2): σ 2 XY = (n1 1)s2 n 1 + (n 2 1)s 2 n 2 n 1 + n 2 2 ( ) n 1 n 2 pro pripad heteroskedasticity (σ 2 1 σ 2 2): σ 2 XY = s2 n 1 n 1 + s2 n 2 n 2 5 / 21

6 Strucne opakovani Dvouvyberove problemy: df Stupne volnosti (df ) specifikuji prislusne rozdeleni, tudiz je potrebne tyhle stupne volnosti porad korektne spocitat. Stejne tak ale existuji konzervativne pristupy. pro parove nahodne vybery = df = n 1; pro nezavisle nahodne vybery (homoskedasticita) = df = n + m 2; pro nezavisle nahodne vybery (heteroskedasticita) = ( ) snn s2 mm df sn 4 + s4 n 2 m (n 1) m 2 (m 1) 6 / 21

7 Strucne opakovani Jednovyberove problemy v R t.test() - zakladny prikaz pro interenci o neznamem parametru stredne hodnoty - parametr µ R; > t.test(sample1, mu = 178) 7 / 21

8 Strucne opakovani Jednovyberove problemy v R t.test() - zakladny prikaz pro interenci o neznamem parametru stredne hodnoty - parametr µ R; > t.test(sample1, mu = 178) automaticky spocte odhad pro neznamy parametr µ R; automaticky spocte testovu statistiku t; automaticky spocte prislusne stupne volnosti; automaticky spocte prislusnu p-hodnotu testu; automaticky spocte prislusny 95 % interval spolehlivosti; 7 / 21

9 Strucne opakovani Jednovyberove problemy v R t.test() - zakladny prikaz pro interenci o neznamem parametru stredne hodnoty - parametr µ R; > t.test(sample1, mu = 178) One Sample t-test data: sample t = , df = 49, p-value = alternative hypothesis: true mean is not equal to percent confidence interval: sample estimates: mean of x / 21

10 Strucne opakovani Dvouvyberove problemy v R t.test() - stejny prikaz take pro dvouvyberove problemy - pro vsechny diskutovane pripady; > t.test(sample1, sample2, paired = F, equal.var = F) 9 / 21

11 Strucne opakovani Dvouvyberove problemy v R t.test() - stejny prikaz take pro dvouvyberove problemy - pro vsechny diskutovane pripady; > t.test(sample1, sample2, paired = F, equal.var = F) automaticky spocte odhady pro nezname parametry µ 1, µ 2 R; automaticky spocte testovu statistiku t; automaticky spocte prislusne stupne volnosti; automaticky spocte prislusnu p-hodnotu testu; automaticky spocte prislusny 95 % interval spolehlivosti; 9 / 21

12 Strucne opakovani Dvouvyberove problemy v R t.test() - stejny prikaz take pro dvouvyberove problemy - pro vsechny diskutovane pripady; > t.test(sample1, sample2, paired = F, equal.var = F) Two Sample t-test data: sample1 and sample2 t = , df = 38, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y / 21

13 Strucne opakovani Srovnani dvou rozptylu v R var.test() - zakladny prikaz pro porovnani dvou rozptylu v R; > var.test(sample1, sample2) 11 / 21

14 Strucne opakovani Srovnani dvou rozptylu v R var.test() - zakladny prikaz pro porovnani dvou rozptylu v R; > var.test(sample1, sample2) automaticky spocte odhady pro nezname parametry σ1, 2 σ2 2 > 0; automaticky spocte testovu statistiku F ; automaticky spocte prislusne stupne volnosti; automaticky spocte prislusnu p-hodnotu testu; automaticky spocte prislusny 95 % interval spolehlivosti; 11 / 21

15 Strucne opakovani Srovnani dvou rozptylu v R var.test() - zakladny prikaz pro porovnani dvou rozptylu v R; > var.test(sample1, sample2) F test to compare two variances data: sample and sample2 F = , num df = 49, denom df = 49, p-value = alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: sample estimates: ratio of variances / 21

16 Vice-vyberove problemy (dva a vice vyberu z normalneho rozdeleni) 13 / 21

17 One-way ANOVA v obecnem pripade muzeme mit nekolik ruznych nahodnych vyberu (napr. J N nezavislych nahodnych vyberu): X 1,1, X 1,2,..., X 1,n1 N(µ 1, σ 2 ) X 2,1, X 2,2,..., X 2,n2 N(µ 2, σ 2 )... X J,1, X J,2,..., X J,nJ N(µ J, σ 2 ) technicky muzeme kazde pozorovani zapsat ekvivalentnym zpusobem jako X ij = µ j + ε ij = µ + α j + ε ij, pro ε ij N(0, σ 2 ) a j = 1,..., J, i = 1,..., n j; 14 / 21

18 One-way ANOVA v obecnem pripade muzeme mit nekolik ruznych nahodnych vyberu (napr. J N nezavislych nahodnych vyberu): X 1,1, X 1,2,..., X 1,n1 N(µ 1, σ 2 ) X 2,1, X 2,2,..., X 2,n2 N(µ 2, σ 2 )... X J,1, X J,2,..., X J,nJ N(µ J, σ 2 ) technicky muzeme kazde pozorovani zapsat ekvivalentnym zpusobem jako X ij = µ j + ε ij = µ + α j + ε ij, pro ε ij N(0, σ 2 ) a j = 1,..., J, i = 1,..., n j; opet nas zajima srovnani nahodnych vyberu vzhledem k jejich strednim hodnotam - parametrum µ 1,..., µ J, pro j = 1,..., J; 14 / 21

19 One-way ANOVA v obecnem pripade muzeme mit nekolik ruznych nahodnych vyberu (napr. J N nezavislych nahodnych vyberu): X 1,1, X 1,2,..., X 1,n1 N(µ 1, σ 2 ) X 2,1, X 2,2,..., X 2,n2 N(µ 2, σ 2 )... X J,1, X J,2,..., X J,nJ N(µ J, σ 2 ) technicky muzeme kazde pozorovani zapsat ekvivalentnym zpusobem jako X ij = µ j + ε ij = µ + α j + ε ij, pro ε ij N(0, σ 2 ) a j = 1,..., J, i = 1,..., n j; opet nas zajima srovnani nahodnych vyberu vzhledem k jejich strednim hodnotam - parametrum µ 1,..., µ J, pro j = 1,..., J; Muzeme vyuzit klasicky t-test a testovat jednotlive dvojice samostatne? Co se stane s pravdepodobnosti chyby prvniho druhu? 14 / 21

20 Mnohonasobne testovani V nekterych pripadech je mozne vyuzit ruzne korekce pro mnohonasobne testovani (nekolik nezavislych testu) za ucelem dodrzeni predem stanovene hladiny testu - hodnoty α (0, 1) - teda pravdepodobnosti chyby prvniho druhu. 15 / 21

21 Mnohonasobne testovani V nekterych pripadech je mozne vyuzit ruzne korekce pro mnohonasobne testovani (nekolik nezavislych testu) za ucelem dodrzeni predem stanovene hladiny testu - hodnoty α (0, 1) - teda pravdepodobnosti chyby prvniho druhu. Bonferroniho korekce - nejjednoduchsi a take nejkonzervativnejsi metoda pro kontrolu stanovene hladiny testu pri opakovanem testovani; (pro α (0, 1) a m nezavislych testu individualna hladina α = α m ) Benjamini Hochberg korekce Holm Bonferroni korekce Dunn Šidákova korekce 15 / 21

22 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

23 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

24 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

25 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

26 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

27 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

28 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

29 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

30 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

31 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

32 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

33 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

34 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

35 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

36 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

37 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

38 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

39 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

40 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

41 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

42 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy / 21

43 Srovnani vzhledem k rozptylum namisto porovnavani jednotlivych prumeru (vyberovych prumeru), porovnavame pouze rozptyly a srovnavame je; parametr rozptylu σ 2 > 0 (uvazujeme pouze homoskedasticitny pripad) je samozrejme neznamy... Jak muzeme odhadnout tento parametr na zaklade pozorovani? Total Sum of Squares: Within Group Sum of Squares: SST = J j=1 nj i=1 (X ij X n) 2 J SSW = j=1 nj i=1 (X ij X nj ) 2 J Between Group Sum of Squares: SSB = j=1 n i (X nj X n) 2 soucty ctvercu se take nazyvaji jako "total", "error" a "treatment"; prislusne stupne volnosti jsou n 1, n J a J 1, pro n = n n J ; Prumerny soucet ctvercu: soucet ctvercu podeleny poctem df ; k rozhodnute se pak pouziva = Fisher-Snedecor Distribution; 16 / 21

44 ANOVA pomoci softwaru R v programu R implementovana funkce anova(), ktera kompletne pocita analyzu rozptylu; 17 / 21

45 ANOVA pomoci softwaru R v programu R implementovana funkce anova(), ktera kompletne pocita analyzu rozptylu; > anova(lm(c(sample1,sample2) ~ c(rep(1, 20), rep(2,20)))) Analysis of Variance Table Response: c(sample1, sample2) Df Sum Sq Mean Sq F value Pr(>F) c(rep(1, 20), rep(2, 20)) Residuals / 21

46 ANOVA pomoci softwaru R v programu R implementovana funkce anova(), ktera kompletne pocita analyzu rozptylu; > anova(lm(c(sample1,sample2) ~ c(rep(1, 20), rep(2,20)))) Analysis of Variance Table Response: c(sample1, sample2) Df Sum Sq Mean Sq F value Pr(>F) c(rep(1, 20), rep(2, 20)) Residuals > sum((c(sample1, sample2) - mean(c(sample1, sample2)))^2) [1] > sum((mean(sample1) - mean(c(sample1, sample2)))^2) * 20 + sum((mean(sample2) - mean(c(sample1, sample2)))^2) * 20 [1] > sum((sample1 - mean(sample1))^2) + sum((sample2 - mean(sample2))^2) [1] / 21

47 F-test versus t test > t.test(sample1, sample2, var.equal = T, paired = F) Two Sample t-test data: sample1 and sample2 t = , df = 38, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y / 21

48 Two way ANOVA uvazujeme o neco komplexnejsi situaci, opet pro nekolik nahodnych vyberu z normalneho rozdeleni se stejnym rozptylem (homoskedasticita); X i,,jk = µ + α i + β j + ε i,j,k pro i = 1,..., I, j = 1,..., J a k = 1,..., n i,j; a pro nahodne chyby opet predpokladame nasledujci: ε ijk N(0, σ 2 ) a vzajemne jsou chyby nezavisle; 19 / 21

49 Two way ANOVA - Ctverce Total Sum of Squares: I J nij (X i=1 j=1 k=1 ijk X n) 2 Group α Sum of Squares: I i=1 J ni(x n i X n) 2 Group β Sum of Squares: J I nj(x j=1 n j X n) 2 J nij Error Sum of Squares: (X j=1 k=1 ijk X nij ) 2 i i=1 20 / 21

50 Pokracovani nabuduce... Klasicka linearni regrese; Nektere dalsi regresne modely; Uzitecne statisticke testy; Celkovy prehled a opakovani; 21 / 21