Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc.

Transkript

1 Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz

2 Pravděpodobnost a matematická statistika týden ( ) Data, typy dat, variabilita, frekvenční analýza (histogramy, četnosti absolutní, relativní, prosté, kumulativní), základní statistické charakteristiky (průměr, výběr.rozptyl, minimum, maximum, medián, kvartily, boxplot), sešikmenná rozdělení (vzájemná poloha mediánu a střední hodnoty), chvosty, kvantily. týden ( ) Princip statistické indukce, výběr, vlastnosti výběru, experiment. Náhodná veličina, rozdělení pravděpodobnosti a jeho souvislost s histogramem. Pravděpodobnost, pravidla pro počítání s pravděpodobností, podmíněná pravděpodobnost, závislost náhodných veličin. 3.týden ( ) Využití závislosti při stanovení pravděpodobnosti - věta o úplné pravděpodobnosti a Bayesova věta 4.týden ( ) Rozdělení chyb měření - normální rozdělení a počítání s ním. Odhady parametrů normálního rozdělení. Intervaly spolehlivosti pro normální data. Jednovýběrové testy o střední hodnotě 5.týden ( ) Výběrový poměr jako odhad pravděpodobnosti sledovaného jevu. Alternativní rozdělení, binomické rozdělení. Intervalový odhad výběrového poměru. Výběry s vracením a bez vracení (binomické a hypergeometrické rozdělení) 6.týden ( ) odpadá 7.týden ( ) Poruchy v čase (Poissonův proces). Poissonovo rozdělení, exponenciální rozdělení, jeho výhody a nevýhody, modelování doby do poruchy pomocí Weibullova rozdělení, lognormálního rozdělení, případně useknuté normální rozdělení. 8.týden ( ) Testy dobré shody, Q-Q graf (pouze vysvětlení), testy normality. Některé neparametrické testy 9.týden ( ) Dvě náhodné veličiny - srovnání dvou výběrů (dvouvýběrové testy) 10. týden ( ) Dvě náhodné veličiny. Dvourozměrné četnosti jako odhad dvourozměrného rozdělení, frekvenční tabulka. Marginální rozdělení (vše pouze diskrétně s tabulkou) 11. týden ( ) Závislost náhodných veličin, míry závislosti (kovariance, korelace), test významnosti korelačního koeficientu 1. týden ( ) Regrese, lineární regresní model (přímková, kvadratická, polynomická regrese), analýza reziduí, pásy spolehlivosti 13. týden ( ) Více výběrů, jednoduché třídění, ANOVA. 14. týden ( ) Rezerva, opakování, testy normality (náhrada za 8.10.)

3 Dvě nezávislá měření X : X 1,X,...,X n Y : Y 1,Y,...,Y m X s N(µ X, X) Y s N(µ Y, oba parametry v obou případech známe# známe střední hodnoty a neznáme rozptyly# známe rozptyly a neznáme střední hodnoty# žádný z parametrů neznáme Odhady středních hodnot: X = 1 n Odhady rozptylů: s X = 1 n 1 nx i=1 X i X (X X), s Y = 1 n 1 Y ) Ȳ = 1 m nx i=1 Y i X (Y Ȳ )

4 Dvě nezávislá měření X : X 1,X,...,X n Y : Y 1,Y,...,Y m X s N(µ X, X) Y s N(µ Y, Y ) test shody rozptylů# test shody středních hodnot při stejných rozptylech# test shody středních hodnot při nestejných rozptylech Dvě závislá měření X : X 1,X,...,X n Y : Y 1,Y,..., Y n párová pozorování párový test shody středních hodnot

5 1) Srovnání rozptylů dvou nezávislých měření Liší se statisticky významně dvě nezávislá měření z hlediska velikosti rozptylu? Lze považovat rozptyl dvou nezávislých měření za shodný při dané hladině významnosti? nulová hypotéza :# alternativní hypotéza:# H 0 : H A : X = X 6= Y Y F-test testová statistika :# hladina významnosti: F = s X s Y Fisherovo-Snedecorovo rozdělení F(n-1, m-1) H0 nezamítneme, když pro dané bude# # F / (n 1,m 1) <F <F / (n 1,m 1)

6 ) Srovnání středních hodnot dvou nezávislých& měření Liší se statisticky významně dvě nezávislá měření z hlediska jejich střední hodnoty? Lze považovat střední hodnoty dvou nezávislých měření za shodné při dané hladině významnosti? Lze od sebe statisticky významně odlišit dvě nezávislá měření podle jejich jejich střední hodnoty? nulová hypotéza :# - Dvouvýběrový t-test H 0 : µ X = µ Y alternativní hypotéza: testová statistika :# hladina významnosti: H A : µ X 6= µ Y T = X Ȳ s X Ȳ (oboustranná)#

7 ) Srovnání středních hodnot dvou nezávislých& měření - Dvouvýběrový t-test nulová hypotéza :# alternativní hypotéza: testová statistika :# hladina významnosti: H 0 : µ X = µ Y H A : µ X 6= µ Y T = X Ȳ s X Ȳ (oboustranná)# pokud X = Y pokud X 6= Y dvouvýběrový t-test# se stejnými rozptyly dvouvýběrový t-test # s nestejnými rozptyly

8 ) Srovnání středních hodnot dvou nezávislých& měření - Dvouvýběrový t-test pokud X = Y = ) s X Ȳ = s X + s Ȳ = s X n + s Y m = 1 = s n + 1 m + n = s m n.m dále odhadneme s ze všech naměřených hodnot: s 1 X n mx = (X i X) + (Y i Ȳ ) = n + m i=1 i=1 1 (n 1)s X +(m 1)s Y tedy: n + m s X Ȳ = n + m nm(n + m ) (n 1)s X +(m 1)s Y

9 ) Srovnání středních hodnot dvou nezávislých& měření - Dvouvýběrový t-test pokud T = X = Y, testová statistika bude mít tvar: X p Ȳ r nm(n + m ) (n 1)s X +(m 1)s n + m Y ta má t-rozdělení (Studentovo rozdělení) pravděpodobnosti o (n+m-) stupních volnosti. H0 nezamítneme, když pro dané bude# T t (n + m ) kde t (n + m ) je (oboustranná) -kritická hodnota t-rozdělení o (n+m-) stupních volnosti.

10 ) Srovnání středních hodnot dvou nezávislých& měření - Dvouvýběrový t-test pokud X 6= Y, testová statistika bude mít tvar: X T = q Ȳ 1 n s X + 1 m s Y a má rozdělení, které je směsí t-rozdělení o (n-1) a (m-1) stupních volnosti. H0 nezamítneme, když pro dané bude splněna nerovnost T At (n 1) + Bt (m 1), kde A a B jsou váhy, A+B=1. A = 1 n s X 1 n s X + 1 m s Y, B = 1 m s Y 1 n s X + 1 m s Y

11 3) Párový test shody středních hodnot dvou & závislých měření pozorování stejné veličiny před a po nějakém zásahu# měření stejných obektů za různých podmínek# měření stejné veličiny ve dvou různých časech#... X : X 1,X,...,X n X s N(µ X, Y : Y 1,Y,..., Y n Y s N(µ Y, X) Y ) ) Z 1 = X 1 Y 1, Z = X Y,..., Z n = X n Y n, Z s N(µ X µ Y, H 0 : µ X = µ Y H A : µ X 6= µ Y H 0 : µ Z =0 H A : µ Z 6=0 Z)

12 3) Párový test shody středních hodnot dvou & závislých měření H 0 : µ Z = a H A : µ Z 6= a T = Z s Z ap n T má t-rozdělení (Studentovo rozdělení) pravděpodobnosti o (n-1) stupních volnosti. H0 nezamítneme, když pro dané bude# T t (n 1) kde t (n 1) je (oboustranná) -kritická hodnota t-rozdělení o (n-1) stupních volnosti.

13 Jednostranné testy dolní nebo horní jednostranná alternativa : H 0 : µ X = µ Y H A : µ X <µ Y H 0 : µ X = µ Y H A : µ X >µ Y H0 nezamítneme, když pro dané bude buď# T< t (n 1) nebo# T>t (n 1) kde t (n 1) je (jednostranná) -kritická hodnota t-rozdělení o (n-1) stupních volnosti. oboustranná -kritická hodnota je (1 /)-kvantil# t 1 / (n 1) jednostranná -kritická hodnota je (1 ) -kvantil t 1 (n 1)

14 Příklad: Byly měřeny odchylky od požadované délky 4m ocelových tyčí od dvou dodavatelů. Odchylky jsou uvedeny v cm. Lze považovat délky tyčí od různých dodavatelů za shodné na hladině významnosti 5%? > x [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] [103] [109] [115] Dodavatel X:

15 Příklad: Byly měřeny odchylky od požadované délky 4m ocelových tyčí od dvou dodavatelů. Odchylky jsou uvedeny v cm. Lze považovat délky tyčí od různých dodavatelů za shodné na hladině významnosti 5%? > y [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] Dodavatel Y:

16 Příklad: Byly měřeny odchylky od požadované délky 4m ocelových tyčí od dvou dodavatelů. Odchylky jsou uvedeny v cm. 1) Vizualizace dat: Box&Whiskers diagram X Y

17 Příklad: Byly měřeny odchylky od požadované délky 4m ocelových tyčí od dvou dodavatelů. Odchylky jsou uvedeny v cm. ) Srovnání rozptylů: F-test > var.test(x,y) # F test to compare two variances # data: x and y F = 0.871, num df = 119, denom df = 99, p- value = alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: sample estimates: ratio of variances => nulovou hypotézu nezamítáme, # rozptyly se statisticky významně neliší

18 Příklad: Byly měřeny odchylky od požadované délky 4m ocelových tyčí od dvou dodavatelů. Odchylky jsou uvedeny v cm. 3) Srovnání středních hodnot: dvouvýběrový t-test se shodnými rozptyly > t.test(x,y, var.equal=t) # Two Sample t- test # data: x and y t = , df = 18, p- value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y => nulovou hypotézu nezamítáme, # střední hodnoty se statisticky významně neliší

19 Příklad: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 1) Data: > pred_cvicenim [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] [103] [109] [115]

20 Příklad: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 1) Data: > po_cviceni [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] [103] [109] [115]

21 Příklad: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? ) Grafické zobrazení

22 Příklad: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 3) Rozdíl: > rozdil = pred_cvicenim - po_cviceni > rozdil [1] [7] [13] [19] [5] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] [91] [97] [103] [109] [115]

23 Příklad: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 3) Rozdíl:

24 Příklad: Byla měřena rychlost reakce operátorů před a po speciálním cvičení v sekundách. Mělo cvičení statisticky významný vliv na rychlost? 4) Párový t-test: > t.test(rozdil, mu=0) # One Sample t- test # data: rozdil t = , df = 119, p- value = 9.54e- 05 alternative hypothesis: true mean is not equal to 0 95 percent confidence interval: sample estimates: mean of x => nulovou hypotézu zamítáme, # cvičení mělo vliv a rychlost reakce se statisticky významně zvýšila