NMSA331 Matematická statistika 1 PozÁmky k předášce Naposledy upraveo de 15. úora 2019. Katedra pravd podobosti a matematické statistiky Matematicko-fysikálí fakulta Uiversity Karlovy
Teto učebí text představuje modifikací učebího textu, který připravil doc. Michal Kulich, Ph.D.. Text obsahuje přehled všech vět, defiic, tvrzeí a pozámek probíraých v předášce NMSA331 Matematická statistika 1 v rámci bakalářského studia oboru Obecá matematika a MFF UK. Nejedá se o plohodotou učebici ai skripta, protože zde chybí ěkteré příklady a eí zde obsažea látka probíraá a cvičeí. Na druhou strau ěkteré pozatky a pozámky uvedeé v tomto textu ebyly probráy a předášce. Při přípravě a zkoušku je uté teto text doplit pozámkami z předášek a cvičeí. Odkazy a potřebé defiice, věty a tvrzeí z teorie pravděpodobosti začíající písmeem P) se týkají příručky Základy teorie pravděpodobosti pro předmět Matematická statistika 1, která je k dispozici a webových strákách předmětu NMSA331. Např. tvrzeí P.2.2 ebo defiici P.6.1 lze ajít ve 2., resp. 6. kapitole zmíěé příručky. Velké poděkováí patří také prof. RNDr. Jiřímu Adělovi, DrSc. a doc. RNDr. Karlu Zvárovi, CSc. za pečlivé pročteí pozámek a pomoc s odstraěím řady drobých chyb a epřesostí v prvích verzích tohoto textu.
Obsah ZaČeÍ 7 1 VybraÉ asymptotické výsledky 10 1.1 Kovergece áhodých vektorů......................... 10 1.2 Záko velkých čísel................................ 13 1.3 Cetrálí limití věta............................... 13 2 NÁhodÝ výběr 15 2.1 Defiice áhodého výběru........................... 15 2.2 Statistiky...................................... 16 2.2.1 Vlastosti výběrového průměru..................... 16 2.2.2 Relativí četost.............................. 17 2.2.3 Vlastosti výběrového rozptylu...................... 18 2.3 Uspořádaý áhodý výběr............................ 25 2.4 Trasformovaý áhodý výběr......................... 31 2.4.1 Trasformace pozorováí......................... 31 2.4.2 Vliv trasformace a parametry..................... 31 2.4.3 Trasformace stabilizující asymptotický) rozptyl........... 32 2.4.4 Stadardizace............................... 33 3 OdhadovÁÍ parametrů 34 3.1 Bodový odhad................................... 34 3.1.1 Defiice bodového odhadu........................ 34 3.1.2 Vlastosti odhadů............................. 34 3.2 Volba parametru.................................. 37 3.2.1 Kvatitativí data............................. 37 3.2.2 Kategoriálí data............................. 37 3.2.3 Biárí data................................ 38 3.2.4 Volba parametru v závislosti a typu dat................ 38 3.3 Mometová metoda................................ 39 3.4 Itervalový odhad................................. 42 3.4.1 Defiice.................................. 42 3.4.2 Kostrukce itervalových odhadů.................... 45 3.5 Empirické odhady................................. 49 3.5.1 Empirická distribučí fukce....................... 49 3.5.2 Idea empirických odhadů......................... 49 3.5.3 Empirické odhady mometů....................... 50 3.5.4 Empirické odhady kvatilů........................ 51 3.5.5 Empirické odhady pro áhodé vektory................ 56 3
Obsah 4 Pricipy testováí hypotéz 60 4.1 Základí pojmy a defiice............................. 60 4.2 Hladia a síla testu................................ 62 4.2.1 Hladia testu............................... 62 4.2.2 Síla testu.................................. 64 4.3 P-hodota..................................... 71 4.4 Dualita itervalových odhadů a testováí hypotéz............... 77 5 JedovÝbĚrovÉ a párové problémy pro kvatitativí data 80 5.1 Jedovýběrový Kolmogorovův-Smirovův test................. 80 5.2 Přesý jedovýběrový t-test............................ 84 5.3 Asymptotický jedovýběrový t-test........................ 85 5.4 Jedovýběrový zamékový test......................... 86 5.5 Jedovýběrový Wilcoxoův test.......................... 87 5.6 Jedovýběrový χ 2 test a rozptyl......................... 91 5.7 Párové testy..................................... 92 5.8 Přesý párový t-test................................ 93 5.9 Asymptotický párový t-test............................ 94 5.10 Párový zamékový test.............................. 94 5.11 Párový Wilcoxoův test.............................. 95 6 DvouvÝbĚrovÉ problémy pro kvatitativí data 98 6.1 Dvouvýběrový Kolmogorovův-Smirovův test.................. 99 6.2 Přesý dvouvýběrový t-test............................ 100 6.3 Asymptotický dvouvýběrový z-test........................ 103 6.4 Dvouvýběrový Wilcoxoův test.......................... 105 6.5 Dvouvýběrový F test shody rozptylů....................... 110 7 JedovÝbĚrovÉ a dvouvýběrové problémy pro biárí data 113 7.1 Jedovýběrový problém.............................. 113 7.1.1 Clopperova-Pearsoova metoda..................... 113 7.1.2 Klasická asymptotická metoda...................... 114 7.1.3 Wilsoova metoda............................. 115 7.1.4 Logitová metoda.............................. 116 7.2 Dvouvýběrový problém.............................. 117 7.2.1 Rozdíly pravděpodobostí, árůst rizika................ 117 7.2.2 Podíly pravděpodobostí, relativí riziko................ 119 7.2.3 Poměr šací................................ 120 8 MultiomickÉ rozděleí a kotigečí tabulky 123 8.1 Multiomické rozděleí.............................. 123 8.2 Kotigečí tabulky............................... 130 8.2.1 Kotigečí tabulky 2 2........................ 132 8.2.2 Kotigečí tabulky 2 K........................ 134 4
9 K -výběrový problém pro kvatitativí data 137 9.1 Aalýza rozptylu jedoduché tříděí)..................... 137 9.2 Mohoásobá porováváí........................... 143 9.2.1 Boferroiho metoda........................... 144 9.2.2 Tukeyova metoda............................. 145 9.3 Kruskalův-Wallisův test.............................. 146 10 KorelaČÍ aalýza 151 10.1 Pearsoův korelačí koeficiet.......................... 151 10.1.1 Testováí hypotézy ezávislosti..................... 151 10.1.2 Testováí obecé hodoty korelačího koeficietu a iterval spolehlivosti pro ρ................................ 152 10.2 Spearmaův korelačí koeficiet......................... 154 Appedix 157 A.1 Idempotetí matice............................... 157 A.2 Rozděleí kvadratických forem.......................... 157 5
6
ZaČeÍ a T a 2 a P sj d X L X as. L traspozice vektoru a aa T eukleidovská orma vektoru a kovergece v pravděpodobosti kovergece skoro jistě kovergece v distribuci X má přesé rozděleí L X má přibližě asymptoticky) rozděleí L α hladia testu βθ) síla testu, silofukce γ 3 γ 3 γ 4 γ 4 Θ Θ 0 Θ 1 λ šikmost áhodé veličiy empirická šikmost špičatost áhodé veličiy empirická špičatost parametrický prostor ulová hypotéza alterativa Lebesgueova míra a R µ S čítací míra a ejvýše spočeté možiě S µ k k-tý cetrálí momet áhodé veličiy µ k empirický odhad k-tého cetrálího mometu µ k k-tý momet áhodé veličiy µ k empirický odhad k-tého mometu ϱx,y ) korelačí koeficiet áhodých veliči X a Y ϱ jm σ X σ 2 X σ 2 Σ ϕ Φ výběrový korelačí koeficiet j-té a m-té složky áh. vektoru směrodatá odchylka áhodé veličiy X rozptyl áhodé veličiy X empirický odhad rozptylu výběrová rozptylová matice hustota ormovaého ormálího rozděleí distribučí fukce ormovaého ormálího rozděleí 7
χ 2 f α) Ω α-kvatil rozděleí χ2 f prostor elemetárích jevů 1 B idikátor možiy B 1 sloupcový vektor jediček délky A B 0 B 0 σ-algebra áhodých jevů a Ω borelovská σ-algebra a R borelovská σ-algebra a R C, Cα) kritický obor testu c L α), c U α) cor X,Y ) cor X, Y ) kritické hodoty korelačí koeficiet áhodých veliči X a Y korelačí matice áhodých vektorů X a Y cov X 1, X 2 ) kovariace áhodých veliči X 1 a X 2 cov X 1, X 2 ) kovariačí matice áhodých vektorů X 1 a X 2 diag a) diagoálí matice obsahující složky vektoru a a diagoále E X F F 0 F 1 f X F X F 1 X F F m, α) H 0 H 1 I L p L 2 + LX ) m X m MSE P P X P θ středí hodota áhodé veličiy vektoru) X pravděpodobostí model pro pozorovaá data rozděleí splňující ulovou hypotézu rozděleí splňující alterativu hustota áhodé veličiy vektoru) X distribučí fukce áhodé veličiy vektoru) X kvatilová fukce áhodé veličiy X empirická distribučí fukce α-kvatil rozděleí F m, ulová hypotéza alterativa jedotková matice možia áhodých veliči a Ω, A, P) s koečým p-tým absolutím mometem možia áhodých veliči a Ω, A, P) s koečým a eulovým rozptylem rozděleí áhodé veličiy vektoru) X mediá áhodé veličiy X výběrový mediá středí čtvercová odchylka odhadu pravděpodobost rozděleí áhodé veličiy X, její idukovaá míra a výběrovém prostoru rozděleí dat při hodotě parametru θ 8
r A) hodost matice A R možia reálých čísel R i SE S 2 S jm S X t f α) tr A) u X α) pořadí i-tého pozorováí směrodatá chyba odhadu výběrový rozptyl výběrová kovariace j-té a m-té složky áh. vektoru osič rozděleí áhodé veličiy X α-kvatil rozděleí t f stopa matice A α-kvatil áhodé veličiy X u α α-kvatil rozděleí N0, 1) û α) výběrový α-kvatil var X rozptyl áhodé veličiy X var X rozptylová matice áhodého vektoru X X výběrový prostor X k ) k-tá pořádková statistika X výběrový průměr áhodého výběru X 1,..., X 9
1 VybraÉ asymptotické výsledky Mějme posloupost k-rozměrých áhodých vektorů X 1, X 2, X 3,..., kde vektor X i = X i1,..., X ik ) T je defiová a Ω i, A i, P i ). 1.1 Kovergece ÁhodÝch vektorů Nechť a začí eukleidovskou ormu vektoru a, tj. a = a T a. Defiice 1.1 kovergece skoro jistě) Říkáme, že posloupost áhodých vektorů {X } =1 koverguje skoro jistě k áhodému vektoru X pro právě když Kovergeci skoro jistě začíme X P ω : lim X ω) Xω) = 0 ) = 1. sj X. Defiice 1.2 kovergece v pravděpodobosti) Říkáme, že posloupost áhodých vektorů {X } =1 koverguje v pravděpodobosti k áhodému vektoru X pro právě když ε > 0 : lim P ω : X ω) Xω) > ε ) = 0. Kovergeci v pravděpodobosti začíme X P X. Pozámka. Pro k = 1 odpovídají defiice 1.1 a 1.2 příslušým defiicím z předmětu NMSA 202 Pravděpodobost a matematická statistika). S využitím erovosti max a j a k max a j j {1,...,k } j {1,...,k } lze alterativě defiovat kovergeci skoro jistě a v pravděpodobosti pro áhodé vektory po složkách, tj. X X sj X X j P X X j sj X j, j = 1,..., k, P X j, j = 1,..., k. Aby defiice 1.1 dávala smysl, musí být všechy áhodé vektory defiovaé a stejém pravděpodobostím prostoru Ω, A, P). U defiice 1.2 to eí uté, pokud limití áhodý vektor X je rový kostatě skoro jistě. 10
1 Vybraé asymptotické výsledky V ásledujícím budeme začit F X distribučí fukci áhodého vektoru X, tj. F X x) = PX x). Podobě F X bude distribučí fukce áhodého vektoru X. Defiice 1.3 kovergece v distribuci) Říkáme, že posloupost {X } =1 koverguje v distribuci k áhodému vektoru X pro právě když lim F X x) = F X x) v každém bodě x, v ěmž je F X x) spojitá. Kovergeci v distribuci začíme X d X. Příklad. Nechť X 1,..., X jsou ezávislé stejě rozděleé áhodé veličiy s var X 1 0, ). Potom z předmětu NMSA 202 Pravděpodobost a matematická statistika) víme, že X E X 1 ) var X 1 d Z, kde Z N0, 1). Jelikož distribučí fukce Φ áhodé veličiy s rozděleím N0, 1) je spojitá R, tak dle defiice kovergece v distribuci máme lim P X E X 1 ) x) var X = Φx), x R. 1 Pozámka. Pro kovergece v distribuci je podstaté pouze to, co se děje s rozděleím áhodého vektoru. Ozačíme-li tedy LX ) rozděleí áhodého vektoru X z agl. Law), pak kovergeci v distribuci můžeme zapisovat také jako LX ) LX) pro. Teto zápis pak čteme, že rozděleí X koverguje k rozděleí X. Můžeme také as. říkat, že X má asymptotické limití) rozděleí F X a psát X LX). Pro kovergeci v distribuci epotřebujeme, aby áhodé vektory byly defiováy a stejém pravděpodobostím prostoru. Na rozdíl od kovergece skoro jistě a v pravděpodobosti, tak kovergeci v distribuci elze ekvivaletě defiovat po složkách. Tvrzeí 1.1 i) X ii) X sj X X P X X P X d X Pozámka. Opačé implikace eplatí. Nicméě pokud áhodé vektory kovergují v distribuci ke kostatě, tj. X d c kde c R k ), pak platí X P c. Následující věta říká, že spojitá trasformace zachovává všechy výše uvedeé druhy kovergecí. Tvrzeí 1.2 Věta o spojité trasformaci) Nechť X, X 1, X 2,... jsou áhodé vektory a fukce g : R k R m je spojitá a možiě C takové, že PX C ) = 1. Potom: i) X sj X gx sj ) gx); 11
1 Vybraé asymptotické výsledky ii) X iii) X Důkaz. * Část i) P X gx P ) gx); d X gx d ) gx). [ ] P ω : lim gx ω)) gxω)) = 0 [ ] P ω : lim gx ω)) gxω)) = 0, Xω) C [ ] = P ω : lim X ω)) Xω) = 0, Xω) C = 1, kde jsme využili toho, že g je spojitá a možiě C a PX C ) = 1. Část ii) Nechť ε > 0. Potom pro všecha δ > 0 [ P ω : gx ω)) gxω)) > ε ] P[ gx ) gx) > ε, X X δ ] [ + P X X > δ ] [ X X > δ ] P[ X B δ ] + P } {{ } 0, δ>0 kde B δ = { x R k ; y R k : x y δ, gx) gy) > ε }. Further P [ X B δ] P [ X B δ, X C ] + P [ X B δ, X C ] = P [ X B δ C ] + 0 Dále ze spojitosti fukce g a možiě C platí, že B δ C pro δ 0. Tudíž pravděpodobost P [ X B δ C ] můžeme udělat pro všecha dostatečě velká ) libovolě malou tím, že volíme dostatečě malé δ. Část iii) Viz důkaz věty 13.6 i Lachout 2004). Ve statistice budeme často používat ásledující větu, která je zobecěím Věty 4.14 z Dupač ad Hušková 1999). Tvrzeí 1.3 Cramérova-Sluckého věta) Nechť X, d X, A P A a B P b, kde X a X jsou k-rozměré áhodé vektory, A je áhodá matice o dimezích m k, A je matice kostat o dimezích m k, B jsou m-rozměré áhodé vektory a b je m- rozměrý vektor kostat, pak A X + B d AX + b. * Důkaz ebyl dělá a předášce. 12
1 Vybraé asymptotické výsledky Pozámka. Cramérově-Sluckého větě se často říká pouze Sluckého věta. Tvrzeí 1.4 Nechť a X µ) d a pro a µ je vektor kostat. Pak X X, kde a > 0 je posloupost reálých čísel splňující P µ. Důkaz. * Vzhledem k pozámce za defiicí kovergece v pravděpodobosti defiice 1.2) stačí dokázat, že pro všecha j {1,..., k } platí X j P µ j, kde µ j je j-tá složka vektoru µ. Navíc bez újmy a obecosti můžeme předpokládat, že µ j = 0. Nechť ε > 0 je dáo. Potom pro libovolě malé η > 0 můžeme ajít koečou kostatu K takovou, že P X j K ) < η a zároveň K a K jsou body spojitosti distribučí fukce X j. Potom pro všecha taková, že a ε > K, platí P X j > ε ) = P a X j > a ε ) P a X j > K ) 1 F Xj K ) + F Xj K ). 1.1) d Dále z předpokladu a X µ) X, plye speciálě že a X j µ j ) z defiice kovergece v distribuci lim d X j. Tudíž [ 1 FXj K ) + F Xj K ) ] = 1 F Xj K ) + F Xj K ) P X j K ) < η. 1.2) Tedy celkem z 1.1) a 1.2) plye, že pro všecha dostatečě velká platí P X j > ε ) < 2η. Jelikož η lze vzít libovolě malé, tak odsud plye, že lim P X j > ε ) = 0, čímž je důkaz dokoče. 1.2 ZÁko velkých ČÍsel Tvrzeí 1.5 Nechť X 1, X 2,... je posloupost ezávislých stejě rozděleých áhodých vektorů s koečou středí hodotou E X i = µ. Pak platí X sj µ. Důkaz. Důkaz plye použitím Kolmogorovova silého zákoa velkých čísel a jedotlivé složky áhodého vektoru. 1.3 CetrÁlÍ limití věta Tvrzeí 1.6 cetrálí limití věta pro ezávislé stejě rozděleé áhodé vektory) Nechť {X } =1 jsou ezávislé a stejě rozděleé áhodé vektory se středí hodotou µ E X i a koečou rozptylovou maticí Σ var X i. Pak platí 1 X i µ) = X µ ) d N k 0, Σ). * Důkaz ebyl dělá a předášce. 13
1 Vybraé asymptotické výsledky Pozámka. Neformálí zápis tvrzeí cetrálí limití věty: X as. N k µ, 1 Σ). Tvrzeí 1.7 -metoda) Nechť {T } =1 splňuje T µ ) d N k 0, Σ) 1.3) pro ějaký vektor kostat µ R k a matici Σ. Nechť g : R k R p je fukce, která je spojitě diferecovatelá v ějakém okolí bodu µ. Ozačme Dx) = gx) x. Pak platí gt ) gµ) ) d N ) p 0, Dµ)ΣDµ) T. Důkaz. * Pro daé j {1,..., p} uvažujme g j : R k R tj. j-tou složku zobrazeí g). Z předpokladů věty existuje okolí U bodu µ takové, že g j má spojité parciálí derivace a tomto okolí. Dále z předpokladu 1.3) a tvrzeí 1.4 plye, že T koverguje k µ v pravděpodobosti, tj. P T U ) 1 pro. Tedy bez újmy a obecosti můžeme předpokládat, že T U. Nyí dle věty o středí hodotě existuje µ j, které leží mezí T a µ takové, že gj T ) g j µ) ) = g j µ j ) T µ). Nechť D je matice typu p k, která má v j-tém řádku g j µ j ) a všiměme si, že gt ) gµ) ) = D T µ). 1.4) P P Nyí T µ implikuje, že µj µ. S využitím spojitosti parciálích derivací zobrazeí g a U a tvrzeí 1.2ii) dostáváme D P Dµ). Toto společě s 1.4) a tvrzeím 1.3 dokočuje důkaz. Pozámka. Tvrzeí 1.7 budeme ejčastěji používat v jedorozměrém případě. Tj. echť T µ ) d N 0, σ 2) a fukce g : R R má spojitou derivaci a ějakém okolí bodu µ. Pak platí g T ) g µ) ) d N 0, [g µ)] 2 σ 2). Jako T budeme ejčastěji brát X, kde X i = X i1,..., X ik ) T jsou vhodě zvoleé ezávislé stejě rozděleé áhodé vektory. K ověřeí předpokladu 1.3) pak můžeme využít cetrálí limití větu tvrzeí 1.6). Všiměme si, že tvrzeí 1.7 společě s tvrzeím 1.4 implikují, že gt ) P gµ). 1.5) Pozorý čteář by však mohl amítout, že pokud by ás zajímal pouze výsledek 1.5), pak předpoklady tvrzeí 1.7 jsou zbytečě silé. Dle věty o spojité trasformaci tvrzeí 1.2) by ám k důkazu kovergece 1.5) stačilo, že fukce g je spojitá v bodě µ. * Důkaz ebyl dělá a předášce. Zde kočí před. 1 4.10.) 14
2 NÁhodÝ výběr 2.1 Defiice ÁhodÉho výběru Nechť je dá pravděpodobostí prostor Ω, A, P ). Defiice 2.1 Posloupost X 1, X 2,..., X ezávislých stejě rozděleých áhodých vektorů defiovaých a Ω, A, P ), z ichž každý má distribučí fukci F 0, azýváme áhodý výběr z rozděleí F 0. * Kostatu azýváme rozsah výběru. Prvky áhodého výběru mohou být buď reálé áhodé veličiy ebo áhodé vektory matice apod.). Můžeme je azývat pozorováí ebo data. Pro ozačeí áhodého výběru jako celku budeme občas používat začeí X. Pozámka. Distribučí fukci F 0, z íž pozorováí X 1, X 2,..., X pocházejí, ezáme. Chceme použít pozorováí k tomu, abychom se o F 0 ěco potřebého dozvěděli. O distribučí fukci F 0 předpokládáme, že patří do ějaké možiy rozděleí F, které říkáme model. Defiice 2.2 Modelem pro áhodý výběr X 1, X 2,..., X rozumíme předem staoveou možiu rozděleí F, do íž patří ezámé rozděleí F 0. Pozámka. Rozděleí F 0 je ezámé. Rádi bychom použili pozorovaá data X, abychom určili jeho jisté charakteristiky, které azýváme parametry. Formálě jde o ějakou kostatu ebo vektor kostat) θ 0 R k, kterou bychom uměli zjistit, kdybychom F 0 zali. Hledaý parametr tedy můžeme obecě zapsat ve tvaru θ 0 t F 0 ), kde t je ějaký fukcioál. Příklady Typy modelů pro reálé áhodé veličiy). 1. Za model F můžeme apř. vzít možiu všech [diskrétích, spojitých] rozděleí a R s koečou středí hodotou [s koečým rozptylem]. Hledaé parametry mohou být apř. E X i, var X i, P[X x] F 0 x) ebo kvatil F0 1 α). Takový model azýváme eparametrický, eboť eí možé popsat všecha rozděleí v F pomocí koečě moha parametrů. Symbolem Θ ozačujeme možiu všech přípustých hodot parametru θ t F ) pro všecha F F. 2. Za model F můžeme vzít možiu všech rozděleí s hustotami tvaru f x; θ) pro θ Θ R p, kde f ; ) je zámá fukce a θ je ezámá kostata apř. všecha expoeciálí, ormálí, geometrická rozděleí). Tyto modely azýváme parametrické. V parametrickém modelu lze jakékoli jié parametry vždy vyjádřit jako fukce θ. Příklady Parametrické modely). * Agl. radom sample from distributio F 0 Agl. sample size Agl. o-parametric model Agl. parametric model 15
2 Náhodý výběr F = { Nµ, σ 2 0 ), µ R, σ2 0 pevě dáo} ; θ = µ, Θ = R. F = { Nµ, σ 2 ), µ R, σ 2 R +} ; θ = µ, σ 2 ) T, Θ = R R +. F = { Expλ), λ R +} ; θ = λ, Θ = R +. F = { Altp), p 0, 1) } ; θ = p, Θ = 0, 1). Pozámka. Model F a parametr θ, který ás zajímá, volíme sami. Model vyjadřuje aši apriorí a datech ezávislou) představu o rozděleí pozorovaých veliči. Volba parametru závisí a otázce, kterou se sažíme zodpovědět pomocí statistické aalýzy. Volba modelu a parametru ovlivňuje výběr metody pro aalýzu dat a její výsledky). 2.2 Statistiky Statistická aalýza postupuje tak, že se z áhodého výběru počítají veličiy, které obsahují iformaci o požadovaých parametrech, a s imi se dále pracuje. Těmto veličiám se říká statistiky. Uvažujme áhodý výběr X = X 1, X 2,..., X ). Defiice 2.3 Pojmem statistika * azýváme libovolou měřitelou fukci SX) pozorováí z áhodého výběru X. Statistika je áhodá veličia áhodý vektor, je-li vícerozměrá). Statistika esmí záviset a hodotách, které ezáme a epozorujeme. Smí to být pouze fukce dat a zámých kostat. Mezi ejčastěji používaé statistiky patří výběrový průměr a výběrový rozptyl. Uvažujme yí výběr reálých áhodých veliči X = X 1, X 2,..., X ) T a zaveďme dvě ejčastěji používaé statistiky. Defiice 2.4 i) Veličia X = 1 X i se azývá výběrový průměr áhodého výběru X. ii) Veličia S 2 = 1 1 X i X ) 2 se azývá výběrový rozptyl áhodého výběru X. Výběrový rozptyl emá smysl počítat z jediého pozorováí = 1); uvažujeme-li výběrový rozptyl, automaticky předpokládáme, že 2. 2.2.1 Vlastosti výběrového průměru Uvažujme obecý model F = L 2. Pracujeme tedy s áhodým výběrem X, jehož složky X i jsou ezávislé áhodé veličiy s libovolým rozděleím, které má koečé druhé momety. Ozačme µ E X i a σ 2 = var X i. Lemma 2.1 X = arg mi c R X i c) 2. Důkaz. Ozačme si fukci f c) = X i c) 2. Tvrzeí lemmatu plye z toho, že f X ) = 0 a f c) > 0 pro všecha c R. * Agl. statistic Agl. sample mea Agl. sample variace 16
2 Náhodý výběr Výběrový průměr tedy miimalizuje součet čtverců odchylek jedotlivých pozorováí od libovolého reálého čísla. Sado spočítáme prví dva momety výběrového průměru a prozkoumáme jeho limití chováí při. Věta 2.2 Vlastosti průměru) i) E X = µ, var X = σ2 P ; ii) X µ pro ; d iii) X µ) N0, σ 2) pro. Důkaz. i) plye z přímého výpočtu. ii) ze silého zákoa velkých čísel tvrzeí 1.5 pro k = 1) a iii) z cetrálí limití věty tvrzeí 1.6 pro k = 1). Pozámka. Platí-li předpoklad ormálího rozděleí, tj. F = { Nµ, σ 2 ), µ R, σ 2 R +}, lze body i) a iii) předchozí věty zesílit a 2.2.2 RelativÍ Četost X µ ) N0, σ 2 ) eboli X N ) µ, σ2. Zvolme ějaký áhodý jev B A, ozačme p P B). Nechť p 0, 1). Nechť existuje posloupost ezávislých pozorováí jevu B ozačme X i = 1, pokud jev B při i-tém pozorováí astal, a X i = 0, pokud jev B při i-tém pozorováí eastal i = 1,..., ). Pak áhodé veličiy X 1,..., X představují áhodý výběr z alterativího rozděleí * Altp). Výběrový průměr X je podílem počtu pozorováí, při ichž jev B astal, a celkového počtu pozorováí. Nazýváme jej empirická) relativí četost jevu B. Pro relativí četost X pochopitelě platí Věta 2.2. Uveďme si ji zovu v podobě specializovaé a teto případ a přidejme ještě jedo ové tvrzeí. Věta 2.3 Vlastosti relativí četosti) i) E X = p, var X = p1 p) P ; ii) X p pro ; iii) X p ) d N 0, p1 p) ) pro ; iv) X Bi, p). Důkaz. i) až iii) plye přímo z Věty 2.2 s využitím toho, že pro alterativí áhodou veličiu platí E X i = p a var X i = p1 p). iv) plye z rovosti X = X i a z reprezetace biomického rozděleí jako součtu ezávislých stejě rozděleých alterativích rozděleí. Podle bodu ii) můžeme pravděpodobost jevu B zjistit s libovolou přesostí pomocí relativí četosti, stačí je mít dostatek pozorováí výskytu tohoto jevu. * Agl. Beroulli distributio. Agl. empirical frequecy 17
2 Náhodý výběr 2.2.3 Vlastosti výběrového rozptylu Nejprve uvažujme obecý model F = L 2. Ozačme opět µ E X i a σ 2 = var X i. Výběrový rozptyl lze přepsat do růzých podob, které se k určitým účelům hodí lépe ež původí defiice. Věta 2.4 i) S 2 = 1 1 X 2 i X 2 ). 2.1) ii) Nechť 1 je sloupcový vektor jediček. Ozačme A = I 1 1 1 T matice ). Pak kde Y = X c1 pro ějaké c R. Důkaz. Část i): S 2 = 1 1 X T AX = 1 1 Y T AY, 2.2) 1 Část ii): S2 = 1 = 1 X i X ) 2 = 1 X 2 i 2X 2 + X 2 = 1 X 2 i 2X i X + X 2 ) 1 = X 2 i X 2 X 2 i 2 X i X + X 2 X T AX = X T I 1 1 ) 1 T X = X T X 1 X T 1 1 T X = X 2 i 1 ) 2 X i = X 2 i X 2 = 1)S 2 Posledí část tvrzeí pak plye z toho, že 1 T A = 0 = A1. Pozámka. Vzorec 2.1) se používá mj. pro umerický výpočet S 2. Vzorec 2.2) přepisuje S 2 v podobě kvadratické formy a ukazuje, že S 2 je ivariatí vůči posuutí pozorováí X i o libovolou kostatu c. Povšiměte si, že matice A je idempotetí, tj. AA = A. To využijeme později při určováí rozděleí S 2 viz věta 2.8 íže). U kvadratických forem máme k dispozici šikový vzorec pro výpočet středí hodoty. Lemma 2.5 Nechť Z je áhodý vektor délky se středí hodotou µ a koečou rozptylovou maticí Σ. Nechť B je libovolá matice. Pak platí ) E Z T BZ = µ T Bµ + tr BΣ. 18
2 Náhodý výběr Důkaz. E Z T BZ = E tr Z T BZ ) = ) E tr BZZ T = ) tr BE ZZ T = tr B µµt + Σ ) ) = ) ) ) tr Bµµ T + tr BΣ = µt Bµ + tr BΣ, kde jsme využili toho, že Věta 2.6 Vlastosti výběrového rozptylu) i) S 2 P σ2. ii) E S 2 = σ 2. Σ = E Z µ ) Z µ ) T = E ZZ T µµ T. iii) Jestliže F = L 4 existuje koečý čtvrtý momet X i ), pak S 2 σ 2) d N 0, σ 4 γ 4 1) ), kde γ 4 = E X i µ) 4 σ 4 je tzv. špičatost * rozděleí X i. iv) Jestliže F = L 4, pak kde Σ = [ ) X S 2 )] µ σ 2 d N ) 2 0, Σ, σ 2 σ 3 ) γ 3 σ 3 γ 3 σ 4 a γ γ 4 1) 3 = E X i µ) 3 je tzv. šikmost rozděleí σ 3 X i. Důkaz. Část i): Dle Věty 2.4i) můžeme psát Jelikož S 2 = 1 1, tak stačí dokázat, že 1 1 1 Ze zákoa velkých čísel tvrzeí 1.5) platí X, 1 X 2 i X 2 X 2 i X 2 P σ2. ). ) X 2 T P ) T. i E X i, E X 2 i Zde kočí před. 2 4.10.) * Agl. kurtosis Neprobráo a předášce. Agl. skewess 19
2 Náhodý výběr Nyí fukce g y 1, y 2 ) = y 2 y ) 1 2 je spojitá a R2, tedy je spojitá i v daém ezámém bodě) E X i, E X 2 i, který je osičem limitího rozděleí. Tedy můžeme použít větu o spojité trasformaci tvrzeí 1.2ii)) a dostáváme 1 X 2 i X 2 P E X 2 i ) 2 E X i = var X i = σ 2, což jsme měli ověřit. Část ii): Položme Y = X µ1 a všiměme si, že E Y = 0. Dle Věty 2.4ii) a Lemmatu 2.5 můžeme počítat 1)E S 2 = E Y T AY = E Y T AE Y + tr Aσ 2 I ) = 0 + 1)σ 2, eboť tr Aσ 2 I ) = σ 2 tr I ) 1 tr 1 1 T ) ) = σ 2 1). Část iii): Bez újmy a obecosti můžeme předpokládat, že µ = 0, jiak přejdeme k X i = X i µ a S 2 se ezměí. Dále defiujme ezávislé stejě rozděleé áhodé vektory Q 1,..., Q, kde Q i = X i, X 2 i Podobě jako v části i) uvažujme fukci g y 1, y 2 ) = y 2 y1 2 a všiměme si, že S2 = 1 g ) Q a g E X i, E X 2 ) i = σ 2. Na zkoumáí áhodé veličiy g ) Q využijeme -metoda tvrzeí 1.7). Dle cetrálí limití věty tvrzeí 1.6) kde Dále a tudíž Q E Q i ) ) T. d N 20, Σ Q ), ) 0 E Q i = σ 2, Σ = var ) σ Q 2 cov X i = i, X 2) ) i cov X i, X 2 i ) var X 2 ). i S využitím -metody tvrzeí 1.7) dostáváme kde jsme využili toho, že Dy 1, y 2 ) = g y 1,y 2 ) y 1, g y 1,y 2 ) y 2 ) = 2y1, 1) DE Q i ) = DE X i, E X 2 i ) = 0, 1). g Q ) σ 2 ) d N 0, σ 4 γ 4 1) ), 2.3) DE Q i ) Σ DE Q i ) T = var X 2 i ) = σ4 γ 4 1). Na druhou strau, ale ) g Q σ 2 ) = 1 S2 σ 2) = S 2 σ 2) S 2. 2.4) Tvrzeí pak plye kombiací 2.3) a 2.4) a z toho, že S 2 = S2 P 0. 20
2 Náhodý výběr Pozámka. Věta 2.6iii) říká, že variabilita výběrového rozptylu asymptoticky závisí a špičatosti pozorováí. Věta 2.6iv) říká, že výběrový průměr a výběrový rozptyl mají asymptoticky sdružeé ormálí rozděleí. Jejich kovariace asymptoticky závisí a šikmosti pozorováí. Jeli šikmost ulová, výběrový průměr a výběrový rozptyl jsou asymptoticky ezávislé. Pozámka. Alterativě se věta 2.6ii) tj. estraost výběrového rozptylu) dá ukázat přímočarým výpočtem. E S 2 = 1 E X 2 i 1 = 1 1 E X 2 σ 2 + µ 2 ) σ2 µ2) = 1 1 ) = 1 E X1 2 1 var ) ) X 2 ) E X σ 2 σ 2) = σ 2, kde jsme využili toho, že E X 2 1 = var X 1) + E X 1 ) 2 a podobě také E X ) 2 = var X ) + E X ) 2. Cvičeí. Dokažte, že pokud X i abývají pouze hodot 0 ebo 1, pak S 2 = Návod: Využijte toho, že v tomto případě X 2 i = X i. 1 X 1 X ). Nyí přidáme předpoklad ormálího rozděleí, tj. budeme pracovat v meším modelu F = { Nµ, σ 2 ), µ R, σ 2 R +}. Pracujeme tedy s áhodým výběrem X = X 1, X 2,..., X ) T, kde X i jsou ezávislé s rozděleím Nµ, σ 2 ). Díky jejich ezávislosti platí X N µ1, σ 2 I ). Nejprve uvedeme dva výsledky, které platí pro libovolé ormálě rozděleé áhodé vektory. Lemma 2.7 Nechť X N µ, Σ) a A je positivě semidefiití matice typu. i) Nechť B je libovolá matice typu m splňující rovost BΣA = 0 m. Pak áhodá veličia X T AX a áhodý vektor BX jsou ezávislé. ii) Nechť B je libovolá positivě semidefiití matice typu splňující rovost BΣA = 0. Pak jsou áhodé veličiy X T AX a X T BX ezávislé. Důkaz. Část i). Předpokládejme, že ha) = r 1 pokud by ha) = 0, pak je důkaz triviálí). Potom s využitím tzv. skeletího rozkladu existuje matice L typu r taková, že hl) = r a A = LL T. Dále z předpokladu věty máme 0 m = BΣA = BΣLL T. Vyásobeím výše uvedeé rovosti zprava maticí L T) dostáváme 0 m r = BΣA = BΣL. Tedy áhodé vektory BX a L T X jsou ekorelovaé, eboť cov BX, L T X ) = BΣL = 0 m r. 21
2 Náhodý výběr Z defiice mohorozměrého ormálí rozděleí plye, že tyto áhodé vektory mají sdružeě ormálí rozděleí, eboť můžeme psát ) ) BX B = X. L T X L T Sdružeá ormalita a ekorelovaost pak implikuje ezávislost áhodých vektorů BX a L T X P.6.2ii)). Tudíž také BX a X T LL T X = X T AX jsou ezávislé. Část ii). Předpokládejme, že ha) = r 1 a hb) = q 1 jiak je důkaz triviálí). Tedy existují matice L typu r a P typu q takové, že Dále z předpokladu hl) = r, A = LL T, hp ) = q, B = PP T. 0 = BΣA = PP T ΣLL T. Vyásobeím výše uvedeé rovosti zprava maticí L T) a zleva maticí P dostáváme 0 q r = P T ΣL. Tedy podobě jako v části i) dostáváme, že áhodé vektory P T X a L T X jsou ezávislé a tudíž také kvadratické formy X T PP T X = X T BX a X T LL T X = X T AX jsou ezávislé. Věta 2.8 Vlastosti výběrového rozptylu za ormality) Nechť X i jsou ezávislé. Pak platí Nµ, σ 2 ), i = 1,..., i) ii) X a S 2 jsou ezávislé áhodé veličiy. Důkaz. Část i). Dle Věty 2.4 můžeme psát 1)S 2 σ 2 χ 2 1. 2.5) kde Y = X 1 µ σ 1)S 2 σ 2 = Y T AY,,..., X µ ) T ) σ N 0, I a A = I 1 1 1 T. Jelikož matice A je idempotetí s hodostí 1, tak tvrzeí plye z Lemmatu A.6 kde Σ = I ). Část ii) Všiměme si, že můžeme psát X = 1 BX, S2 = 1 1 X T AX, kde B = 1 T a A = I 1 1 1 T. Dále X N 0, σ 2 ) I a tedy tvrzeí plye z Lemmatu 2.7i), eboť BΣA = 1 T σ 2 I A = σ 2 1 T 1 ) 1T = 0 T. 22
2 Náhodý výběr Pozámka. Z defiice χ 2 rozděleí víme, že áhodá veličia s rozděleím χ 1 2 má rozděleí daé pomocí 1 Y 2 i, kde Y 1,..., Y 1 jsou ezávislé stejě rozděleé áhodé veličiy s rozděleím N0, 1). Z cetrálí limití věty a z 2.5) pak plye, že Zde kočí před. 3 11.10.) a tudíž 1)S 2 σ 2 1) 1 d N0, 2) 1 S 2 σ 2) as. N0, 2σ 4 ). Uvědomíme-li si, že špičatost ormálího rozděleí je 3, vidíme, že tvrzeí i) z věty 2.8 je v souladu s asymptotickým výsledkem věty 2.6iii). Věta 2.8i) udává přesé rozděleí S 2 pro ormálí data, zatímco věta 2.6iii) udává asymptotické rozděleí S 2 pro libovolá data s koečým čtvrtým mometem. Pozámka. Tvrzeí Věty 2.8i) se dá pamatovat ásledově. Všiměme si, že 1)S 2 Xi ) X 2. σ 2 = σ Kdybychom ve výraze a pravé straě předchozí rovosti použili skutečou středí hodotu µ místo X, tak bychom měli ) 2 χ. 2 Odhadutím středí hodoty µ po- Xi µ σ mocí X pak jakoby ztrácíme jede stupeň volosti protože jsme odhadovali jede parametr). Pozámka. Věta 2.8ii) říká, že jsou-li data ormálí, X a S 2 jsou ezávislé pro každé koečé > 1. Věta 2.9 limití věta o T statistice) Nechť X 1,..., X je áhodý výběr z libovolého rozděleí se středí hodotou µ a s koečým eulovým rozptylem σ 2. Pak X µ ) d T = N0, 1). S Důkaz. Statistiku T si můžeme přepsat do tvaru X µ ) T = σ σ S. Z cetrálí limití věty tvrzeí 1.6, pro k = 1) máme, že X µ ) d N0, 1). σ Dále z S 2 P σ2 věta 2.6i)) a z věty o spojité trasformaci tvrzeí 1.2ii)) pro g y ) = σ/y plye, že σ P 1. Tvrzeí pak plye z Cramérovy-Sluckého věty tvrzeí 1.3). S 23
2 Náhodý výběr Nyí opět přidáme předpoklad ormálího rozděleí. Věta 2.10 Nechť X 1,..., X je áhodý výběr z rozděleí Nµ, σ 2 ). Pak X µ ) T = t 1. S Důkaz. Náhodou veličiu T si můžeme přepsat do tvaru T = X µ σ. 2.6) 1)S 2 σ 2 / 1) Dále z předpokladů věty plye, že áhodý vektor Z = X 1 µ σ,..., X µ σ )T má ezávislé složky s rozděleím N0, 1). Ozačme si c = 1 1 ),..., T R. Z defiice mohorozměrého ormálího rozděleí viz defiice P.6.1) plye, že c T Z = X µ σ N0, 1). Dále 1)S2 χ 2 σ 2 1 věta 2.8i)), přičemž čitatel a jmeovatel ve zlomku 2.6) jsou ezávislé věta 2.8ii)). Tvrzeí pak plye z reprezetace t -rozděleí věta P.6.4). Pozámka. Věta 2.10 udává přesé rozděleí statistiky T pro ormálí data, zatímco věta 2.9 udává asymptotické rozděleí téže statistiky pro libovolá data s koečým rozptylem. Uvědomte si, že pro rozděleí t 1 koverguje v distribuci k rozděleí N0, 1). Nyí budeme uvažovat dva ezávislé výběry ze dvou růzých ormálích rozděleí. Defiice 2.5 o F -rozděleí) Nechť X χ 2 a Y χ 2 m jsou ezávislé. Pak rozděleí áhodé veličiy Z = X / Y/m se azývá [Fisherovo-Sedecorovo] F rozděleí s a m stupi volosti, začíme F,m. Věta 2.11 věta o F statistice) Nechť X 1,..., X je áhodý výběr z rozděleí Nµ X, σ 2 X ) a Y 1,..., Y m je áhodý výběr z rozděleí Nµ Y, σ 2 Y ). Nechť jsou áhodé vektory X 1,..., X ) T a Y 1,..., Y m ) T ezávislé. Ozačme výběrové průměry obou výběrů X a Y m a výběrové rozptyly Pak platí S 2 X = 1 1 X i X ) 2 a S 2 Y = 1 m 1 S 2 X /σ2 X S 2 Y /σ2 Y F 1,m 1. m Y j Y m ) 2. j=1 24
2 Náhodý výběr Důkaz. Statistiku si můžeme přepsat jako S 2 X /σ2 X S 2 Y /σ2 Y = 1)S 2 X σ 2 X m 1)S 2 Y σ 2 Y / 1) /. m 1) Dále 1)S2 X χ σ 2 1 2 a m 1)S2 Y χ X σ 2 m 1 2 věta 2.8ii)), přičemž tyto áhodé veličiy jsou ezávislé. Tvrzeí pak plye z defiice F -rozděleí defiice 2.5). Y 2.3 UspoŘÁdaÝ ÁhodÝ výběr Mějme áhodý výběr X 1,..., X z jedorozměrého spojitého rozděleí s distribučí fukcí F a hustotou f vzhledem k Lebesgueově míře. Nechť 2. Jelikož X 1,..., X jsou ezávislé a mají spojité rozděleí, tak P X i = X j pro ějaká i, j {1,..., } ) = 0. Defiice 2.6 Uspořádaý áhodý výběr a pořadí) i) Seřadíme-li všechy áhodé veličiy X 1,..., X od ejmeší do ejvětší, získáme uspořádaý áhodý výběr * X 1) < X 2) < < X 1) < X ). Symbolem X k ) rozumíme k-tou ejmeší hodotu mezi pozorováími X 1,..., X ; azýváme ji k-tá pořádková statistika. ii) Pořadím áhodé veličiy X i ve výběru X 1,..., X rozumíme přirozeé číslo R i {1,..., } takové, že X i = X Ri ). Celý uspořádaý výběr budeme začit X ), tj. X ) = X 1),..., X ) ) T. Pozámka. 1. Hodoty X 1,..., X lze jedozačě určit z -tice pořádkových statistik a -tice pořadí. 2. Prví pořádková statistika je miimum, -tá pořádková statistika je maximum všech veliči áhodého výběru. 3. Platí R i = j=1 1 0, )X i X j ) = j=1 1{X } i X j. 4. Pořádkové statistiky a pořadí jsou áhodé veličiy a též statistiky ve smyslu defiice 2.3. Ozačme symbolem P možiu všech permutací poslouposti 1,..., ). Tato možia má! prvků. * Agl. ordered radom sample Agl. order statistic Agl. rak 25
2 Náhodý výběr Věta 2.12 Sdružeá hustota áhodého vektoru X ) = X 1),..., X ) ) T vzhledem k Lebesgueově míře jest py 1,..., y ) =! f y 1 )f y 2 ) f y ) pokud y 1 < < y, 0 jiak. Důkaz. Víme, že áhodý vektor X ) má hustotu p, právě když pro každou borelovskou možiu B B0 platí P X ) B ) = 1 B y)py)dy. Vezměme si tedy B B0 a ozačme si vektor pořadí R = R 1,..., R ) T a jedu z permutací možiy P jako r = r 1,..., r ) T. Je dobré si uvědomit, že R závisí a X. Proto tam, kde to bude vhodé, tak budeme psát RX). Nyí můžeme počítat P X ) B ) = P X ) B, RX) = r ) r P ) { } = 1 B x ) 1 Rx) = r f x1 ) f x ) dx 1 dx = r P r P = = 1 B y ) 1 { Ryr1,..., y r ) = r } f y r1 ) f y r ) dy 1 dy 1 B y ) 1 { y1 <... < y } r P f y r1 ) f y r ) dy 1 dy 1 B y ) 1 { y1 <... < y }! f y 1 ) f y ) dy 1 dy, kde jsme přezačili y = x ) tj. x i = y ri, i = 1,..., ), z čehož plye, že y 1 <... < y. Tudíž také hodoty y r1,..., y r mají pořadí r a tedy idikátor 1 { Ry r1,..., y r ) = r } je splě a mohli jsme ho ahradit idikátorem 1 { } y 1 <... < y. Pozámka. Náhodé veličiy X 1),..., X ) ejsou ezávislé. Podobě ai áhodé veličiy udávající pořadí R 1,..., R ejsou ezávislé. Věta 2.13 Distribučí fukce k-té pořádkové statistiky jest F k ) x) = P X k ) x ) ) = F j x) 1 F x) ) j j kde B, ) začí Beta fukci. = 1 B k, k + 1) j=k F x) 0 t k 1 1 t ) k dt, Důkaz. Prví rovost: Ozačme si Z i = 1 { X i x }. Potom Y = Z i udává počet veliči, které jsou meší ež x. Navíc Y Bi, F x) ). Tudíž P X k ) x ) = P Y k ) = P Y = j ) ) = F j x) 1 F x) ) j. j j=k j=k 26
2 Náhodý výběr Druhá rovost: * Budeme postupovat zpětou idukcí. Nechť k =, potom 1 B, 1) F x) t 1 dt = 0 1 1 B, 1) F x) = ) F x), kde jsme využili toho, že 1 B, 1) = Γ + 1) Γ)Γ1) = 1 = ). Nyí provedeme idukčí krok k k 1). Předpokládejme, že pro daé k platí ) F j x) 1 F x) ) j = j j=k 1 B k, k + 1) F x) 0 t k 1 1 t ) k dt a chceme ukázat, že ) F j x) 1 F x) ) j j j=k 1 = 1 B k 1, k + 2) F x) 0 t k 2 1 t ) k+1 dt. 2.7) Počítejme yí pomocí metody per partes itegrál a pravé straě předcházející rovosti, tj. F x) 0 t k 2 1 t ) k+1 dt = [ 1 k 1 t k 1 1 t ) k+1] F x) + k+1 0 k 1 Pravá straa 2.7) se tedy rová = 1 k 1 F k 1 x) 1 F x) ) k+1 + k+1 k 1 1 F k 1 x) 1 F x) ) k+1 + k + 1) B k 1, k + 2)k 1) Nyí si všiměme, že F x) 0 F x) 0 F x) 0 t k 1 1 t ) k dt t k 1 1 t ) k dt. ) t k 1 1 t ) k dt. 1 B k 1, k + 2)k 1) = Γ + 1) Γk 1)Γ k + 2)k 1) =! k 1)! k + 1)! = ) k 1 a dále k + 1 B k 1, k + 2)k 1) = Γ + 1) Γk )Γ k + 1) = 1 B k, k + 1). * Nepředášeo. 27
2 Náhodý výběr Odtud již s využitím idukčího předpokladu dostáváme pro pravou strau 2.7), že 1 B k 1, k + 2) F x) 0 t k 2 1 t ) k+1 dt ) = F k 1 x) 1 F x) ) k+1 1 F x) + t k 1 1 t ) k dt. k 1 B k, k + 1) 0 ) = F k 1 x) 1 F x) ) ) k+1 + F j x) 1 F x) ) j k 1 j j=k ) = F j x) 1 F x) ) j. j j=k 1 Důsledky. 1. Mají-li X i rovoměré rozděleí a itervalu 0, 1), pak X k ) má beta rozděleí Bk, k + 1). Z toho plye Zde kočí před. 4 11.10.) E X k ) = k + 1, var ) k k + 1) X k ) = + 2) + 1) 2. 2. Nechť mají X i jakékoli spojité rozděleí s ryze rostoucí distribučí fukcí F. Potom F X k ) ) Bk, k + 1). Na druhou strau echť Z Bk, k + 1). Pak P[X k ) x] = P[F X k ) ) F x)] = P[Z F x)] = P[F 1 Z ) x], tj. X k ) má stejé rozděleí jako F 1 Z ). Věta 2.14 Hustota k-té pořádkové statistiky vzhledem k Lebesgueově míře jest ) 1 f k ) x) = f x)f k 1 x)[1 F x)] k. k 1 Důkaz. S využitím Věty 2.13 f k ) x) = F k ) x) = 1 B k, k + 1) f x)f k 1 x) 1 F x) ) k a tvrzeí věty plye z toho, že ) 1 B k, k + 1) = Γ + 1) Γk )Γ k + 1) =! k 1)! k )! = 1)! 1 k 1)! k )! =. k 1 Věta 2.15 Náhodý vektor R = R 1,..., R ) T abývá všech hodot a možiě P, přičemž každá z ich má pravděpodobost 1/!. 28
2 Náhodý výběr Důkaz. P RX) = r ) = = = = 1 { Rx) = r } f x 1 ) f x ) dx 1 dx 1 { Ry r1,..., y r ) = r } f y r1 ) f y r ) dy 1 dy 1 { } y 1 <... < y f yr1 ) f y r ) dy 1 dy 1 { } y 1 <... < y f y1 ) f y ) dy 1 dy = P RX) = 1, 2,..., ) T ), kde jsme podobě jako v důkazu Věty 2.12 přezačili y = x ) tj. x i z čehož plye, že y 1 <... < y. Z výše uvedeého vyplývá, že = y ri, i = 1,..., ), P R = r ) = cost., pro r P. Tvrzeí věty pak plye z toho, že možia P má právě! prvků. Věta 2.16 Platí i) P R i = k ) = 1 pro všecha i, k {1,..., }. ii) P R i = k, R j = m ) 1 = 1) pro všecha i j, k m {1,..., }. iii) E R i = +1 2, var R i = 2 1 12 pro všecha i {1,..., }. iv) cov R i, R j ) = +1 12 pro všecha i j {1,..., }. Důkaz. Část i). Bez újmy a obecosti můžeme uvažovat i =. Dále echť P k 1 obsahuje ty prvky P, které mají a posledím místě číslo k. Nyí P R = k ) = r P k 1 P R = r ) = 1)! 1! = 1, kde jsme využili větu 2.15 a toho, že možia P 1 k má 1)! prvků. Část ii). Bez újmy a obecosti můžeme uvažovat i = 1 a j =. Dále echť P k,m 2 obsahuje ty prvky P, které mají a předposledím místě číslo k a a posledím místě číslo m. Potom P R 1 = k, R = m ) = r P k,m 2 P R = r ) = 2)! 1! = 1 1), kde jsme využili větu 2.15 a toho, že možia P k,m 2 má 2)! prvků. Část iii). Dle části i): E R i = k P R i = k ) = k=1 k=1 k 1 = 1 + 1) 2 = + 1 2. 29
2 Náhodý výběr Podobě Část iv). var R i = E R 2 i E R i ) 2 = = + 1 12 k=1 k 2 1 + 1 ) 2 + 1)2 + 1) + 1)2 = 2 6 4 ) + 1) 1) 4 + 2 3 3 =. 12 cov R i, R j ) = E R i R j E R i E R j = k=1 m=1,m k km 1 + 1 ) 2 1) 2 1 [ ] = k m k 2 + 1 ) 2 1) 2 k=1 m=1 k=1 1 [ + 1) ) 2 + 1)2 + 1) ] + 1 = 1) 2 6 2 + 1)2 + 1)2 + 1) + 1)2 = 4 1) 6 1) 4 + 1) [ ] = 3 + 1) 22 + 1) 3 + 1) 1) 12 1) + 1) + 1) = 1 ) =. 12 1) 12 ) 2 Pozámka. Pokud data epocházejí ze spojitého rozděleí ebo se v ich acházejí shodá pozorováí vziklá vlivem zaokrouhlováí, tak dává stále smysl defiovat uspořádaý áhodý výběr jako X 1) X 2) X 1) X ), přičemž pořádková statistika X k ) je stále dobře defiováa a platí pro i Věta 2.13. Pořadí však již elze staovit jedozačě. V takovém případě se často používají tzv. průměrá pořadí *, která lze spočíst jako R i = 1 2 + j=1 1{X i > X j } + 1 2 } 1{X i = X j. Pro takto upraveá pořadí však z výše uvedeých vět platí pouze E Ri = +1 2 viz Věta 2.16iii)). Alterativě je možé pořadí shodých pozorováí přiřadit áhodě. Pro áhodě určeá pořadí pak platí Věta 2.15 a tudíž i Věta 2.16. Jelikož se však pořadí většiou používají pro testováí, tak výsledek testu by při použití tohoto přístupu mohl záviset a počátečím áhodém přiřazeí pořadí ke shodým pozorováím. j=1 * Agl. average raks 30
2 Náhodý výběr 2.4 TrasformovaÝ ÁhodÝ výběr 2.4.1 Trasformace pozorováí Mějme áhodý výběr X 1,..., X z rozděleí s distribučí fukcí F X, hustotou f X a osičem S X. Uvažujme ryze mootoí * diferecovatelou fukci g : S X R a defiujmey i = g X i ). Potom Y 1,..., Y je áhodý výběr z rozděleí s hustotou f Y. Kdyby rozděleí F X bylo spojité a kdybychom zali f X, spočítali bychom hustotu f Y z tvrzeí P.5.3. Trasformace pozorováí se ve statistice používají dosti často. Běžý důvod pro provedeí trasformace bývá, že původí áhodý výběr X 1,..., X příliš porušuje předpoklady metod, které bychom chtěli použít apříklad ormalitu, symetrii hustoty, existeci mometů apod.). Najdeme tedy vhodou fukci g takovou, žey i = g X i ) splňuje předpoklady lépe ež původí pozorováí a pracujeme s áhodým výběrem Y 1,..., Y amísto původího áhodého výběru X 1,..., X. Mezi ejčastěji používaé trasformace kladých áhodých veliči patří apř. g x) = log x ebo g x) = x. Příklad. Nechť X i má tzv. logaritmicko-ormálí rozděleí LNµ, σ 2 ). Potom logx i ) má ormálí rozděleí Nµ, σ 2 ) 2.4.2 Vliv trasformace a parametry Pokud používáme trasformace, musíme si uvědomovat, že řada parametrů rozděleí F X původího áhodého výběru se po trasformaci změí takovým způsobem, že je už edokážeme idetifikovat. Například středí hodota µ X = E X i se změí a µ Y = E g X i ). Pokud ezáme rozděleí X i, emůžeme pak z µ Y spočítat původí středí hodotu µ X, ledaže by g byla lieárí fukce. Nechť je g rostoucí a ryze kokáví fukce, pak platí z Jeseovy erovosti věta P.2.5) µ Y < g µ X ) a zpětá trasformace g 1 µ Y ) dává hodotu ostře meší ež µ X. U ryze kovexí fukce je tomu aopak. Spočítáme-li tedy výběrový průměry z trasformovaého áhodého výběru, bude kovergovat v pravděpodobosti) podle Věty 2.2ii) k µ Y. Zpětá trasformace g 1 Y ) bude kovergovat v pravděpodobosti) k g 1 µ Y ) µ X. Obecě elze alézt fukci h takovou, aby hy ) kovergovalo k µ X. Zajímá-li ás kokrétí hodota µ X, emůžeme tedy data trasformovat. Podobé je to s rozptylem a vyššími momety: po trasformaci už obvykle ezjistíme, jaký byl rozptyl původích pozorováí. Příklad. Nechť X i LNµ, σ 2 ). Potom pro g x) = log x platí, že Y i = g X i ) Nµ, σ 2 ). Tedy g 1 ) P Y eey i = e µ < e µ+σ2 /2 = E X i. Některé jié parametry však teto problém emají. Například mediá ebo kterýkoli jiý kvatil lze sado získat zpětou trasformací: Nechť m X je mediá X i a m Y je mediá Y i, echť g je ryze rostoucí fukce. Pak platí m Y = g m X ), tj. m X lze idetifikovat zpětou trasformací g 1 m Y ). Pořadí jsou ivariatí vůči ryze rostoucím trasformacím, takže statistiky závisející pouze a pořadích abývají stejé hodoty, ať už jsou počítáy z původího ebo trasformovaého áhodého výběru. * Nemootoím trasformacím se obvykle vyhýbáme, protože by mohly ztotožit pozorováí, která byla původě výrazě odlišá. Zde kočí před. 5 18.10.) 31
2 Náhodý výběr 2.4.3 Trasformace stabilizující asymptotický) rozptyl Jiou motivací pro použití trasformace může být saha stabilizovat asymptotický) rozptyl. Mějme posloupost áhodých veliči T, které splňují, že T µ ) d N 0, σ 2 µ) ). Rozptyl σ 2 µ) asymptotického ormálího rozděleí se ěkdy azývá také asymptotický rozptyl * poslouposti T µ ). Jak uvidíme později, pro ifereci testováí, itervaly spolehlivosti) o parametru µ je zpravidla dobré, pokud asymptotický rozptyl již ezávisí a parametru µ. Nechť tedy g je ějaká reálá fukce, která je defiovaá a diferecovatelá a okolí bodu µ. Potom pomocí -metody Tvzeí 1.7) dostáváme, že g T ) g µ) ) d N 0, [ g µ) ]2 σ 2 µ) ). Pokud tedy budeme volit potom g µ) = c σµ) a tudíž g x) = c g T ) g µ) ) d N 0, c 2) 1 dx, 2.8) σx) a vliv µ a asymptotický rozptyl bude elimiová. Příklad. Nechť X 1,..., X je áhodý výběr z Poissoova rozděleí Poλ). Potom statistika T = X dle cetrálí limití věty tvrzeí 1.6) splňuje X λ ) d N0, λ). Tedy σx) = x a tudíž g x) = 1 σx) dx = x 1/2 dx = 2 x a dostáváme, že 2 X 2 λ ) d N0, 1). Pozámka. Podobá myšleka se ěkdy využívá i pro samostatá pozorováí. Nechť platí E X i = λ a var X i = σ 2 λ). Potom doufáme, že po přechodu k trasformaci Y i = g X i ), kde g se spočte pomocí 2.8), budou mít pozorováí Y i rozděleí bližší ormálímu. Tedy apř. pro X i Poλ) se často pracuje s Y i = X i. * Agl. asymptotic variace 32
2 Náhodý výběr 2.4.4 Stadardizace Speciálím druhem trasformace je tzv. stadardizace. Máme áhodý výběr X 1,..., X a spočítáme X a S 2. Potom defiujeme áhodé veličiy Z 1,..., Z vztahem Z i = X i X S. Tyto veličiy mají výběrový průměr 0 a výběrový rozptyl 1, ale epředstavují áhodý vý- P P běr, eboť ejsou ezávislé. Jelikož však X E X i a S var X i pro, tak při dostatečě velkém počtu pozorováí se Z 1,..., Z chovají téměř jako ezávislé veličiy s ulovou středí hodotou a jedotkovým rozptylem. V moha případe lze ukázat, že závislost vziklou tím, že jsme ezámé E X i a var X i ahradili jejich výběrovými protějšky tj. X a S ) lze zaedbat. Stadardizace se používá tehdy, pokud se chceme zbavit prvích dvou mometů a soustředit se a jié aspekty rozděleí F X viz apř. výběrový korelačí koeficiet v Kapitole 10.1). 33
3 OdhadovÁÍ parametrů 3.1 BodovÝ odhad 3.1.1 Defiice bodového odhadu Máme áhodý výběr X = X 1, X 2,..., X ), model F a parametr θ = t F ) R p pro F F, který chceme v daém modelu odhadout. Nechť F X F je skutečé rozděleí áhodého vektoru X i a θ X t F X ) je skutečá hodota hledaého parametru. Defiice 3.1 Odhadem parametru θ X t F X ) R p rozumíme libovolou borelovsky měřitelou fukci dat θ T X) T X 1,..., X ) s hodotami v R p. * Pozámka. Odhad je statistika ve smyslu defiice 2.3. Odhad esmí záviset a ezámých parametrech. 3.1.2 Vlastosti odhadů Defiice 3.2 Nestraost a kosistece) Mějme áhodý výběr X = X 1, X 2,..., X ) z rozděleí F X F a odhad θ T X) parametru θ X t F X ). i) Řekeme, že odhad θ je estraý odhad parametru θ X v modelu F, právě když E θ = θ X pro každé pro ěž je odhad defiová) a pro každé rozděleí F X F. ii) Řekeme, že odhad θ je kosistetí odhad parametru θ X v modelu F, právě když P θ θ X při pro každé rozděleí F X F. Pozámka. Vlastosti odhadů musíme zkoumat v kotextu daého modelu. Sado se může stát, že odhad θ je estraý a kosistetí v ějakém modelu F, ale v jiém modelu F tyto vlastosti emá. Nestraost má platit pro každý počet pozorováí, pro ějž je odhad defiová apř. u výběrového rozptylu pro 2). Nestraost ale ezaručuje, že se odhad při zvětšujícím se rozsahu výběru přibližuje k hledaému parametru. Pro ěkteré modely eexistují rozumé ebo vůbec žádé) estraé odhady. Kosistece je asymptotická vlastost, která ic eříká o chováí odhadu při koečém. Příklad: θ = 21,5 pro 10 10, θ = X pro > 10 10 je kosistetí odhad θ X = E X i.) Námi defiovaá kozistece se ěkdy také azývá slabá kozistece. Odhad se pak azývá silě kozistetí, pokud platí θ sj θ X. * Agl. estimator, estimate Agl. ubiased estimator Agl. cosistet estimator Agl. weak cosistecy Agl. strog cosistecy 34
3 Odhadováí parametrů Odhady, které ejsou estraé, ale jsou kosistetí, se ve statistice běžě používají. Odhady, které ejsou kosistetí, epoužíváme, eboť odhadují ěco jiého ebo se s rostoucím rozsahem výběru ezpřesňují. Příklady. 1. Odhad parametru θ X = E X i v modelu F = L 1 : Průměr X je estraý a kosistetí odhad θ X [plye z věty 2.2, i) a ii)]. Odhad θ = X 1 je estraý odhad θ X, ale eí kosistetí. 2. Odhad parametru θ X = var X i v modelu F = L 2 : Výběrový rozptyl S 2 je estraý a kosistetí odhad θ X [plye z věty 2.6, i) a ii)]. Odhad σ 2 = 1 ) Xi 2 X je kosistetí odhad θ X, ale eí estraý. 3. Odhad parametru θ X = P[X i = 0] v modelu F = { Poλ), λ > 0 } : Odhad θ = 1 1 {0}X i ) je estraý a kosistetí odhad θ X a to dokoce v modelu všech diskrétích rozděleí). Odhad θ = 1 ) X i je také estraý a kosistetí odhad θ X v modelu F ikoliv však v modelu všech diskrétích rozděleí). 4. Odhad parametru θ X = e 2λ X v modelu F = { Poλ), λ > 0 } pro = 1: Jediý estraý odhad jest θ = 1) X 1, jeho možé hodoty jsou 1 a 1. Hledaý parametr e 2λ X však abývá pouze hodot z itervalu 0, 1). Defiice 3.3 Vychýleí) Nechť odhad θ T X) parametru θ X má koečou středí hodotu. Rozdíl E θ θ X ) azýváme vychýleím * odhadu θ. Defiice 3.4 Nechť odhad θ T X) parametru θ X R má koečý rozptyl. i) Výraz MSE θ ) ) = E θ θ 2 X azýváme středí čtvercovou chybou odhadu θ. ii) Výraz SE θ ) = var θ ) azýváme směrodatou chybou odhadu θ. Pozámka. Pozor a jemé rozdíly v termiologii. Pojem směrodatá odchylka stadard deviatio, SD) obvykle zameá odmociu z rozptylu jedoho pozorováí áhodého výběru, tj. var X i. Pojem směrodatá chyba stadard error, SE) obvykle zameá odmociu z rozptylu ějakého odhadu spočítaého z celého áhodého výběru. Někteří autoři však pojmem směrodatá chyba rozumí, SE θ ) = var θ ) ), kde var θ je odhad var θ ) * Agl. bias Agl. mea square error, MSE Agl. stadard error, SE 35
3 Odhadováí parametrů Středí čtvercová chyba i směrodatá chyba jsou míry přesosti odhadu. Směrodatá chyba do přesosti ezahruje vychýleí, zatímco středí čtvercová chyba ao. Platí, že středí čtvercová chyba lze rozložit a rozptyl a kvadrát vychýleí, tj. : MSE θ ) = var θ ) + [E θ θ X )] 2 = SE 2 θ ) + [E θ θ X )] 2. Důkaz výše uvedeého rozkladu plye z toho, že MSE θ ) = E θ E θ + E θ θ X ) 2 = E θ E θ ) 2 + 2 E θ E θ ) E θ θ X ) + [E θ θ X )] 2 = var θ ) + 0 + [E θ θ X )] 2. Středí čtvercová chyba je jedo z ejvhodějších kritérií pro porováváí odhadů. Máme-li ěkolik růzých odhadů téhož parametru v tomtéž modelu, sažíme se mezi imi ajít te, který má ejmeší MSE. Tj. v případě estraých odhadů vybíráme odhad s ejmeším rozptylem. MSE často elze spočítat. V moha případech se však lze rozhodovat a základě asymptotického rozptylu odhadů. Tj. předpokládejme, že máme dva odhady θ a θ, které splňují θ θ X ) d N 0, σ 2 1 ) ) d, θ θ X N 0, σ 2 ) 2. Potom pro velké rozsahy výběrů) preferujeme odhad θ pokud σ1 2 < σ2 2 ebo aopak odhad θ pokud σ1 2 > σ2 2. Příklad. Odhad parametru σ 2 X že platí: MSES) 2 > MSE σ ). 2 = var X i v modelu F = { Nµ, σ 2 ), µ R, σ 2 > 0 }. Ukažte, Věta 3.1 Nechť θ je odhad parametru θ X R, pro ějž platí E θ θ X vychýleí koverguje k ule) a var θ ) 0 pro všecha F X F. Pak je θ kosistetí odhad θ X. Důkaz. Nechť ε > 0. Potom s využitím předpokladů věty a Čebyševovy erovosti Důsledek Věty P.2.6): P θ θ X > ε ) = P θ E θ + E θ θ X > ε ) P θ E θ > ε ) 2 + P E θ θ X > ε ) 2 var θ ) ε 2 ) 2 + P E θ θ X > ε 2 ). Nyí prví čle a pravé straě posledí erovosti jde k ule, protože var θ ) 0. Druhý čle je pak pro všecha dostatečě velká ulový, eboť E θ θ X 0. Pozámka. Opačá implikace eplatí. Existují běžě používaé kosistetí odhady, pro ěž platí E θ = pro každé koečé. 36