Matematicá statistia (Opraveá a rozšířeá verze textu předášy z LS 00/00) Záladí literatura: @D Jaroš Fratiše a oletiv : Pravděpodobost a statistia, VŠCHT, 998. @D Jarušová Daiela : Pravděpodobost a matematicá statistia, ČVUT, 000. @3D Jarušová Daiela, Hála Marti : Pravděpodobost a matematicá statistia Přílady, ČVUT, 000. @4D Jarušová Daiela, Hála Marti : Pravděpodobost a matematicá statistia Tabuly, ČVUT, 000 @5D Pavlí Jiří a oletiv : Sbíra příladů z pravděpodobosti a statistiy, VŠCHT, 999. @6D Rogalewicz Vladimír : Pravděpodobost a statistia pro ižeýry, ČVUT, 998. Doplňová literatura: @7D Aděl Jiří : Matematicá statistia, SNTL, 985. @8D Aděl Jiří : Statisticé metody, Matfyzpress, 998. @9D Dupač Václav, Hušová Marie : Pravděpodobost a statistia, Karolium, 999. @0D Havrda Ja, Mía Staislav, Přiryl Petr : Numericé metody a matematicá statistia, ČVUT, 980. @D Lieš Jiří, Mache Josef : Matematicá statistia, SNTL, 983. @D Lieš Jiří, Mache Josef : Počet pravděpodobosti, SNTL, 98. @3D Réyi Alfréd : Teorie pravděpodobosti.. Úvod.. Matematicá statistia je obor, terý a jedé straě velmi úzce souvisí s teorií pravděpodobosti, ebot' je založe a stejých záladích pojmech, používá v zásadě stejé postupy jao oa a podstatě využívá jejích výsledů, ale a straě druhé se od í výzamě liší. Tato rozdílost mezi oběma teoriemi je dáa tím, že typy úloh, teré řeší matematicá statistia, jsou zpravidla zcela jié ež úlohy pravděpodobostí a v jistém smyslu jsou im dooce opačé. Úlohy teorie pravděpodobosti zpravidla vycházejí ze zalosti přesých, sutečých pravděpodobostí záladích áhodých jevů a a záladě zalosti těchto pravděpodobostí se hledají pravděpodobosti jiých, zpravidla složitějších áhodých jevů. Z "pravděpodobostí" zalosti áhodých veliči, apř. ze zalosti pravděpodobostí fuce u disrétích áhodých veliči resp. ze zalosti distribučí fuce ebo hustoty pravděpodobosti u absolutě spojitých áhodých veliči, se odvozují číselé charateristiy těchto áhodých veliči, jao jsou apř. středí hodota, rozptyl, obecé či cetrálí momety, orelačí oeficiety, vatily apod., dělají se závěry o vlastostech těchto áhodých veliči, apř. o jejich vzájemé ezávislosti, určují se pravděpodobosti toho, že tyto veličiy abudou jistých hodot ebo hodot z jistých itervalů, apod. Lze tedy říci, že v teorii pravděpodobosti předpoládáme, že záme sutečé rozděleí pravděpodobostí záladích áhodých veliči resp. matematicý model záladího souboru áhodých jevů. Naproti tomu ve statisticých úlohách je situace zpravidla v jistém smyslu opačá. Víme apř., že astaly určité jevy z jistého záladího souboru áhodých jevů, a chceme odhadout, jaé měly tyto jevy pravděpodobosti. Nebo jsme zísali pousem, pozorováím či měřeím určitý počet hodot zoumaé áhodé veličiy, jejíž rozděleí pravděpodobosti ezáme, a chceme a záladě těchto dat odhadout buď toto ezámé rozděleí ebo alespoň ěteré číselé charateristiy zoumaé áhodé veličiy, apř. středí hodotu ebo rozptyl, a a záladě taových odhadů pa případě dělat další závěry. Obecě tedy můžeme říci, že matematicá statistia se saží formulovat závěry a tvrzeí o áhodých veličiách a záladě dat zísaých pousem, pozorováím ebo měřeím, tj. a záladě zámých realizací áhodých veliči. Malou uázou typicého statisticého uvažováí je ásledující jedoduchý přílad... Přílad. Představme si, že máme mici, o íž máme rozhodout, zda je přesě symetricá a homogeí. Statisticou metodou to lze provést ásledujícím způsobem.
M6b-06-Statistics.b Hodíme -rát micí a zazameáme, olirát z těchto hodů pade lev. Z teorie pravděpodobosti víme, že počet lvů v micích je áhodá veličia X s biomicým rozděleím pravděpodobosti s parametry a p, de p je pravděpodobost, že v jedom hodu pade lev. To zameá, že pravděpodobost, že lev pade v hodech -rát, je dáa formulí P@X = D = J N p H pl. Je-li mice symetricá a homogeí, je p =, v opačém případě je p. Máme tedy rozhodout, zda platí p = ebo p. Řeěme, že jsme hodili micí 0000-rát, přičemž lev padl 50-rát. Je-li mice symetricá a homogeí, pa s použitím cetrálí limití věty můžeme celem sado vypočítat, že P@»X 5000» > 00D = P@X > 500D U Φ i 500 5000 y j è!!!!!!!!!!!! z = è!!!!!!! 500 π t ê t U 0.03 = 4.6 %. Jiými slovy, pravděpodobost, že počet lvů v ašich 0000 hodech se liší od průměré středí hodoty 5000 liší o více ež 00, je v případě symetricé a homogeí mice pouze 4.6%. To zameá, že za předpoladu, že mice je symetricá a homogeí, áš pous sočil výsledem, terý byl před pousem velmi epravděpodobý. Předpolad symetrie tedy asi eplatí a proto rozhodeme, že mice symetricá a homogeí eí. Nemůžeme si tím být sice zcela jisti, ale spolehlivost tohoto rozhodutí, ja se ve statistice říá, je velá, orétě 95.4%. Teto způsob uvažováí je typicý pro moho statisticých metod, speciálě pro tzv. testováí hypotéz. V ašem příladě jsme staovili hypotézu "mice je symetricá a homogeí" a a záladě výsledu pousu (0000 hodů micí) jsme tuto hypotézu dostatečě spolehlivě (95.4%) zamítli. Kdyby při ašem pousu lev padl pouze, řeěme, 508-rát, byla by situace poěud jiá, eboť tetorát bychom dostali, že P@»X 5000» > 80D = P@X > 5080D U Φ i 8ê5 5080 5000 y j è!!!!!!!!!!!! z = è!!!!!!! 500 π t ê t U 0.055 = %. Výslede s taovouto pravděpodobostí se vša epovažuje za až ta velmi epravděpodobý a my bychom emohli aši hypotézu o symetrii a homogeitě mice zamítout s dostatečě velou pravděpodobostí (spolehlivost ašeho zamítutí by byla je 89%). Jao hraice mezi "velmi epravděpodobý" a "e ta velmi epravděpodobý" výslede se obvyle používá pravděpodobost 5%. Tato hraičí hodota je tzv. hladia výzamosti a začí se α. Volba hodoty této hraice je silě subjetiví záležitostí a může se měit ja v závislosti a řešeém problému, ta i a závažosti důsledů přijetí ebo zamítutí hypotézy.. Náhodý výběr a statistiy.. Ze zušeosti je zámo, že výsledy většiy pousů ja laboratorích, ta provozích, usutečňovaých při fyziálím, chemicém, techicém i jiém výzumu se vyzačují jistými áhodými flutuacemi. Velmi často je povaha experimetu taová, že experimetálě zísaá data jsou ve své podstatě realizacemi jedorozměré ebo vícerozměré áhodé veličiy se zcela určitým typem rozděleí pravděpodobosti. Podobě se v moha případech chovají i data charaterizující jedotlivé čley velého souboru, tj. údaje o áhodě vybraých čleech taového souboru lze též často považovat za realizace jisté áhodé veličiy. Tato áhodá veličia se obvyle azývá záladí soubor ebo populace a oečé možiy jejích hodot, teré zoumáme a a jejichž záladě prostředy teorie pravděpodobosti vyvozujeme závěry o celém záladím souboru, jsou tzv. výběrové soubory. Uazuje se, že vhodým matematicým pojmem postihujícím taovéto situace je pojem áhodého výběru... Defiice. Nechť X je áhodá veličia s jistým rozděleím pravděpodobosti F. Tuto áhodou veličiu azveme záladím souborem eboli populací. Náhodým výběrem o rozsahu, přesěji prostým áhodým výběrem o rozsahu ze záladího souboru X ebo ebo též áhodým výběrem o rozsahu z rozděleí F azveme
M6b-06-Statistics.b 3 libovolou posloupost (vetor) =HX,..., X L ezávislých áhodých veliči majících stejé rozděleí pravděpodobosti jao áhodá veličia X. Možiu všech hodot, jichž může áhodá veličia abývat, azveme výběrovým prostorem a aždý bod tohoto prostoru, tj. možou orétí hodotu áhodého vetoru, azveme realizací áhodého výběru..3. Pozáma. Náhodá veličia je z matematicého hledisa reálá resp. vetorová fuce a pravděpodobostím prostoru. Defiičím oborem záladího souboru X je tedy jistý, většiou ale ezámý pravděpodobostí prostor HW, A, PL, jehož prvy-elemetárí áhodé jevy můžeme iterpretovat jao reprezetaty souborů všech áhodých fatorů ovlivňujících výslede experimetu či pozorováí. Přirozeým defiičím oborem áhodého výběru =HX,..., X L z tohoto záladího souboru pa eí prostor HW, A, PL, ale pravděpodobostí prostor HW, A, QL, de W je obvylý -ásobý artézsý souči W äwäωäw, A je ejmeší s-algebra podmoži prostoru W obsahující všechy možiu tvaru A ä A äωä A, de A i, i =, Ω,, jsou libovolé prvy s- algebry A, a pravděpodobost Q je jedozačě charaterizováa platostí vztahu QHA ä A äωä A L = i= PHA i L pro libovolé prvy A,ΩA ze s-algebry A..4. Pozáma. Výběrovým prostorem je zpravidla Ñ ebo -rozměrý iterval. Abychom se vyhuli jistým ompliacím, budeme vždy implicitě předpoládat, že výběrový prostor je borelovsá podmožia prostoru Ñ, tj. je prvem ejmeší s-algebry podmoži prostoru Ñ obsahující všechy -rozměré itervaly..5. Pozáma. Je-li záladí soubor X p-rozměrý, jsou všechy áhodé veličiy v áhodém výběru =HX,..., X L z tohoto záladího souboru taé p-rozměré. Je-li p, potom aždá realizace výběru je vlastě matice typu Hp, L resp. H, pl v závislosti a oveci. V dalším výladu budeme implicitě předpoládat p =, poud ebude řečeo ěco jiého, i dyž většia z ásledujících úvah a tvrzeí zůstává po víceméě zřejmých modifiacích v platosti i pro p >..6. Přílad. Představme si, že jistým přesě defiovaým postupem zjišťujeme obsah určité chemiálie, apř. yseliy chlorovodíové v ějaém roztou. Na možství HCL ve zoumaém roztou můžeme pohlížet jao a áhodou veličiu X s jistým rozděleím pravděpodobosti F, terá může abývat hodot 0-00 [%]. Tato áhodá veličia představuje záladí soubor, áhodý vetor =HX,..., X L, terý představuje obsah HCL v možém výběru vzorů, je áhodým výběrem o rozsahu z rozděleí F a možé výsledy aalýzy těchto vzorů, tj. -tice Hx,..., x L čísel z itervalu X0, 00\, tvoří výběrový prostor. Vybereme-li áhodě -tici vzorů a provedeme jejich aalýzu, dostaeme orétí prve výběrového prostoru, tj. realizaci áhodého výběru. Defiičím oborem záladího souboru je jistý pravděpodobostí prostor HW, A, PL, terý ezáme. Prvy možiy W můžeme v tomto případě považovat apř. za reprezetaty všech možých experimetů, z ichž aždý spočívá v aalýze jedoho z možých vzorů zoumaého roztou. Aalýza áhodě vybraých vzorů je tedy reprezetováa uspořádaou -ticí Hw, Ω, w L prvů možiy W a X i je áhodá veličia, terá této -tici přiřazuje výslede aalýzy i- tého vzoru. Jiou možostí je iterpretovat prvy možiy W přímo jao výsledy aalýz všech možých vzorů, tj. jao prvy itervalu X0, 00\. Při této iterpretaci je X ideticé zobrazeí tohoto itervalu do Ñ a áhodá veličia X i prostě -tici Hw, Ω, w L přiřazuje číslo w i..7. Z dat zísaých pousem ebo pozorováím, tj. z realizací áhodých výběrů, se zpravidla vypočítávají hodoty růzých uazatelů, apř. průměrá hodota, miimálí ebo maximálí hodota, apod. Něteré z těchto uazatelů umožňují stručě a přehledě shrout aměřeé výsledy, jié zase umožňují určité závěry o rozděleí pravděpodobosti pozorovaých áhodých veliči a ěteré mohou být i oečým cílem pousů. Např. při opaovaém zjišťováí ocetrace ějaé láty v áhodě vybraých vzorcích roztou, viz přílad.6, jde oec oců o staoveí ocetrace této láty v celém roztou a smyslem opaováí je zmešeí chyby výsledu a vyloučeí případých hrubých omylů. Jestliže metoda staoveí je taová, že středí hodota všech veliči X i je rova sutečé hodotě ocetrace, tj. eí-li metoda měřeí zatížea systematicou chybou, pa jde vlastě o úlohu zjištěí středí hodoty určitého rozděleí pravděpodobosti. Ituitivě je jasé, že tuto sutečou ocetraci můžeme odhadout aritmeticým průměrem aměřeých hodot x,..., x, tj. číslem ñ = x i, i=
4 M6b-06-Statistics.b a že teto odhad asi bude tím lepší, čím větší bude. Je vša taé zřejmé, že pro aalýzu jiých vzorů, tj. pro jiou realizaci áhodého výběru =HX,..., X L bude teto odhad jiý. To zameá, že teto aritmeticý průměr má též áhodý charater a představuje realizaci áhodé veličiy tj. realizaci aritmeticého průměru veliči X,..., X. = X i, i= Náhodá veličia je příladem tzv. statistiy eboli výběrové charateristiy áhodého výběru..8. Defiice. Statistiou eboli výběrovou charateristiou áhodého výběru =HX,..., X L se azývá aždá fuce tvaru ghx,..., X L, de g je borelovsy měřitelá fuce, jejíž defiičí obor obsahuje výběrový prostor příslušý výběru..9. Pozáma. Možia A ÕÑ se azývá borelovsá, je-li prvem ejmeší s-algebry a Ñ obsahující všechy otevřeé podmožiy prostoru Ñ. Reálá resp. vetorová fuce g se azývá borelovsy měřitelá, jestliže její defiičí obor je borelovsy měřitelá možia a možia g - HGL je borelovsy měřitelá pro aždou otevřeou podmožiu G jejího oboru hodot. Borelovsy měřitelé jsou apř. všechy spojité fuce a aždá fuce, terá je bodovou limitou borelovsy měřitelých fucí, je opět borelovsy měřitelá. V orétích úlohách tedy můžeme s lidým svědomím předpoládat, že podmía borelovsé měřitelosti je splěa..0. Nejčastěji používaé statistiy. Nejčastěji se používají statistiy, jejichž hodoty v případě áhodého výběru dostatečě velého rozsahu s velou pravděpodobostí dobře aproximují ejběžější charateristiy záladího souboru, jao jsou středí hodota, rozptyl, momety a ěteré další. Výběrový průměr: = X i. i= Výběrový průměr je empiricým protějšem středí hodoty áhodé veličiy. Jestliže m je středí hodota a s je směrodatá odchyla (rozděleí) záladího souboru, z ěhož áhodý výběr =HX,..., X L pochází, potom díy ezávislosti áhodých veliči X,..., X sado vypočteme, že E = i= E HX i L = µ Podle Čebyševovy věty tedy pro aždé > 0 platí erovost = µ, varh L = P@» µ» D i= σ. varhx i L = σ To zameá, že pro libovolou realizaci Hx, Ω, x L áhodého výběru bude erovost = σ.»ñ µ» = ƒ x i µ i= ƒ platit s pravděpodobostí alespoň - ÅÅÅÅÅÅÅÅ s. Dále odtud plye, že = ÅÅÅÅ m pro Ø, tj. že i= lim P@» µ» D = 0 pro aždé > 0. X i overguje podle pravděpodobosti
M6b-06-Statistics.b 5 Výběrový rozptyl: S = S = HX i L = i= H L i j X i i j y X i z i= i= y z,. Tato statistia je mírou variability experimetálích výsledů a je experimetálí aalogií rozptylu varhx i L = s. Má-li rozděleí, z ěhož áhodý výběr pochází, středí hodotu m a směrodatou odchylu s, potom a tedy H L EHS L = E i i j j X i i j y y X i z zz = i= i= = E i j X i y z = EHX i L EH L = EHHX i µ + µl L EIH µ + µl M = i= i= i= = varhx i L + i= i= µ varh L µ = σ + µ σ µ = H L σ. EHS L = σ. Podobým způsobem, jaým jsme určili středí hodotu výběrového rozptylu, můžeme ajít formuli pro rozptyl statistiy S, avša její odvozeí je podstatě složitější. Má-li rozděleí, z ěhož áhodý výběr pochází, středí hodotu m, rozptyl s a čtvrtý cetrálí momet m 4, potom rozptyl statistiy S je dá formulí y varhs L = µ 4 3 H L σ4,. Podle Čebyševovy erovosti tedy za uvedeých předpoladů pro > a libovolé > 0 platí erovost P@»S σ» D J µ 4 3 H L σ4 N µ 4. Pro libovolou realizaci Hx, Ω, x L áhodého výběru odtud plye aalogicý závěr jao v případě výběrového průměru a středí hodoty m záladího souboru. Pozáma. Kdybychom byli defiovali S formulí S = ÅÅÅÅ i= IX i - M, s íž se též můžete setat v ěterých učebicích, dostali bychom složitější vztah vztah EHS L = ÅÅÅÅÅÅÅÅ - s. Podstatý rozdíl vša mezi oběma defiicemi eí, eboť pro z veličia ÅÅÅÅÅÅÅÅ - s overguje s. Výběrová směrodatá odchyla: S = i j i= HX i L y z Výběrová směrodatá odchyla je tedy druhou odmociou z výběrového rozptylu. Tato statistia je aalogií směrodaté odchyly s áhodé veličiy X i. Protože platí pro výběr z libovolého rozděleí erovost Výběrový r-tý obecý momet: varhsl = EHS L E HSL = σ E HSL 0, EHSL σ. M r = M r H L = X r i, r =,,... i=
6 M6b-06-Statistics.b Speciálě tedy prví obecý momet M splývá s výběrovým průměrem X. Pro středí hodotu a rozptyl statistiy M r se za předpoladu existece obecého mometu m r sado odvodí formule EHM r L = m r, varhm r L = Hm r m r L. Existuje-li tedy obecý momet m r = EHX i r L, potom pro z výběrový momet M r overguje podle pravděpodobosti m r. Výběrový r-tý cetrálí momet: M ' r = M ' r H L = HX i L r i= Speciálě tedy M ' = - ÅÅÅÅÅÅÅÅ S, taže výběrový rozptyl S se eshoduje s druhým cetrálím mometem. Výběrový oeficiet šimosti a špičatosti: A 3 = M 3 ' HM ' L 3ê, A 4 = M 4 ' HM ' L 3 Pozáma. Zde zavedeá symbolia eí bohužel všeobecě přijata, taže se v literatuře můžete setat apř. s tím, že M r zameá výběrový r-tý cetrálí momet, zatímco M r ' zameá výběrový r-tý obecý momet. Lišit se může i defiice výběrového oeficietu špičatosti. 3. Rozděleí výběrové statistiy èèè Protože statistiy jsou áhodé veličiy, můžeme a ě apliovat všechy výsledy teorie pravděpodobosti. Prví z ásledujících dvou vět pouze opauje vlastosti výběrového průměru, teré už záme z odstavce, ve terém jsme výběrový průměr defiovali, a druhá představuje dobře zámé tvrzeí z teorie pravděpodobosti. 3.. Věta. Výběrový průměr áhodého výběru =HX,..., X L z populace se středí hodotou m a směrodatou odchylou s má rozděleí se stejou středí hodotou m a směrodatou odchylou së è!!!!. á 3.. Věta. Jestliže záladí soubor, z ěhož áhodý výběr =HX,..., X L pochází, má ormálí rozděleí NHm, s L, potom výběrový průměr má ormálí rozděleí NHm, s ê L. á V případě, že o rozděleí záladí populace ic evíme, máme dispozici pouze ásledující větu, terá je jedím ze záladích výsledů teorie pravděpodobosti a je všeobecě záma jao cetrálí limití věta. 3.3. Věta. Nechť X, X,..., X i,... je eoečá posloupost vzájemě ezávislých áhodých veliči se stejým rozděleím F, středí hodotou m a rozptylem s, taže pro aždé přirozeé je =HX,..., X L áhodý výběr z rozděleí F. Jestliže X je výběrový průměr výběru, potom pro aždé reálé x Ä É x lim P µ z ÇÅ σë è!!! x ÖÑ = è!!!!!!! π t ê t, a to stejoměrě a Ñ. á Výše uvedeý limití vztah zameá, řečeo e zcela přesě, že distribučí fuci ormovaé (stadardizovaé) áhodé veličiy Y = X -m ÅÅÅÅÅÅÅÅÅÅÅÅÅÅ së è!!!! lze pro dostatečě velá přibližě ahradit distribučí fucí ormovaého ormálího rozděleí, a tedy distribučí fuci statistiy lze pro dostatečě velá přibližě ahradit distribučí fucí s ormálího rozděleí s parametry m a ÅÅÅÅÅÅÅÅ, přičemž chyba, teré se dopustíme, epřesáhe předem daou ladou è!!!! mez. Potíž je pouze v tom, že evíme, co jsou to dostatečě velá.
M6b-06-Statistics.b 7 4. Rozděleí výběrových statisti S a S 4.. Rozděleí c. Říáme, že áhodá veličia X má rozděleí c HL eboli rozděleí c s stupi volosti, má-li stejé rozděleí pravděpodobosti jao veličia Y = X + Ω + X, de X, X,..., X jsou vzájemě ezávislé áhodé veličiy s rozděleím NH0, L. Je-li F distribučí fuce taové áhodé veličiy, pa zřejmě FHxL = 0 pro x < 0 a libovolé, a proto stejou vlastost má i její hustota pravděpodobosti f. Je-li =, potom pro x > 0 je zřejmě F HxL = P@Y xd = PAX è!!! xe PAX < è!!! xe = è!!!! x è!!!!!!! π t ê t, è!!!! x a tedy è!!!! x i f HxL = x j è!!!!!!! π t ê t y è!!!! z = x è!!! x i j è!!!!!!! xê π + è!!!!!!! xê y z = π x ê xê è!!! ΓHêL. Odtud lze již poměrě sado pro hustotu pravděpodobosti f veličiy Y = X + Ω + X s rozděleím c odvodit matematicou iducí formuli f HxL = l o 0 pro x 0, m o x ê xê ê ΓH L pro x > 0. Idučí ro z a + se opírá o ezávislost áhodých veliči X + Ω + X, X +, o vlastosti Eulerových fucí Gamma a Beta a taé o větu, podle íž hustota pravděpodobosti součtu dvou ezávislých áhodých veliči je ovolucí jejich hustot. Nejprve použijeme zmíěou větu o hustotě pravděpodobosti součtu, potom provedeme jedoduché úpravy a jedoduchou substituci, přičemž použijeme vlastosti zmíěých Eulerových fucí, a postupě dostaeme x x Hx tl f + HxL = f Hx tl f HtL t = ê Hx tlê 0 0 ê ΓHêL t ê tê è!!! ΓHêL t = = xê H+Lê ΓHêL ΓHêL 0 x Hx tl ê t ê t = À t = x u t = x u À = = xê x ê x ê x H+Lê ΓHL ΓHêL H ul ê u ê u = 0 xê x H+Lê H+Lê ΓHêL ΓHêL BJ, N = = xê x H+Lê ΓH L ΓH L H+Lê ΓHêL ΓHêL ΓH + L = xê x H+Lê H+Lê ΓH + L, což bylo třeba doázat. 4.. Statistia S a rozděleí c. Rozděleí statisti S a S áhodého výběru = HX,..., X L jsou záma pouze za určitých předpoladů o rozděleí záladího souboru. Najdeme rozděleí těchto statisti za předpoladu, že záladí soubor má ormálí rozděleí NHm, s L, a současě uážeme, že statistiy, S jsou ezávislé. Z defiice statistiy S především plye, že H L S σ = H L S Ø = HY i ØL, i= de áhodé veličiy Y i = X i-m ÅÅÅÅÅÅÅÅÅÅÅÅ mají zřejmě ormálí rozděleí NH0, L. Uážeme, že existují ezávislé áhodé s veličiy U,..., U - s ormovaým ormálím rozděleím, pro ěž
8 M6b-06-Statistics.b H L S σ = HY i ØL = U i. i= i= Uvažujme čtvercovou matici i.. y 0.. 0 0 Â =............ 0 0.. 0 j 0 0.. 0 z řádu, terá má v prvím řádu a a diagoále jedičy a a ostatích místech uly. Apliujeme-li a posloupost jejích řádových vetorů Ü = H,,, L,, Ü = H0,, 0, L Gramův-Schmidtův ortoormalizačí proces, dostaeme jistou ortogoálí matici tvaru i è!!!! è!!!!.. è!!!! y À = j a a.. a.......... a... a z = Á.Â, de Á je souči elemetárích matic odpovídajících jedotlivým roům v Gramově-Schmidtově procesu. Položme Ô T = HU,, U L T = À.Ø T. Protože zřejmě U = è!!! Ø a protože lieárí zobrazeí s ortogoálí maticí zachovává salárí souči aritmeticých vetorů, je a tedy Ø + U i = U i = Ô.Ô = Ø.Ø = Y i, i= i= i= H L S σ = HY i ØL = Y i Ø = U i. i= i= i= Jistě jste si povšimli, že až dosud jsme předpolad, že záladí soubor má ormovaé ormálí rozděleí, vlastě epotřebovali. Teď teto předpolad využijeme tomu, abychom doázali, že áhodé veličiy U = è!!! Ø, U,..., U mají ormovaé ormálí rozděleí a jsou ezávislé. Protože áhodé veličiy Y,..., Y jsou ezávislé a mají ormovaé ormálí rozděleí, áhodý vetor Ø má hustotu pravděpodobosti de ghòl = exp J ò.òn, ò = Hy,..., y L a ò.ò = y i. Protože ásobeí vetoru ortogoálí maticí zachovává salárí souči, áhodý vetor Ô má hustotu pravděpodobosti ghî.àl» det À» = ghî.àl = exp J i= Hî.ÀL.Hî.ÀLN = expj î.în.
M6b-06-Statistics.b 9 Odtud již sado plye, že áhodé veličiy U = è!!! Ø, U, Ω, U mají všechy ormovaé ormálí rozděleí a jsou ezávislé. Jsou tedy ezávislé i áhodé veličiy = ÅÅÅÅÅÅÅÅ è!!!! s U + m a S = ÅÅÅÅÅÅÅÅ s - i= U i. Doázali jsme tedy ásledující větu o rozděleí výběrového rozptylu S. 4.3. Věta. Je-li S výběrový rozptyl áhodého výběru = HX,..., X L ze záladího souboru s ormálím rozděleím NHm, s H-L S L, potom statistia ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ má rozděleí c s - stupi volosti a proto S má hustotu s pravděpodobosti h HxL = 0, x 0, x H L lo σ f J σ N = m H L x 3 o exph x H L L, σ x > 0. ΓH L σ Statistiy, S jsou romě toho ezávislé. á 4.4. Pozáma. Vypočteme-li pomocí alezeé hustoty středí hodotu EHS L, dostaeme ám už zámý výslede EHS L = s. Z právě vysloveé věty už sado vyplývá ásledující věta o rozděleí výběrové směrodaté odchyly S. 4.5. Věta. Výběrová směrodatá odchyla S = è!!!!!! S áhodého výběru = HX,..., X L ze záladího souboru s ormálím rozděleí NHm, sl má rozděleí c s - stupi volosti a proto má hustotu pravděpodobosti Statistiy, S jsou romě toho ezávislé. á 0 pro x 0, lo g HxL = x h Hx L = m H L x o expi H L x σ M pro x > 0. ΓH L σ 4.6. Pozáma. Pomocí alezeé hustoty pravděpodobosti g bychom už celem sado mohli vypočítat středí hodotu EHSL a rozptyl varhsl. Dostali bychom EHSL = J N ΓH L ΓH L σ, varhsl = i j Γ H L Γ H y L z σ. 5. Empiricá distribučí fuce, čárový diagram a histogram V apliacích matematicé statistiy máme obvyle dispozici pouze realizace áhodého výběru z rozděleí ěteré áhodé veličiy X. O rozděleí pravděpodobosti této áhodé veličiy přitom evíme buď vůbec ic ebo, v lepším případě pouze víme, do jaé ze zámých tříd rozděleí patří. Prví představu o tomto rozděleí můžeme zísat pomocí empiricé eboli výběrové distribučí fuce ebo pomocí čárového diagramu, azývaého též úsečový diagram ebo tyčový diagram, ebo pomocí tzv. histogramu. 5.. Defiice. Nechť ñ =Hx,..., x L je libovolá realizace (prostého) áhodého výběru ze záladího souboru X. Empiricou ebo též výběrovou distribučí fucí se azývá fuce F a možiě reálých čísel defiovaá předpisem F HxL = χ H,x\ Hx i L, i= de c H-,x\ je charateristicá fuce itervalu H-, x\. Následující věta říá, že z dostatečě velého áhodého výběru lze s pravděpodobostí, eboli téměř jistě, zísat libovolě podrobou iformaci o distribučí fuci záladího souboru. Jejím edostatem je, že eříá ic o rychlosti této overgece. 5.. Věta (V. I. Gliveo). Nechť X, X,..., X i,... je eoečá posloupost ezávislých áhodých veliči defiovaých a pravděpodobostím prostoru HW, A, PL a majících stejou distribučí fuci F a echť x = X HwL, x = X HwL, Ω, x i = X i HwL, Ω je posloupost jejich realizací, taže pro aždé přirozeé vetor ñ =Hx,..., x L je
0 M6b-06-Statistics.b realizací prostého áhodého výběru =HX,..., X L z rozložeí F. Jestliže F je empiricá distribučí fuce určeá realizací ñ áhodého výběru, potom s pravděpodobostí lim z F HxL = FHxL stejoměrě a Ñ. 5.3. Přílad. Pomocí počítačových algebraicých systémů, jao jsou apř. Wolframova Mathematica 4, ebo Maple 5, lze Gliveovu větu velmi pěě ilustrovat graficy. Každý z ásledujících čtyř diagramů zobrazuje distribučí fuci ormálího rozděleí NH0, L a empiricou distribučí fuci jedé realizace jedoho ze čtyř (pseudo)áhodých výběrů z tohoto rozděleí. Všechy čtyři realizace jsou počátečí úsey ñ dély =00, 400, 600 resp. 6400 sezamu ñ dély 00 * 0, terý byl geerová ve Wolframově systému Mathematica 4 fucí Radom[NormalDistributio[0,]] z balíču Statistics`CotiuousDistributios` po astaveí geerátoru pseudoáhodých čísel istrucí SeedRadom[5945775663664039]. 0.8 0.6 0.4 0. 0-4 - 0 4 0.8 0.6 0.4 0. 0-4 - 0 4
M6b-06-Statistics.b 0.8 0.6 0.4 0. 0-4 - 0 4 0.8 0.6 0.4 0. 0-4 - 0 4 O rychlosti overgece empiricých distribučích fucí F distribučí fuci F rozděleí NH0, L dává určitou představu ásledující sezam přibližých hodot maxim, terých diferece»f HxL - FHxL» abývá a úsecích dély 00ä sezamu ñ, de = 0,, Ω, 0: 80.063309, 0.0463055, 0.043503, 0.098408, 0.09006, 0.0776, 0.009834, 0.0059676, 0.0040458, 0.0038004, 0.0034575< 5.4. Čárový diagram. Nechť ñ =Hx,..., x L je realizace áhodého výběru = HX,..., X L. Nechť x < x <... < x r je prostá posloupost všech prvů možiy 8x,..., x < a echť i je počet všech celých čísel j z itervalu X, \, pro ěž x j = x i *. Jiými slovy, i je četost, tj. počet výsytů prvu x i * v poslouposti ñ. Čárový diagram realizace ñ áhodého výběru zázorňuje a jedé souřadé ose hodoty x *, x *,..., x r * této realizace a a druhé jejich četosti
M6b-06-Statistics.b i ebo jejich relativí četosti i ÅÅÅ Å. Je to vlastě graf fuce f defiovaé a možiě 8x *, x *,..., x * r <, jejíž hodota v * bodě x i je rova i resp. i ÅÅÅÅÅ. Pro větší ázorost se místo bodů @x i *, fhx * i LD zpravidla reslí úsečy, spojující aždý z těchto bodů s příslušým bodem @x * i, 0D. Má-li záladí soubor disrétí rozděleí a je-li rozsah výběru dostatečě veliý, může čárový diagram dát víceméě spolehlivou představu o pravděpodobostí fucí záladího souboru. V případě záladího souboru se spojitým rozděleím to může platit jeom tehdy, jsou-li x i ioliv přesé, ale začě hrubě zaorouhleé hodoty veliči X i, eboť se praticy estae, aby dvě ezávislé áhodé veličiy se spojitým rozděleím abyly přesě stejé hodoty. Např. všechy čley sezamu ñ z příladu 5.3 jsou růzé, ale po zaorouhleí a 4 resp. 3 resp. resp. desetié místo dostaeme 3759 resp. 587 resp. 76 resp. 87 růzých čísel. 5.5. Přílad. Každý z ásledujících šesti diagramů zobrazuje pravděpodobostí fuci biomicého rozděleí s parametry = 0, p = ê a relativí četosti jedé realizace jedoho ze šesti (pseudo)áhodých výběrů z tohoto rozděleí. Tyto realizace jsou počátečími úsey ñ dély =00, 400, 600, 6400, 5600 resp. 0400 sezamu ñ dély 00 * 0, terý byl geerová v systému Mathematica 4 fucí Radom[BiomialDistributio[0,/]] z balíču Statistics`DiscreteDistributios` po astaveí geerátoru pseudoáhodých čísel istrucí uvedeou v příladu 5.3. Pod aždým diagramem je uvede příslušý sezam četostí. 0.5 0. 0.5 0. 0.05 0 0 4 6 8 0 80,, 6,, 5, 5, 6, 8, 3, 4, 0< 0.5 0. 0.5 0. 0.05 0 0 4 6 8 0 80, 3,, 43, 87, 03, 65, 54, 3, 9, <
M6b-06-Statistics.b 3 0.5 0. 0.5 0. 0.05 0 0 4 6 8 0 83, 4, 79, 80, 337, 40, 30, 97, 57, 0, < 0.5 0. 0.5 0. 0.05 0 0 4 6 8 0 85, 6, 308, 73, 39, 554, 80, 778, 7, 75, 6< 0.5 0. 0.5 0. 0.05 0 0 4 6 8 0 83, 66, 35, 978, 58, 689, 56, 3078, 054, 6, 6<
4 M6b-06-Statistics.b 0.5 0. 0.5 0. 0.05 0 0 4 6 8 0 809, 005, 4533, 836, 07, 55, 0938, 69, 447, 96, 98< 5.6. Třídí četosti a histogram. Zaorouhlováí hodot áhodých veliči je vlastě zvláštím případem tříděí dat. Nechť ñ =Hx,..., x L je tedy libovolá posloupost reálých čísel. Zvolme reálá čísla c 0 < c < Ω < c a uvažujme itervaly I = Xc 0, c \, I = Hc, c \,, I = Hc, c \. Itervaly I, Ω, I lze volit i jia, vždy vša musí být disjutí a jejich sjedoceí musí obsahovat všechy čley poslouposti ñ. Obvyle se taé volí stejě velé, i dyž stejá veliost eí podmíou. Nechť j je počet čleů poslouposti ñ ležících v itervalu I j. Itervalům I, Ω, I se říá třídy, čísla, Ω se azývají (absolutí) třídí četosti a čísla ê, Ω, ê jsou tzv. relativí třídí četosti. Součet třídích četostí se zřejmě rová a součet relativích četostí se rová. Četosti resp. relativí četosti, tj. rozděleí čleů poslouposti ñ do jedotlivých tříd, dobře graficy zázorňuje sloupcový diagram, jehož sloupce mají za zálady itervaly I, Ω, I, přičemž výša sloupce ad záladou I j je pro aždé j rova j resp. j ê. Jestliže ad aždým itervalem I j sestrojíme sloupec o výšce ÅÅÅÅÅÅÅÅ j d j, de d j je šířa třídy I j, dostaeme tzv. histogram. Termiologie vša eí ustáleá a ta histogramem se často azývá i sloupcový diagram, jehož sloupce mají výšy rové absolutím ebo relativím četostem. Je-li ñ realizace áhodého výběru =HX,..., X L ze záladího souboru X se spojitým rozděleím pravděpodobosti, pa histogram může posytout přibližou představu o hustotě pravděpodobosti áhodé veličiy X. Obecě lze říci, že při vhodé volbě tříd I, Ω, I tato představa bude tím přesější, čím větší bude rozsah tohoto výběru, a že graf hustoty pravděpodobosti áhodé veličiy X prote horí záladu většiy sloupců přibližě v jejím středu. Nelze vša očeávat, že histogram bude poaždé vystihovat tvar hustoty pravděpodobosti ta věrě jao a diagramech v ásledujícím příladu. 5.7. Přílad. Každý z ásledujících šesti diagramů zobrazuje hustotu pravděpodobosti ormálího rozděleí NH0, L a histogram jedé realizace jedoho ze šesti (pseudo)áhodých výběrů z tohoto rozděleí. Všech šest realizací jsou úsey dély 00, 400, 600, 6400, 5600 resp. 0400 sezamu ñ z příladu 5.3. Výša aždého sloupce je součiem převráceé hodoty šířy jeho zálady a příslušé relativí třídí četosti. Pod aždým diagramem je uvede příslušý sezam četostí.
M6b-06-Statistics.b 5 0.4 0.3 0. 0. 0-4 - 0 4 80, 0, 8, 4, 4,, 5, 0, 0< 0.4 0.3 0. 0. 0-4 - 0 4 80,, 9, 95, 63, 90, 8, 3, 0< 0.4 0.3 0. 0. 0-4 - 0 4
6 M6b-06-Statistics.b 0.4 80, 4, 0, 400, 593, 395, 87, 9, < 0.3 0. 0. 0-4 - 0 4 80, 4, 3, 00, 96, 733, 305, 560, 83, 749, 56, 8, 7,, 0< 0.4 0.3 0. 0. 0-4 - 0 4 80,,, 3, 7, 6, 66, 65, 308, 555, 989, 460, 977, 583, 97, 38, 300, 576, 066, 478, 948, 57, 36, 58, 77, 3, 9, 5,, 0, 0< 0.4 0.3 0. 0. 0-4 - 0 4
M6b-06-Statistics.b 7 80, 0, 0,,, 4, 5, 6, 7,, 39, 69, 05, 55, 55, 37, 546, 748, 060, 374, 88, 4, 85, 3499, 4083, 473, 540, 5833, 649, 6393, 6498, 6405, 606, 573, 533, 480, 4034, 3563, 859, 336, 867, 433, 08, 779, 500, 38, 67, 8,, 76, 37, 7,, 7, 4,, 3,, 0, 0, 0< 6. Bodové odhady parametrů: záladí pojmy 6.. Chceme-li e zoumáí reálého jevu áhodého charateru použít teorii pravděpodobosti, musíme ejprve vytvořit jeho pravděpodobostí model. Prvím roem tomuto modelu je charaterizace zoumaého jevu vhodou reálou ebo vetorovou áhodou veličiou X a odhad typu rozděleí pravděpodobosti této áhodé veličiy. Typ rozděleí lze často určit teoreticou úvahou, a záladě zušeostí s jevy podobého charateru, pomocí předběžých testů ebo ombiací všech těchto postupů. Rozděleí pravděpodobosti určitého typu je zpravidla charaterizováo jedím ebo ěolia parametry, tj. prvem J =HJ, Ω, J L ějaé podmožiy Q prostoru Ñ. To zameá, že jeho distribučí fuce je prvem jisté parametricé soustavy 8F J ; J œ Q<. Náhodé veličiě X, terou zoumáme, přitom odpovídá zcela určitá hodota parametru J, terou vša ezáme a terou čistě teoreticými úvahami staovit elze. Druhý ro hledaému pravděpodobostímu modelu proto spočívá v co ejpřesějším odhadutí této správé hodoty parametru J pouze a záladě experimetálích dat, tj. a záladě realizací ñ áhodých výběrů ze záladího souboru X. Běžě se používají dva typy odhadů. Odhadujeme-li správou hodotu parametru J a záladě realizace ñ áhodého výběru jediým prvem J` œ Q, mluvíme o bodovém odhadu. Protože pro jiou realizaci stejého áhodého výběru zřejmě dostaeme stejým postupem jiý odhad, musíme a bodový odhad J` pohlížet jao a áhodou veličiu. Nevýhodou bodového odhadu zpravidla je, že evíme ic o jeho přesosti. Proto se často dává předost tzv. itervalovému odhadu, terý spočívá v udáí dvou čísel, dolího a horího odhadu, mezi imiž správá hodota parametru J s jistou zámou pravděpodobostí, zvaou oeficiet spolehlivosti, leží. 6.. Defiice. Nechť X je (reálá) áhodá veličia, jejíž distribučí fuce je prvem parametricé soustavy 8F J ; J œ Q<, de Q je eprázdá (borelovsá) podmožia prostoru Ñ a J =HJ, Ω, J L, a echť t : QzÑ je (borelovsy měřitelá) fuce. Možiu Q azveme parametricým prostorem, fuci t azveme parametricou fucí a aždou statistiu t` H L, de =HX, Ω, X L je áhodý výběr ze záladího souboru X, azveme bodovým odhadem parametricé fuce t. 6.3. Pozáma. Odhad t` H L parametricé fuce t je tedy áhodá veličia. Protože rozděleí pravděpodobosti áhodého vetoru závisí a parametru J, závisí a tomto parametru ja rozděleí pravděpodobosti odhadu t` H L, ta i růzé jeho číselé charateristiy, apř. středí hodota a rozptyl, ačoliv fuce t` samotá a J ezávisí. Budeme-li chtít tuto sutečost, terou je třeba mít stále a zřeteli, zdůrazit, budeme psát apř. E J t` H L místo E t` H L, var J t` H L místo var t` H L, atd. 6.4. Defiice. Bodový odhad t` H L parametricé fuce t se azývá estraý, jestliže E J t` H L = thjl pro aždé J œ Q. V opačém případě se odhad azývá vychýleý a rozdíl BHϑL = B τˆh L HϑL = E ϑ τˆh L τhϑl se azývá vychýleí ebo jedostraost odhadu. Jestliže t` H L je estraý odhad parametricé fuce t a pro aždý jiý estraý odhad t è H L fuce t platí impliace ϑεθ var ϑ τˆh L var ϑ τ H L, potom říáme, že t` H L je ejlepší estraý odhad parametricé fuce t. 6.5. Přílad. Z čláu.0, v ěmž jsme defiovali výběrový průměr a výběrový rozptyl, víme, že pro aždý áhodý výběr ze záladího souboru s oečou středí hodotou a oečým rozptylem E = µ, EHS L = σ.
8 M6b-06-Statistics.b To zameá: Je-li 8F J ; J œ Q< libovolá parametricá soustava distribučích fucí a Ñ s oečou středí hodotou a oečým rozptylem a patří-li distribučí fuce záladího souboru X do této soustavy, potom výběrový průměr je estraým odhadem parametricé fuce J Ø E J X a výběrový rozptyl S je estraým odhadem parametricé fuce J Ø var J X. 6.6. Středí vadraticá chyba odhadu a relativí eficiece. Nestraost sama o sobě ještě ezaručuje, že odhad je dobrý. Kromě estraosti je důležitá veliost jeho rozptylu. Ze dvou estraých odhadů si vždy vybereme odhad s meším rozptylem. Vychýleé odhady můžeme porovávat pomocí veličiy zvaé středí vadraticá chyba odhadu, což je fuce a parametricém prostoru Q, defiovaá pro odhad t` H L formulí KHϑL = K τˆh L HϑL = E ϑ HτˆH L τhϑll = B τˆh L HϑL + var ϑ τˆh L, ϑ Θ. Pro estraý odhad tedy středí vadraticá chyba odhadu splývá s jeho rozptylem. Jsou-li t` H L, t` H L dva odhady téže parametricé fuce, pa za lepší považujeme te, jehož středí vadraticá chyba je meší. Číselým vyjádřeím poměru vality obou odhadů je tzv. relativí eficiece eboli vydatost odhadu t` H L vzhledem odhadu t` H L, což je fuce a parametricém prostoru defiovaá jao poměr K τˆh LHϑL K = E ϑhτˆh L τhϑll τˆh LHϑL E ϑ HτˆH L τhϑll = B τ ˆH LHϑL + var ϑ τˆh L HϑL + var ϑ τˆh L. B τˆh L 6.7. Postačující statistiy. Předpoládejme, že distribučí fuce záladího souboru X je prvem parametricé soustavy 8F J ; J œ Q<, de Q je eprázdá borelovsá podmožia prostoru Ñ a J =HJ, Ω, J L, a že astává jede z těchto dvou případů: (a) distribučí fuce F J je pro aždé J œ Q fucí soů, tj. příslušé rozděleí pravděpodobosti je disrétí, ebo (b) distribučí fuce F J je pro aždé J œ Q absolutě spojitá. V případě (a) ozačme f J HxL pravděpodobostí fuci áhodé veličiy X, v případě (b) echť stejý symbol zameá hustotu pravděpodobosti veličiy X. Sdružeá pravděpodobostí fuce resp. sdružeá hustota pravděpodobosti áhodého výběru =HX, Ω, X L ze záladího souboru X je tedy pro aždé J œ Q dáa formulí Říáme, že statistiy f ϑ HñL fhñl = fhx,, x L = f ϑ Hx i L. S H L = S HX,, X L,, S r H L = S r HX,, X L, de =HX, Ω, X L je áhodý výběr z rozděleí X, jsou postačující pro parametr J, jestliže sdružeou pravděpodobostí fuci resp. sdružeou hustotu pravděpodobosti f J HñL áhodého výběru lze vyjádřit ve tvaru de g, h jsou ezáporé borelovsé fuce. Výzam postačujících statisti spočívá v ásledující větě. i= f ϑ HñL = ghs HñL,, S r HñL; ϑl.hhñl, 6.8. Věta. Nechť =HX, Ω, X L je áhodý výběr ze záladího souboru X s rozděleím závislým a parametru J =HJ, Ω, J L œ Q ÕÑ, echť S H L, Ω, S r H L jsou postačující statistiy pro parametr J a echť t : Q ØÑ je parametricá fuce. Potom e aždému odhadu t` H L fuce t existuje borelovsá fuce t * Hs, Ω, s r L ta, že pro odhad fuce t platí impliace τ H L = τ HS H L,, S H LL ϑ Θ E ϑ τ H L = E ϑ τˆh L, ϑ Θ E ϑ Hτ H L τhϑll E ϑ HτˆH L τhϑll. Důslede: existuje-li ejlepší estraý odhad pro t, potom existuje ejlepší estraý odhad pro t tvaru t * HS H L, Ω, S r H LL. 6.9. Rozděleí expoeciálího typu. Nechť X je disrétí ebo spojitá áhodá veličia X, jejíž distribučí fuce je prvem parametricé soustavy 8F J ; J œ Q<, de Q je eprázdá borelovsá podmožia prostoru Ñ a
M6b-06-Statistics.b 9 J =HJ, Ω, J L. Řeeme, že X má rozděleí expoeciálího typu, jestliže její pravděpodobostí fuce resp. hustota pravděpodobosti je dáa předpisem typu fhx, ϑl = 0 fi fhx, ϑl = exp i j Q j HϑL U j HxL y z RHϑL VHxL, j= r de možia 8x; f Hx, JL > 0< ezávisí a J œ Q a Q obsahuje -rozměrý iterval. Je-li =HX, Ω, X L áhodý výběr z taového záladího souboru X, pa pro sdružeou hustotu pravděpodobosti f Hñ ; JL áhodého vetoru zřejmě platí vztah de fhñ, ϑl > 0 fhñ; ϑl = exp i j RHϑL + Q j HϑL S j HñL y z expi j VHx i L y z = j= i= = ghs HñL,, S r HñL; ϑl.hhñl, S j HñL = U j Hx i L, hhñl = exp i j VHx i L y z, i= i= ghs,, s r ; ϑl = exp i r j RHϑL + y Q j HϑL s j z. j= r To zameá, že S H L, Ω, S r H L jsou postačující statistiy pro parametr J. 6.0. Přílad. Sado se ověří, že expoeciálího typu jsou apř. expoeciálí rozděleí, ormálí rozděleí, logaritmico-ormálí rozděleí, Rayleighovo rozděleí, Maxwellovo rozděleí, Weibullovo rozděleí a Poissoovo rozděleí. Jao přílad rozděleí epatřících expoeciálímu typu lze uvést rovoměré rozděleí a Cauchyovo rozděleí. Biomicé rozděleí s pravděpodobostí fucí fhx, p, νl = J ν x N px H pl ν x, x = 0,,, ν, je expoeciálího typu, poud je pevě zvoleo a jediým parametrem je p. Nejlepší estraý odhad je většiou přijatelým řešeím úlohy odhadu. Pro ěteré parametricé fuce vša vůbec žádý estraý odhad eexistuje ebo je jeho ostruce příliš obtížá, taže se většiou evyplatí. V taových případech volíme apř. odhady, teré mají dobré asymptoticé vlastosti, což zameá, že aproximují sutečou hodotu odhadovaé fuce tím lépe, čím větší je rozsah výběru. Jeda taová vlastost je formalizováa v ásledující defiici, další pa v defiici 6.5. 6.. Defiice. Pro aždé přirozeé echť =HX, Ω, X L je áhodý výběr ze záladího souboru, jehož distribučí fuce je prvem parametricé soustavy 8F J ; J œ Q<. Odhad t` H L,, přesěji posloupost odhadů t` H L,, parametricé fuce t, se azývá ozistetí, jestliže ϑ Θ fl > 0 lim P ϑ@» τˆh L τhϑl» D = 0, tj. overguje-li posloupost 8t` H L< = podle pravděpodobosti P J thjl pro aždé J œ Q. 6.. Pozáma. Nestraost odhadu zameá, řečeo poěud zjedodušeě, že odhad je zatíže jeom áhodou, ioliv systematicou chybou. Kozistece odhadu zameá, že pro realizace dostatečě velých áhodých výběrů, tj. pro libovolý dostatečě velý počet pozorováí, bude chyba odhadu s pravděpodobostí libovolě blízou jedé libovolě malá. 6.3. Přílad. Má-li áhodá veličia X oečou středí hodotu m a oečý rozptyl s, potom podle Čebyševovy věty pro aždý áhodý výběr =HX, Ω, X L ze záladího souboru X platí erovost
0 M6b-06-Statistics.b P@» µ» D σ. Má-li záladí soubor avíc čtvrtý cetrálí momet m 4, potom podle téže věty platí taé pro 3 erovost P@»S σ» D J µ 4 3 H L σ4 N µ 4. To zameá: Je-li 8F J ; J œ Q< libovolá parametricá soustava distribučích fucí a Ñ s oečou středí hodotou a oečým rozptylem a patří-li distribučí fuce záladího souboru X do této soustavy, potom pro aždou posloupost =HX, Ω, X L,, áhodých výběrů z X výběrový průměr,, je ozistetím odhadem parametricé fuce J Ø E J X. Jestliže F J má avíc čtvrtý cetrálí momet m 4 pro aždé J œ Q, potom výběrový rozptyl S,, je ozistetím odhadem parametricé fuce J Ø var J X. Za stejých předpoladů je ozistetím, ioliv vša estraým odhadem parametricé fuce J Ø var J X statistia M, ' = HX i L = S = S S i=, eboť zřejmě pro aždé > 0 a aždé J œ Q platí erovost ' P ϑ @» M, var ϑ X» > D P ϑ A S var ϑ X E + P ϑas E, v íž obě pravděpodobosti a pravé straě overgují ule. 6.4. Pozáma. V defiici ozistetího odhadu se ědy požaduje splěí silější podmíy ϑ Θ P ϑ Alim τˆ H L = τ HϑLE =, tj. aby posloupost 8t` H L< = overgovala thjl P J -jistě pro aždé J œ Q. Výběrový průměr a výběrový rozptyl jsou ozistetími odhady parametricých fucí J Ø E J X resp. J Ø var J X, viz posledí přílad, i v tomto sillějším smyslu. To plye z ásledující věty, teré se říá silý záo velých čísel (pro stejě rozděleé áhodé veličiy): Nechť 8X < = je posloupost ezávislých stejě rozděleých áhodých veliči. Potom právě dyž E» X» < a m = E X. PAlim i= X i = µ E = Pro výběrový průměr je důaz triviálí, v případě výběrového rozptylu je třeba použít vztahy = i= HX i µl = S = i= i= i= HX i µl HX i L = HX i µl H µl + H µl, H µl = uvědomit si, že áhodé veličiy HX i - ml, i =,, Ω jsou ezávislé, a použít silý záo velých čísel. Ja už bylo řečeo výše, pro ěteré parametricé fuce estraý odhad buď vůbec eexistuje ebo je příliš obtížé jej určit. Často vša lze v taových případech ajít vychýleý odhad, jehož vychýleí lesá s rostoucím rozsahem áhodého výběru poměrě rychle ule. Tato vlastost je formalizováa v ásledující defiici.
M6b-06-Statistics.b 6.5. Defiice. Pro aždé přirozeé echť =HX, Ω, X L je áhodý výběr ze záladího souboru, jehož distribučí fuce je prvem parametricé soustavy 8F J ; J œ Q<. Odhad t` H L,, přesěji posloupost odhadů t` H L,, parametricé fuce t, se azývá asymptoticy estraý, jestliže ϑ Θ lim BHϑL = lim E τˆh L τhϑl = 0. 6.6. Přílad. Odhadem parametricé fuce J Ø var J X uvažovaé v příladech 6.5 a 6.3 je taé výběrový druhý cetrálí momet ' = HX i L, =,,... i= M, Protože pro aždé J œ Q a aždé > ' = M, S, E ϑ M, ' = E ϑ S = var ϑ X, teto odhad je asymptoticy estraý a ozistetí. Následující věta je sadým důsledem Čebyševovy erovosti. 6.7. Věta. Pro aždé přirozeé echť =HX, Ω, X L je áhodý výběr ze záladího souboru, jehož distribučí fuce je prvem parametricé soustavy 8F J ; J œ Q<. Jestliže odhad t` H L,, parametricé fuce t je asymptoticy estraý a splňuje podmíu potom je ozistetí. lim var τˆh L = 0, 7. Bodové odhady parametrů: metoda mometů 7.. Metoda mometů je rychlý a početě jedoduchý způsob ostruce bodového odhadu parametrů rozděleí pravděpodobosti záladího souboru. Odhady touto metodou zísaé jsou vša velmi hrubé a hodí se pouze pro předběžé posouzeí problému, formulaci hypotéz ebo jao výchozí bod iteračích metod. Podstata metody mometů je velmi jedoduchá. Předpoládejme, že distribučí fuce záladího souboru X je prvem parametricé soustavy 8F J ; J œ Q<, de J =HJ, Ω, J L, a že X má pro aždé J œ Q obecé momety m = m HϑL,, m = m HϑL. Je-li =HX, Ω, X L je áhodý výběr z X a je-li M r, = ÅÅÅÅ i= X r i jeho výběrový r-tý obecý momet, potom E ϑ M, = m HϑL,, E ϑ M, = m HϑL, taže se lze domívat, že hodoty J`, Ω, J` parametrů J, Ω, J, teré řeší soustavu rovic m HϑL = M,ñ,, m HϑL = M,ñ, de ñ je realizace výběru, budou přibližě rovy sutečým hodotám parametrů J, Ω, J. Metoda mometů spočívá v tom, že za odhad parametru J vezmeme J` =IJ`, Ω, J` M. Jejím vážým edostatem je, že edává žádou iformaci o přesosti tohoto odhadu. Stae-li se, že výše uvedeých rovic estačí jedozačému určeí parametrů, můžeme přidat další rovice stejého typu, poud X má ovšem příslušé obecé momety. 7.. Přílad. Nechť =HX, Ω, X L je áhodý výběr ze záladího souboru s biomicým rozděleím s parametry N a p. Chceme-li odhadout parametry metodou mometů, postupujeme apř. tato. Nejprve určíme prví dva obecé momety tohoto rozděleí:
M6b-06-Statistics.b m = E X = N p, m = E X = EHX E X + E XL = EHX E XL + HE XL HE XL, m = var X +HE XL = N p H pl + N p = N p + N p N p. Potom je porováme s výběrovými obecými momety M =, M = ÅÅÅÅ i= X i a dostaeme rovice Vyřešíme-li je, dostaeme odhady N p = M, N p + N p N p = M. ˆ N = M M + M, pˆ = + M M. M M 8. Bodové odhady parametrů: metoda maximálí věrohodosti 8.. Uvažujme teto velmi jedoduchý přílad. Nechť X, X, X 3, X 4 je áhodý výběr z alterativího rozděleí s parametrem p, o ěmž víme, že buď p = 0. ebo p = 0.4 ebo p = 0.8. Máme odhadout hodotu tohoto parametru a záladě realizace x = 0, x = 0, x 3 =, x 4 = 0. Pravděpodobost taovýchto výsledů je pro aždou hodotu parametru p rova P@X = X = X 4 = 0, X 3 = D = p H pl 3. Pro p = 0. je tedy tato pravděpodobost rova 0.04, zatímco pro p = 0.4 je rova 0.0864 a oečě pro p = 0.8 je rova 0.0064. Zísaé výsledy mají tedy ejvyšší pravděpodobost v případě p = 0., a proto jsme aloěi považovat za správou spíše tuto hodotu parametru p ež ostatí dvě. V souladu s touto úvahou proto volíme za odhad sutečé hodoty parametru p hodotu p` = 0., tedy tu z jeho možých hodot, pro terou je zísaý výslede ejpravděpodobější. Metoda ostruce bodových odhadů parametrů založeá a této úvaze je záma jao metoda maximálí věrohodosti a obecě je vyložea v ásledujících odstavcích. 8.. Maximálě věrohodý odhad. Předpoládejme, že distribučí fuce záladího souboru X je prvem parametricé soustavy 8F J ; J œ Q<, de Q je eprázdá borelovsá podmožia prostoru Ñ a J =HJ, Ω, J L, a že astává jede z těchto dvou případů: (a) distribučí fuce F J je pro aždé J œ Q fucí soů, tj. příslušé rozděleí pravděpodobosti je disrétí, ebo (b) distribučí fuce F J je pro aždé J œ Q absolutě spojitá. V případě (a) ozačme f J HxL pravděpodobostí fuci áhodé veličiy X, v případě (b) echť stejý symbol zameá hustotu pravděpodobosti veličiy X. Sdružeá pravděpodobostí fuce resp. sdružeá hustota pravděpodobosti áhodého výběru =HX, Ω, X L ze záladího souboru X je tedy pro aždé J œ Q dáa formulí f ϑ HñL fhñ; ϑl = fhx,, x ; ϑl = f ϑ Hx i L. Nyí už můžeme vyslovit defiici maximálě věrohodého odhadu: Říáme, že vetor statisti J`H L =IJ`H L, Ω, J`H LM, de J` :Ñ ØÑ je borelovsy měřitelé zobrazeí, je maximálě věrohodý odhad parametru J, jestliže i= ϑ Θ fh, ϑˆh LL fh ; ϑl. Maximálě věrohodým odhadem parametricé fuce thjl pa azýváme fuci tij`h LM, de J` H L je maximálě věrohodý odhad parametru J. 8.3. Fuce věrohodosti. Nechť jsou splěy předpolady odstavce 8. a echť fhñ; JL ozačuje pro aždé J œ Q sdružeou pravděpodobostí fuci resp. sdružeou hustotu pravděpodobosti áhodého výběru =HX, Ω, X L ze záladího souboru X. Fuce věrohodosti je fuce L : Q ØÑ defiovaá v tomto otextu pro aždé ñ œñ formulí
M6b-06-Statistics.b 3 fhñ; ϑl 0 LHϑL = fhñ; ϑl. Je-li J` H L maximálě věrohodý odhad parametru J a je-li LHJL fuce věrohodosti určeá realizací ñ áhodého výběru, potom platí impliace ϑ Θ LHϑˆHñLL LHϑL. Má-li tedy fuce věrohodosti LHJL v bodě J`HñL parciálí derivace, jsou tyto derivace utě ulové. Odtud plye: je-li ñ realizace áhodého výběru a je-li příslušá fuce věrohodosti LHJL a svém defiičím oboru diferecovatelá, potom maximálě věrohodý odhad J`HñL parametru J je třeba hledat mezi jejími stacioárími body. Při výpočtech je přitom zpravidla výhodější pracovat s fucí l LHJL, terá má stejé stacioárí body jao fuce LHJL. Rovice teré je tedy třeba řešit, se azývají věrohodostí rovice. l LHϑL = 0, i =,,, ϑ i 8.4. Přílad: Expoeciálí rozděleí. Nechť =HX, Ω, X L je áhodý výběr ze záladího souboru X s expoeciálím rozděleím, taže hustota pravděpodobosti f Hx, ll veličiy X je dáa formulí fhx, λl = λ λ x pro x > 0, fhx, λl = 0 pro x 0 a sdružeá hustota pravděpodobosti áhodého vetoru je dáa formulí fhñ, λl = fhx,, x L =: i= λ λ x i, 0, ñ > 0, Hñ > 0L. Fuce věrohodosti příslušá realizaci ñ = Hx, Ω, x L splňující podmíu ñ > 0 má tedy tvar Protože LHλL = i= l LHλL = Hl λ λ x i L, i= λ λ xi. l LHλL λ N = λ i= x i, věrohodostí rovice má tvar N λ x i = 0 λ ñ = 0 λ = ñ E X = λ = ñ. i= To zameá, že maximálě věrohodým odhadem parametru l = ÅÅÅÅÅÅÅÅ expoeciálího rozděleí je statistia ÅÅÅÅÅÅ E X, tj. převráceá hodota výběrového průměru. Maximálě věrohodým odhadem středí hodoty E X = ÅÅÅÅ je výběrový průměr. O tomto odhadu už víme, že je l estraý a ozistetí. Maximálě věrohodým odhadem rozptylu var X = ÅÅÅÅÅ l je druhá mocia výběrového průměru. Protože E = E i j y X i z i= E X =! λ, = E i j X y i z + i= E i j y X i X j z i<j = J + N λ = J + N var X, λ H L + λ =
4 M6b-06-Statistics.b maximálě věrohodý odhad rozptylu je vychýleý ale asymptoticy estraý. Protože počet posloupostí i, i, Ω, i celých ezáporých čísel se součtem 4 je stejě jao počet rozmístěí 4 stejých předmětů do přihráde rove J + 3 4 H L H L H 3L N = 4! = 6 + + 6 3 + 4, 4 rozptyl tohoto odhadu je dá formulí = 4 i + +i =4 i 0,,i 0 var = E 4 E = 4! i! i! E HX i i X L λ 4 J + N = = 4 i + +i =4 i 0,,i 0 4! i! i! i! i! λ 4 λ 4 J + N = = 4! 4 λ 4 i + +i =4 i 0,,i 0 λ 4 J + N = 4 4 λ 4 J + 3 4 N λ 4 J + N = = 6 + + 6 3 + 4 4 λ 4 H + L λ 4 = 6 + 0 + 4 3 λ 4. Pro Ø tedy var êêê Ø 0, což zameá, že maximálě věrohodý odhad êêê rozptylu záladího souboru je ozistetí. 8.5. Přílad: Normálí rozděleí. Nechť =HX, Ω, X L je áhodý výběr ze záladího souboru X s ormálím rozděleím NHm, s L, taže X má hustotu pravděpodobosti fhx, µ, σl = σ è!!!!!!! π Hx µl σ, xεñ, a áhodý vetor má sdružeou hustotu pravděpodobosti f Hñ, µ, σl = σ H πl ê i= Hx i µl σ, ñ Ñ. Fuce věrohodosti má tedy pro aždou realizaci ñ =Hx, Ω, x L áhodého výběru tvar LHµ, σl = σ H πl ê i= Hx i µl σ. Odtud postupě dostáváme l LHµ, σl = lhσl lh πl i= Hx i µl σ, l LHµ, σl µ Hx = i µl, i= σ l LHµ, σl σ = σ + i= Hx i µl σ 3, taže věrohodostí rovice mají tvar Hx i µl σ = 0, σ + Hx i µl σ 3 = 0. i= i=
M6b-06-Statistics.b 5 Protože jejich řešeí je zřejmě dáo formulemi µ = i= x i = ñ, σ = i= Hx i µl = i= Hx i ñl = S = M ', maximálě věrohodým odhadem středí hodoty m resp. rozptylu s ormálího rozděleí je výběrový průměr resp. druhý výběrový cetrálí momet M '. Výběrový rozptyl S je tedy estraým, ioliv vša maximálě věrohodým odhadem rozptylu ormálího rozděleí. 8.6. Přílad: Logaritmico-ormálí rozděleí. Logaritmico-ormálí rozděleí LNHm, s L (používá se často při popisu veliosti částic disperzích fází ovových materiálů ebo veliosti částic sypých materiálů a v teorii spolehlivosti) je rozděleí pravděpodobosti s hustotou lo fhx, µ, σ L = m o σ x è!!!!!!! π Hl x µl σ pro x > 0, 0 pro x 0. Náhodý výběr =HX, Ω, X L ze záladího souboru s tímto rozděleím má tedy sdružeou hustotu pravděpodobosti fhñ, µ, σ lo L = m i= x i o σ H πl ê i= a fuce věrohodosti má pro aždou jeho realizaci ñ =Hx, Ω, x L > 0 tvar Hl x i µl σ pro ñ > 0, 0 pro Hñ > 0L, LHµ, σl = i= x i σ H πl ê i= Hl x i µl σ. Pro fuci l LHm, sl a její parciálí drivace postupě dostaeme l LHµ, σl = Věrohodostí rovice mají tedy tvar i= l x i l σ lh πl i= LHµ, σl l x = i µ µ σ, LHµ, σl σ i= = σ + i= Hl x i µl σ 3. Hl x i µl σ, l x i µ i= σ = 0, σ + i= Hl x i µl σ 3 = 0 a jedié řešeí µ = l x i, σ = Hl x i µl = Hl x i L i j y l x i z. i= i= i= i= Maximálě věrohodými odhady parametrů m a s logaritmico-ormálího rozděleí jsou tedy statistiy µ ˆ = l X i, σˆ = Hl X i µˆl. i= i=