Pravděpodobnost a statistika

Transkript

1 Pravděpodobnost a statistika Bodové odhady a intervaly spolehlivosti Vilém Vychodil KMI/PRAS, Přednáška 10 Vytvořeno v rámci projektu 963/011 FRVŠ V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 1 / 50

2 Přednáška 10: Přehled 1 Úvod do teorie odhadu: statistická inference, populace, parametr, výběr, odhad parametru, bodové odhady, intervalové odhady, náhodné výběry, statistiky, výběrová rozdělení. Bodové odhady: bodové odhady parametrických funkcí, nestranné bodové odhady, zkreslení, nestranné odhady pro střední hodnoty a rozptyl, metoda momentů, metoda maximálně věrohodného odhadu, Weibullovo rozdělení. 3 Intervaly spolehlivosti: interval spolehlivosti, hladina spolehlivosti (konfidence), kritické hodnoty standardního normálního rozdělení, intervalu spolehlivosti pro střední hodnoty a rozptyly, Studentovo t-rozdělení, velikost intervalů spolehlivosti, délka náhodného výběru. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika / 50

3 Statistická inference Populace: naivní pojem základní populace (Přednáška 1); při statistickém usuzování: populace = náhodná veličina s jejím rozložením. Základní úkol statistické inference: zajímáme se o parametr = číselnou hodnotu, jež platí pro celou populaci (například: střední hodnota µ X, rozptyl σx, hodnota p pro b(n, p),... ); používáme výběr (z populace) pro odhad µ X, σx, p,...; odhad parametru = získání číselné hodnoty nebo intervalu hodnot z výběru cíl: odhad by měl být dost blízko skutečné hodnotě parametru. Obvykle rozlišujeme dva druhy odhadů: bodové odhady (angl.: point estimates) = odhadem je jedna hodnota, intervalové odhady (angl.: interval estimates) = odhadem je interval hodnot. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 3 / 50

4 Náhodný výběr Definice (Náhodný výběr, angl.: random sample) Mějme pravděpodobnostní prostor Ω, F, P a n nezávislých náhodných veličin X 1, X,..., X n v prostoru Ω, F, P, které mají stejné rozdělení pravděpodobnosti, to jest P ({X i A}) = P ({X j A}) pro každé i, j a A B. Označme toto rozdělení P X. Pak náhodný vektor X : Ω R n definovaný ( X(ω) ) (i) = X i (ω) se nazývá náhodný výběr z rozdělení P X. Poznámky: Náhodný výběr X : Ω R n značíme X = X 1,..., X n, nebo jen X 1,..., X n ; posloupnost nezávislých náhodných veličin se stejným rozdělením; abstrakce pojmu výběr (Přednáška 1): místo konkrétních hodnot ve výběru máme náhodné veličiny; má smysl uvažovat rozdělení P X (A) = P ({X A}). dále se budeme zabývat statistikami: funkcemi náhodných výběrů. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 4 / 50

5 Statistiky a výběrová rozdělení Definice (Statistika a výběrové rozdělení) Mějme pravděpodobnostní prostor Ω, F, P, náhodný výběr X : Ω R n a Borelovskou funkci g : R n R. Pak náhodnou veličinu ϑ: Ω R definovanou ϑ = g(x) nazveme (výběrová) statistika nebo výběrová charakteristika (angl.: sample statistics) náhodného výběru X. Rozdělení pravděpodobnosti P ϑ : B [0, 1] veličiny ϑ nazýváme výběrové rozdělení, angl.: sampling distribution. Poznámky: Z definice složené funkce pro statistiku ϑ máme ϑ(ω) = g(x(ω)) R; z definice rozdělení pravděpodobnosti: P ϑ (A) = P ({g(x) A}); Pro konkrétní výběr x 1,..., x n je g(x 1,..., x n ) konkrétní hodnota; Například: X = 1 n n X i ; S = 1 n n 1 (X i X). i=1 i=1 V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 5 / 50

6 Bodové odhady parametrických funkcí Definice (Bodový odhad) Mějme pravděpodobnostní prostor Ω, F, P a náhodný výběr X = X 1,..., X n z rozdělení, které závisí na neznámých parametrech Θ 1,..., Θ k. Pak bodový odhad (angl.: point estimate) parametrické funkce τ(θ 1,..., Θ k ) na základě X je libovolná statistika ϑ = g(x), kde g nezávisí na Θ 1,..., Θ k. Poznámky: výše definovaný pojem sám o sobě nic neříká o kvalitě odhadu, to jest o tom, jak jsou hodnoty dané odhadem blízko τ(θ 1,..., Θ k ); nejčastěji se zajímáme o jediný parametr Θ a parametrická funkce τ je identita: to jest pokud τ(θ) = Θ, potom bodový odhad značíme Θ, například: pro parametry µ a σ jsou jejich bodové odhady značeny µ a σ. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 6 / 50

7 Nestranné bodové odhady Bodové odhady, jejichž střední hodnoty jsou rovny hodnotám parametrických funkcí: Definice (Nestranný / nezkreslený / nevychýlený bodový odhad) Mějme pravděpodobnostní prostor Ω, F, P a náhodný výběr X = X 1,..., X n z rozdělení, které závisí na neznámých parametrech Θ 1,..., Θ k. Bodový odhad ϑ = g(x) parametrické funkce τ(θ 1,..., Θ k ) se nazývá nestranný bodový odhad (angl.: unbiased estimate), pokud platí E(ϑ) = τ(θ 1,..., Θ k ). Rozdíl hodnot E(ϑ) τ(θ 1,..., Θ k ) se nazývá zkreslení nebo vychýlení (angl.: bias). Poznámky: Parametrická funkce τ(θ 1,..., Θ k ) má obecně nekonečně mnoho odhadů; nestranný odhad = odhad, pro který klademe omezení na střední hodnotu; V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 7 / 50

8 Příklad (Nestranný odhad parametru p pro binomické rozdělení) Problém: Výrobce automobilů testuje odolnost nárazníků vyhodnocením výsledků série n kontrolovaných srážek nárazníku s umělou překážkou. Výsledkem každého pokusu je úspěch (nárazník odolal) nebo neúspěch (neodolal). Úkol: Uvažujme náhodnou veličinu X označující počet jednotlivých pokusů končících úspěchem. Stanovte nestranný bodový odhad pravděpodobnosti úspěchu jednotlivého testu. Řešení: Každý jednotlivý pokus X i má alternativní rozdělení s parametrem p. Počet (nezávislých) pokusů končících úspěchem je potom X = n i=1 X i, přitom X má binomické rozdělení b(n, p). Dále platí: ( ) X E = 1 n n E(X) = 1 n n p = p. Závěr: Pokud má X rozdělení b(n, p), potom je p = X n nestranný odhad p. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 8 / 50

9 Nestranné bodové odhady pro střední hodnotu a rozptyl Plyne z toho, co víme o střední hodnotě X: Věta (Nestranný bodový odhad pro střední hodnotu) Mějme náhodný výběr X 1,..., X n, kde všechny X i jsou náhodné veličiny se střední hodnotou µ. Potom je X nestranný bodový odhad pro µ. Dále máme: Věta (Nestranný bodový odhad pro rozptyl) Mějme náhodný výběr X 1,..., X n, kde všechny X i jsou náhodné veličiny se střední hodnotou µ a rozptylem σ. Potom je σ = S = 1 n n 1 ( Xi X ) nestranný bodový odhad pro σ. i=1 V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 9 / 50

10 Důkaz (začátek). Nejprve prokážeme: n ( Xi X ) n = i=1 i=1 ( X i X i X + X ) = n i=1 X i X n X i + n i=1 i=1 X = ( n i=1 X i X n 1 ) n n X i + n i=1 = n i=1 X i X(nX) + nx = n i=1 X i nx + nx = n i=1 X i=1 X i nx. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 10 / 50

11 Důkaz (pokračování). S využitím předchozího a faktu, že σy E(Y ) = E(Y ), máme: ( 1 n E(S ) = E n 1 ( Xi X ) ) ( ( 1 n )) = E n 1 Xi n X i=1 i=1 = 1 ( n ) n 1 E(Xi ) n E(X ) = 1 ( ) n 1 n E(X1) n E(X ) = n n 1 i=1 ( E(X 1) E(X ) ) = n n 1 (σ E(X 1 ) ( X σ E(X))) V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 11 / 50

12 Důkaz (dokončení). = n n 1 = n n 1 = n n 1 = n n 1 = n n 1 = n n 1 ( σ E(X 1 ) ( σ X E(X))) = ( σ µ ( σ X µ X) ) = ( σ µ ( σ µ)) = X ( ) σ σ = n ) (σ X n 1 σ = n ( n σ ) n σ = n ( n σ n n 1 σ ) = n ( ) n 1 n σ = σ. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 1 / 50

13 Momenty náhodných výběrů Budeme se zabývat tím, jak stanovit (nestranné) bodové odhady. Potřebujeme nový pojem výběrový moment. Připomeňme: r-tý moment X je očekávaná hodnota E(X r ). Definice (r-tý moment náhodného výběru) Mějme náhodný výběr X 1,..., X n, pak r-tý moment náhodného výběru, angl.: rth sample moment je náhodná veličina 1 n n Xi r. i=1 Poznámka: pokud rozdělení závisí na parametrech Θ 1,..., Θ k, pak momenty E(X r ) rovněž závisí na těchto parametrech; momenty náhodných výběrů však nikoliv. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 13 / 50

14 Získání bodových odhadů: metoda momentů Princip metody momentů Mějme náhodný výběr X 1,..., X n z rozdělení, které závisí na neznámých parametrech Θ 1,..., Θ k. Potom momentové odhady Θ 1,..., Θ k pro parametry Θ 1,..., Θ k získáme jako řešení soustavy k rovnic, ve kterých klademe do rovnosti i-té momenty X a i-té moment náhodného výběru. Vede na soustavy rovnic ve tvaru: 1 n 1 n n Xi 1 = E ( X 1), i=1.. n Xi k = E ( X k). i=1 V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 14 / 50

15 Příklad (Stanovení bodových odhadů pro parametry rozdělení Γ) Funkce hustoty rozdělení Γ: f X (x) = Úkol: Stanovte bodové odhady pro parametry α (počet změn), θ (střední doba čekání na jednu změnu). 1 Γ(α) θ α xα 1 e x θ (Přednáška 7). Řešení: První a druhý moment veličiny X mají následující tvary. E(X 1 ) = α θ, E(X ) = θ (α + 1) α. Použitím metody momentů tedy stačí stanovit α a θ z rovnic 1 n n i=1 X1 i = E(X 1 ) = α θ, 1 n n i=1 X i = E(X ) = θ (α + 1) α. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 15 / 50

16 Příklad (Stanovení bodových odhadů pro parametry rozdělení Γ) Použitím metody momentů stanovíme odhady pro parametry α a θ z rovnic 1 n n Xi 1 = α θ, 1 n i=1 n Xi = θ (α + 1) α. i=1 Vyjádřením bodových odhadů α a θ dostáváme: α = 1 n X, θ = n Xi X i=1 1 n n Xi X i=1 X. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 16 / 50

17 Získání BO: princip maximálně věrohodného odhadu Mějme náhodný výběr X = X 1,..., X n z rozdělení, které závisí na neznámých parametrech Θ 1,..., Θ k. Potom: sdružená pravděp. funkce (nebo funkce hustoty) f X závisí na Θ 1,..., Θ k ; pro libovolný výběr y 1,..., y n lze uvažovat funkci L x1,...,x n v proměnných Θ 1,..., Θ k definovanou L x1,...,x n (Θ 1,..., Θ k ) = f X (x 1,..., x n ; Θ 1,..., Θ k ). Definice (Maximálně věrohodný odhad) Pokud existují funkce g i : R n R takové, že pro libovolný výběr x 1,..., x n je g 1 (x 1,..., x n ),..., g k (x 1,..., x n ) bodem maxima funkce L x1,...,x n, pak se statistiky Θ 1 = g 1 (X),..., Θ k = g k (X) nazývají maximálně věrohodné odhady (angl.: maximum likelihood estimators) pro parametry Θ 1,..., Θ k. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 17 / 50

18 Příklad (Maximálně věrohodný odhad parametru θ) Uvažujme náhodný výběr X = X 1,..., X n z exponenciálního rozdělení s parametrem θ = λ 1. Z nezávislosti X 1,..., X n dostáváme, že L x1,...,x n (λ) = f X (x 1,..., x n ; λ) = ( n i=1 λe λx i = λ n exp λ n i=1 x i Zlogaritmováním f X dostáváme ln ( f X (x 1,..., x n ; λ) ) = n ln λ λ n i=1 x i. Využitím faktu, že f X (x 1,..., x n ; λ) má stejné extrémy jako ln ( f X (x 1,..., x n ; λ) ) vyjádříme bod maxima n λ = n i=1 x = 1 i x, to jest λ = 1 X. ). Poznámka (Interpretace hodnot L x1,...,x n (Θ 1,..., Θ k )) Pokud je X 1,..., X n náhodný výběr z diskrétního rozdělení, pak je L x1,...,x n (Θ 1,..., Θ k ) je pravděpodobnost, že x 1,..., x n vzniklo výběrem při použití parametrů Θ 1,..., Θ k (chceme maximalizovat). V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 18 / 50

19 Příklad (Maximálně věrohodné odhad parametrů N(µ, σ )) Pokud je X 1,..., X n náhodný výběr z normálního rozdělení N(µ, σ ), pak maximálně věrohodné odhady parametrů µ a σ jsou µ = X, σ = 1 n n (X i X). Poznámka (Maximálně verohodný odhad není obecně nestranný) V předchozím případě platí i=1 maximálně věrohodný odhad nestranný odhad, protože nestranný odhad parametru σ je σ = S = 1 n 1 n ( Xi X ). i=1 V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 19 / 50

20 Weibullovo rozdělení Definice (Náhodná veličina s Weibullovým rozdělením) Spojitá náhodná veličina X s hustotou f X má Weibullovo rozdělení pokud existují reálná čísla λ > 0 a k > 0 tak, že f X je ve tvaru ( ( ) x k f X (x) = exp λ) k ( ) x k 1 λ pokud x 0, λ a f X (x) = 0 jinak. Poznámky: Parametry λ a k určují škálu a tvar (+ někdy se zavádí posunutí θ); pro k = 1 přejde Weibullovo rozdělení v exponenciální rozdělení; pro k = 3.4 je Weibullovo rozdělení zhruba podobné normálnímu rozdělení; využívá se v aplikacích pro analýzu životnosti komponent. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 0 / 50

21 Příklad (Příklady f X pro Weibullovo rozdělení) Weibullovo rozdělení lze použít pro modelování poměru selhání, které 1 se v čase snižuje (pro k < 1); nebo je neměnné v čase (pro k = 1); nebo 3 se v čase zvyšuje (pro k > 1). Příklady funkcí hustoty Weibullova rozdělení: λ = 0.5 λ = 1.0 λ = 1.5 λ = 3.0 k = k = 3 λ = 1 k = k = 1 k = V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 1 / 50

22 Příklad (Maximálně věrohodný odhad parametrů Weibullova rozdělení) Problém: Máme výběr x 1,..., x n zaznamenávající n časů životnosti, po kterých selhala každá z n nezávislých součástek stejného typu. Úkol: Předpokládejte, že výběr x 1,..., x n pochází z Weibullova rozdělení a metodou maximálně věrohodných odhadů stanovte jeho parametry. Řešení: Sdružená funkce hustoty f vecx je ve tvaru: f X (x 1,..., x n ; λ, k) = ( ( n ( xi ) ) k exp i=1 λ k λ ( xi λ ) k 1 ) Hledáme proto řešení λ a k následujících rovnic: ( ) ( ) fx (x 1,..., x n ; λ, k) fx (x 1,..., x n ; λ, k) ln = 0, ln = 0. λ k Analytické řešení je komplikované (používají se numerické metody).. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika / 50

23 Příklad (Stanovení parametrů Weibullova rozdělení na základě výběru) Problém: Uvažujme následující výběr (životnost komponenty v hodinách): x 1 = 9, x = 35, x 3 = 14, x 4 = 13, x 5 = 5, x 6 = 77. Úkol: Metodou maximálně věrohodného odhadu stanovte parametry Weibullova rozdělení, ze kterého výběr pochází. Poté stanovte pravděpodobnost, že náhodně zvolená komponenta vydrží běžet alespoň 15 hodin. Numerickým řešením soustavy dvou nelineárních rovnic pro x 1,..., x 6 dostáváme: To znamená, že λ , k P ({X 15}) = 1 P ({X < 15}) = e ( 15 λ )k = e ( ) Pravděpodobnost, že součástka vydrží alespoň 15 hodin je V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 3 / 50

24 Intervaly spolehlivosti: Motivace Problémy s bodovými odhady: bodový odhad je (jediné) číslo neposkytuje informaci o spolehlivosti odhadu (to jest o pravděpodobnosti, že odhad je blízko skutečné hodnotě parametru) typická otázka: Jak blízko je X (nestranný odhad) hodnotě µ? Řešení: uvažujeme interval pravděpodobných hodnot místo jediné hodnoty, bodové odhady = intervalové odhady. Hlavní myšlenka: 1 zvolíme hladinu spolehlivosti (danou v procentech); na základě znalosti rozdělení výběrové statistiky stanovíme interval [a, b] obsahující skutečnou hodnotu parametru (například µ X ) s danou spolehlivostí. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 4 / 50

25 Intervaly spolehlivosti Definice (Interval spolehlivosti / konfidenční interval) Mějme náhodný výběr X = X 1,..., X n z rozdělení, které závisí na neznámém parametru Θ R a uvažujme číslo α [0, 1]. Pokud jsou g(x) a h(x) statistiky, pro které platí P ( {g(x) Θ h(x)} ) = 1 α, potom se ( g(x), h(x) ) nazývá 100(1 α)% interval spolehlivosti nebo též konfidenční interval (angl.: confidence interval). Číslo 1 α (případně 100(1 α)%) se nazývá hladina spolehlivosti nebo též konfidence, angl.: confidence coefficient. Poznámka: P ( {g(x) Θ h(x)} ) = P ({g(x) Θ} {Θ h(x)}), to jest {g(x) Θ h(x)} je dobře definovaný jev; Intervaly spolehlivosti nejsou dány jednoznačně (snaha najít nejkratší). V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 5 / 50

26 Vlastnosti intervalů spolehlivosti Typické hodnoty hladiny spolehlivosti (konfidence): 95%, 98%,... α = 0 a α = 1 nemají valný smysl (odpovídající intervaly jsou triviální). Intervaly spolehlivosti = náhodné intervaly nejedná se o intervaly v klasickém slova smyslu, hranice intervalů jsou dány náhodnými veličinami, přejdou v klasické intervaly dosazením hodnot konkrétního výběru, pro různě dlouhé výběry dostaneme obecně různě dlouhé intervaly. Poznámka (Monotonie: vyšší konfidence = delší intervaly) Pro α β platí, že 100(1 α)% konfidenční interval je podinterval 100(1 β)% konfidenčního intervalu. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 6 / 50

27 Základní metody stanovení intervalů spolehlivosti Přesné přibližné stanovení intervalu: přesné stanovení intervalu je možné při znalosti rozdělení, není obvykle možné, rozdělení závisí na odhadovaných parametrech. Aproximace pomocí normálních rozdělení: využívá centrální limitní větu, využívá vlastnosti (percentilů) standardního normálního rozdělení. Typické problémy: velké výběry malé výběry (obvykle jiné techniky), odhadování µ závisí na rozptylu σ (může být znám nemusí být znám), otázky týkající se (dostačující) velikosti výběru. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 7 / 50

28 Horní percentily standardního normálního rozdělení Definice (Horní percentil, angl.: upper percentile) Hodnotu z p R takovou, že Φ(z p ) = 1 p nazveme horní (100p)% percentil. Z vlastností distribuční funkce Φ a kvantilové funkce Φ 1 : 1 Φ(z p ) = P ({Z z p }) = p, kde Z je veličina s rozdělením N(0, 1); z p = Φ (1 p): z p je 100(1 p)% percentil. 0.3 f Z z p 3 V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 8 / 50 p

29 Příklad (Motivace pro intervaly spolehlivosti pro střední hodnoty) Pokud má Z rozdělení N(0, 1), pak ({ }) P z α Z z α = 1 α. 0.3 f Z zα 0 1 zα 3 V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 9 / 50

30 Věta (Int. spolehlivosti pro µ z normálního rozdělení pro dané σ ) Mějme náhodný výběr z normálního rozdělení s rozptylem σ > 0 a jeho průměr X. Pak 100(1 α)% interval spolehlivosti pro µ je ( X z α σ, X + z α σ ). n n Důkaz (začátek). Nechť X má rozdělení N(µ, σ ). Z předchozích pozorování o vlastnostech normálních veličin víme, že X má normální rozdělení se střední hodnotou µ a rozptylem σ /n. Odtud plyne, že náhodná veličina W = (X µ)/(σ/ n) má standardní normální rozdělení N(0, 1). Pomocí horních percentilů vyjádříme P ({ z α X µ σ/ n z α }) = P ({ z α W z α }) = 1 α. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 30 / 50

31 Důkaz (dokončení). Vynásobením obou stran nerovností ze ({ P z α X µ }) σ/ n z α = 1 α zápornou nenulovou hodnotou σ/ n dostáváme ({ }) P z α σ µ X z α σ = 1 α. n n Přičtením X ke všem stranám v předchozí nerovnosti dostáváme ({ }) P X z α σ µ X + z α σ = 1 α, n n což jsme měli dokázat. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 31 / 50

32 Příklad (Int. spolehlivosti pro µ z normálního rozdělení pro dané σ ) Problém: Předpokládejme, že máme čtyřprvkový náhodný výběr z normálního rozdělení s rozptylem σ = 9. Úkol: Stanovte 95% interval spolehlivosti pro µ. Řešení: ( X z , X + z ) = ( X.940, X ). Pro konkrétní čtyřprvkový výběr získáme konkrétní interval hodnot. Například pro x 1 = 0.667, x = 4.69, x 3 = 3.338, x 4 = dostáváme x = 4.47, to jest ( 1.53, 7.41 ). V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 3 / 50

33 Zkrácení délky intervalů spolehlivosti Obecný požadavek Je žádoucí stanovovat co možná nejkratší intervaly spolehlivosti. Intervaly spolehlivosti mohou být zúženy ( zkráceny ) pomocí: 1 snížením hladiny spolehlivosti (to jest, zvětšením hodnoty α), použitím větších (delších) výběrů. Příklad (Zmenšení intervalů spolehlivosti použitím větších výběrů) Mějme náhodnou veličinu X s rozdělením N(5, 9) a náhodný výběr X 1,..., X n. Pokud n = 4, pak 95% interval spolehlivosti pro µ je ( X.940, X ). Pokud n = 5, pak 95% interval spolehlivosti pro µ je ( X 1.176, X ). Pokud n = 400, pak 95% interval spolehlivosti pro µ je ( X 0.94, X ). V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 33 / 50

34 Intervaly spolehlivosti pro µ: velké n, známé σ > 0 Zobecnění předchozího postupu X 1,..., X n je náhodný výběr z libovolného rozdělení s rozptylem σ > 0; pokud je n dostatečně velké (typicky, n 30 a větší), pak ({ P z α < X µ }) σ/ n < z α 1 α, protože dle centrální limitní věty má W = X µ σ/ n přibližně rozdělení N(0, 1). Důsledek (Int. spolehlivosti pro µ při velkém n a pro dané σ ). 100(1 α)% interval spolehlivosti pro µ je přibližně ( X z α σ, X + z α σ ). n n V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 34 / 50

35 Intervaly spolehlivosti pro µ: velké n, neznámé σ > 0 Postup při neznámé hodnotě rozptylu σ : Pokud je n dostatečně velké, lze použít S (rozptyl náhodného výběru) místo σ (neznámý rozptyl populace); pro W = X µ S/ n, kde S = 1 n n 1 (X i X) má W přibližně rozdělení N(0, 1). Důsledek (Int. spolehlivosti pro µ při velkém n a pro neznámé σ ). 100(1 α)% interval spolehlivosti pro µ je přibližně ( X z α S, X + z α S ). n n funguje dobře pro výběry, kde n 30 (nebo n 50 při vyšší šikmosti rozdělení). i=1 V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 35 / 50

36 Stanovení intervalů spolehlivosti z malých výběrů Častá situace: rozptyl není znám, výběr, který je k dispozici je malý (jednotky pozorování), výběr není možné zvětšit (těžká opakovatelnost experimentu, náklady,... ). Postup: Vyjádříme výběrové rozdělení (n 1) S σ, kde 1 n 1 n i=1 (X i X). Pomocí výběrového rozdělení stanovíme rozdělení veličiny X µ S/ n. Musíme prozkoumat vztah X a S (a souvisejících rozdělení); významnou roli zde hraje nové rozdělení odvozené z N(0, 1) a χ (r). V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 36 / 50

37 Nezávislost výběrových charakteristik X a S Věta Mějme n-prvkový náhodný výběr X 1,..., X n z rozdělení N(µ, σ ). Pak pro platí 1 X a S jsou nezávislé, X = 1 n n X i a S = 1 i=1 n 1 n i=1 (X i X), (n 1) S σ má rozdělení χ (n 1). Důkaz (nebude vyžadován). Netriviální (zejména část o nezávislosti X a S ). V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 37 / 50

38 Studentovo t-rozdělení Definice (Studentovo t-rozdělení) Mějme náhodnou veličinu T danou zlomkem, T = Z, U/r kde Z má rozdělení N(0, 1), U má rozdělení χ (r) a Z a U jsou nezávislé. Pak řekneme, že T má t-rozdělení s r stupni volnosti (angl.: t-distribution). Lze ukázat, že funkce hustoty a distribuční funkce jsou v následujících tvarech: Γ ( ) r+1 f T (t) = ( π r Γ r ) ( ) 1 + t (r+1)/, r [ t u/r ] F T (t) = u r 1 e u du. 1 π Γ( r ) 0 e z / dz (r+1)/ V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 38 / 50

39 Příklad (Studentovo t-rozdělení) N(0, 1) r = 1 r = r = r = V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 39 / 50

40 Intervaly spolehlivosti založené na t-rozdělení Uvažujme n-prvkový náhodný výběr X 1,..., X n z normálního rozdělení. Použitím předchozí věty a tvaru veličiny mající t-rozdělení dostáváme, že T = X µ σ/ n (n 1) S σ n 1 T má t-rozdělení s r = n 1 stupni volnosti. To jest: = X µ S/ n. Důsledek (Int. spolehlivosti pro µ při malém n a pro neznámé σ ). Pokud je X 1,..., X n z normálního rozdělení, pak 100(1 α)% int. spolehl. pro µ je ( ) X t α (n 1) S n, X + t α (n 1) S n, kde t p (k) označuje horní (100p)% percentil t-rozdělení s k stupni volnosti. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 40 / 50

41 Jednostranné intervaly spolehlivosti Možný tvar intervalů spolehlivosti: doposud ve tvaru (a, b), kde a, b R; další možnost: (, b) nebo (a, ) (jednostranné intervaly). Příklad (Určení jednostranného intervalu spolehlivosti) Pokud je X 1,..., X n náhodný výběr z normálního rozdělení s rozptylem σ > 0, pak ({ }) ({ }) X µ 1 α = P σ/ n z σ α = P X z α µ. n To jest, 100(1 α)% jednostranné intervaly spolehlivosti pro µ (levý a pravý) jsou ( ) ( ) σ σ, X + z α, X z α,. n n Analogicky se postupuje v ostatních případech (σ neznámé,... ) V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 41 / 50

42 Příklad (Int. spolehlivosti pro µ z normálního rozdělení pro dané σ ) Problém: Předpokládejme, že máme čtyřprvkový náhodný výběr z normálního rozdělení s rozptylem σ = 9. Úkol: Stanovte 95% oboustranný a jednostranné intervaly spolehlivosti pro µ. Řešení: ( X z , X + z ) = ( X.940, X ), ( ) 3, X + z 0.05 = (, X ), 4 ( ) 3 X z 0.05, = ( X.467, ), 4 Pro konkrétní výběr x 1 = 0.667, x = 4.69, x 3 = 3.338, x 4 = získáváme intervaly ( 1.53, 7.41 ) ( ) ( ),, a.005,. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 4 / 50

43 Intervaly spolehlivosti pro rozdíly středních hodnot Problém porovnání středních hodnot µ X a µ Y dvou výběrů: náhodný výběr X 1,..., X n z normálního rozdělení N(µ X, σx ); náhodný výběr Y 1,..., Y m z normálního rozdělení N(µ Y, σ Y ); (neznámé) střední hodnoty µ X a µ Y jsou dost blízko, pokud je interval spolehlivosti pro µ X µ Y dost malý (a obsahuje 0). Rozbor: Průměry X a Y mají rozdělení N(µ X, σx /n) a N(µ Y, σy /m); to jest lineární kombinace W = X Y má rozdělení N(µ X µ Y, σx /n + σ Y /m). Odtud dostáváme: ({ P z α (X Y ) (µ }) X µ Y ) σ X /n + σy /m z α = 1 α, z toho můžeme ekvivalentně vyjádřit P ({ (X Y ) z α σ W µ X µ Y (X Y ) + z α σ }) W = 1 α. V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 43 / 50

44 Horní percentily rozdělení χ Podobně jako u standardního normálního a t-rozdělení uvažujeme horní percentily rozdělení χ s r stupni volnosti: Definice (Horní percentily rozdělení χ ) Nechť X je náhodná veličina z rozdělením χ (r) a p (0, 1). Pak hodnotu χ p(r) R takovou, že F X ( χ p (r) ) = 1 p nazveme horní (100p)% percentil rozdělení χ s r stupni volnosti. Z vlastností distribuční funkce F X a kvantilové funkce F 1 X : 1 F X ( χ p (r) ) = P ( {X χ p(r)} ) = p, kde X je veličina s rozdělením χ (r); χ p(r) = F X (1 p), to jest χ p(r) je 100(1 p)% percentil. Hodnoty χ p(r) jsou v tabulkách (numerické aproximace). Poznámka: Hodnoty m X χ p(r) a χ 1 p(r) jsou obecně různé. (!!) V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 44 / 50

45 Příklad (Horní percentily rozdělení χ ) Uvažujme náhodnou veličinu X, která má rozdělení χ s r = 5 stupni volnosti. Pak máme χ 0.1(5) = 9.36 = F X (0.9), χ 0.9(5) = = F X (0.1) χ (5) χ (5) V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 45 / 50

46 Věta (Interval spolehlivosti pro σ z normálního rozdělení) Mějme n-prvkový náhodný výběr z normálního rozdělení. Pak 100(1 α)% interval spolehlivosti pro σ je ( ) (n 1) S χ α (n 1), (n 1) S. χ 1 (n 1) α Důkaz. Mějme X 1,..., X n z rozdělení N(µ, σ ). Dle předchozí věty, ((n 1) S )/σ má rozdělení χ (n 1), přitom S je rozptyl náhodného výběru X 1,..., X n. S využitím horních percentilů můžeme psát: P ({ χ 1 α (n 1) Ekvivalentním vyjádřením: ({ (n 1) S P (n 1) S σ χ α (n 1) σ }) χ α (n 1) = 1 α. }) (n 1) S = 1 α. χ 1 (n 1) α V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 46 / 50

47 Příklad (Stanovení intervalů spolehlivosti pro rozptyl) Problém: Předpokládejme, že náhodná veličina X má normální rozdělení. Úkol: Najděte 90% interval spolehlivosti pro rozptyl σx za předpokladu, že máme k dispozici následující třináctiprvkový výběr: 3.15, 15.16,.53, 0.83, 19.13, 11.05, 5.9, 18.16, 1.05, 17.19, 6.87, 11.06, Řešení: Nejprve spočteme výběrový průměr x = Dále máme (n 1) s = 1 s = 13 i=1 (x i x) = = To jest, 90% interval spolehlivosti pro rozptyl σx je ( 1 s χ 0.05(1), 1 s ) ( 98.3 = χ 0.95(1) 1.03, 98.3 ) 5.6 = ( 14.18, ). V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 47 / 50

48 Příklad (Stanovení potřebné velikosti výběru) Problém: Uvažujme n-prvkový náhodný výběr z rozdělení se střední hodnotou µ a rozptylem σ. Úkol: Jsou dány hodnoty α (0, 1) a ε > 0. Stanovte velikost n náhodného výběru tak, aby 100(1 α)% interval spolehlivosti pro µ byl (X ε, X + ε). Řešení: Z předpokladu, že W = X µ σ/ má přibližně standardní normální rozdělení n dostáváme, že ({ }) P X z α σ µ X + z α σ 1 α. n n Odtud přímo dostáváme ( ε = z α σ, i.e. n = z α σ ). n ε V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 48 / 50

49 Příklady (Potřebné počty pozorování) Velikosti výběrů při 1 α = 0.95 (řádky = σ ; sloupce = ω) Velikosti výběrů při 1 α = 0.99 (řádky = σ ; sloupce = ω) V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 49 / 50

50 Přednáška 10: Závěr Pojmy: populace, parametr, parametrická funkce, výběrová statistika bodový odhad, nestranný odhad, zkreslení, maximálně věrohodný odhad intervaly spolehlivosti, práh spolehlivosti, konfidence, náhodný interval Weibullovo rozdělení, Studentovo t-rozdělení Použité zdroje: Billingsley, P.: Probability and Measure John Wiley & Sons; 3. vydání, ISBN Gentle J. E.: Random Number Generation and Monte Carlo Methods Springer 004, ISBN Hogg R. V., Tanis E. A.: Probability and Statistical Inference Prentice Hall; 7. vydání 005, ISBN V. Vychodil (KMI/PRAS, Přednáška 10) Bodové odhady a intervaly spolehlivosti Pravděpodobnost a statistika 50 / 50