PRAVDĚPODOBNOST A STATISTIKA. Bayesovské odhady

Transkript

1 PRAVDĚPODOBNOST A STATISTIKA Bayesovské odhady

2 Bayesovské odhady - úvod Klasický bayesovský přístup: Klasický přístup je založen na opakování pokusech sledujeme rekvenci nastoupení zvolených jevů Bayesovský přístup je založen také na opakování pokusech a také se vychází z další inormace o procesu. Tedy je do procesu zapojena další subjektivní inormace. Tato inormace se označuje apriorní inormace apriorní pravděpodobnost, prion,. Využiti dodatečné inormace způsobí,že nemusíme dělat tak rozsáhlý výběr.

3 Bayesovské odhady - úvod Dedukce založená na klasické teorii

4 Bayesovské odhady - úvod Dedukce založená na bayesovské teorii

5 Bayesovské odhady - úvod

6 Bayesovské odhady - úvod

7 Podmíněná pravděpodobnost Bayesova věta Nechť B i i {,,, n} je rozklad základního prostoru Ω. n B i i B i B j A náhodný jev Známe pravděpodobnosti: PB i, PA/B i. Pak P B j / A n P B i j P A P B P A i B j B i

8 Bayesovský přístup V obvyklém modelu matematické statistiky máme k dispozici výsledky náhodného pokusu v podobě pozorování náhodných veličin X X,, X n s hustotou,. Hustota je známa jen částečně, je znám její tvar až na několik parametru. Např. víme, že X tvoří náhodný výběr z normálního rozdělení X ~ N,, jehož parametry θ,, ale neznáme. Úkolem je učinit určité závěry o rozdělení pozorovaných hodnot týkající se parametru nebo jeho unkcí. T

9 Bayesovský přístup Při klasickém přístupu počítáme s parametrem jako s neznámou, ale pevnou konstantou, k závěrům používáme tvar hustoty / a pozorování X. Různé typy odhadu zahrnují odhad metodou maimální věrohodnosti, momentové odhady, atd. Při bayesovském přístupu naproti tomu považujeme parametr za náhodnou veličinu, jejíž hodnotu sice nepozorujeme, ale jejíž rozdělení známe. Hustotu veličiny označme h. Tato hustota vyjadřuje apriorní inormaci o možných hodnotách parametru.je to inormace, kterou máme ještě před pokusem, tedy získanou nezávisle na pozorováních X. Technicky, hustotu pozorování, chápeme při tomto přístupu jako podmíněnou hustotu / veličiny X při daných hodnotách veličiny. K závěrům pak oproti klasickému přístupu navíc použijeme apriorní hustotu h.

10 Podmíněné rozdělení T Nechť X X,, X n je náhodný vektor. Tento vektor rozdělme na dvě T T T části X X, X. Chceme najít rozdělení pro X, za předpokladu, že část X nabývá předem zvolených hodnot. T Nechť X X,, X n je diskrétní náhodný vektor s pravděpodobnostní unkcí p= p, a marginální pravděpodobnostní unkcí p pro část X. Nechť je pevně zvolené a p 0. Pak unkci proměnné : p p, p nazýváme podmíněnou pravděpodobností unkcí X za podmínky X =.

11 Podmíněné rozdělení T Nechť X X,, X n je náhodný vektor. Tento vektor rozdělme na dvě T T T části X X, X. Chceme najít rozdělení pro X, za předpokladu, že část X nabývá předem zvolených hodnot. T Nechť X X,, X n je spojitý náhodný vektor s hustotou pravděpodobnosti =, a marginální pravděpodobnostní unkcí pro část X. Nechť je pevně zvolené a 0. Pak unkci proměnné : nazýváme podmíněnou hustotou pravděpodobností X za podmínky X =.,

12 Podmíněné rozdělení Platí: pokud pro každé platí: p p nebo pak složky náhodného vektoru X T T X, X T jsou nezávislé.

13 Podmíněné rozdělení Nechť SX SX, X je unkce náhodného vektoru transormovaná náhodná veličina. Pak unkce proměnné S, p g S, d g Z nazýváme podmíněnou střední hodnotou náhodné veličina S za podmínky X =. a značíme: E S X E S X Nechť SX SX, X je unkce náhodného vektoru, E D S X ES ES X X. Pak nazýváme podmíněný rozptyl náhodné veličina S za podmínky X =. S

14 Podmíněné rozdělení Platí: Nechť SX SX, X je unkce náhodného vektoru, ES je konečná. Pak E S X ES X je konečná pro skoro všechna a platí: E S EES X Platí: Nechť S X S X, X a S X S X, X mají konečné střední hodnoty. Pak pro a,b R platí: skoro jistě. Speciálně: E E as bs X aes X bes X a a X

15 Platí: Náhodný vektor - Bayesova věta:. tedy podobně pak podmíněná hustota za podmínky Tedy T T T, X X X SP3 Bayesovské odhady,,, X, d d Bayesovský přístup

16 Označení: T Náhodný vektor X X,, X n -, θ,,,θ marginální hustoty:, h θ podmíněné hustoty: k θ, Pak za podmínky: θ X Bayesovský přístup lze uvažovat k θ Vzhledem k X lze marginální hustotu považovat za konstantu, potom lze Bayesův vzorec zapsat ve tvaru: θ h k θ θ hθ apriorní hustota pravděpodobnostní unkce k θ aposteriorní hustota pravděpodobnostní unkce znamená je úměrné k θ k θ h θ, k R θ h θ

17 Bayesovský přístup Aposteriorní hustota k θ je až na nějakou normovací konstantu rovna součinu věrohodnostní unkce θ Lθ pro parametr na základě pozorování X a apriorní hustoty hθ. k θ k L θ h θ, k R Kombinuje tak apriorní inormaci o parametru s inormací obsaženou v pozorováních.

18 Bayesovský přístup Podobně jako u klasických odhadů, rozlišujeme i při bayesovském přístupu různé typy odhadu. Jako bodový odhad můžeme použít obdobu maimálně věrohodného odhadu, tj. tu hodnotu, kde aposteriorní hustota k θ nabývá nejvyšší hodnoty. Jiným typem odhadu jsou střední hodnota aposteriorního rozdělení θˆ E θ odpovídající minimalizaci průměrné ztráty při ztrátové kvadratické unkci L θˆ, θ c θˆ θ nebo aposteriorní medián, odpovídající minimalizaci průměrné ztráty při ztrátové s absolutní hodnotou L θˆ, θ c θ ˆ θ X

19 Bayesovský přístup Bayesovskou množinu I, pro niž. - konidenční oblast interval deinujeme jako takovou P θ I X O hypotézách můžeme rozhodovat přímo porovnáním pravděpodobností, s jakými při aposteriorním rozdělení nastávají, nebo také pomocí ztrátových unkcí.

20 Bayesovský přístup Tedy Při použití ztrátové kvadratické unkce L θˆ, θ θˆ θ lze θˆ spočítat jako podmíněnou střední hodnotu aposteriorního rozdělení. θˆ E θ X k θ d Analogicky při použití ztrátové unkce L θˆ, θ c θ ˆ θ bychom minimalizací L získali odhad θˆ, kterým by byl 50% kvantil posteriorního rozdělení k θ Poznámka: Apriorní hustota hθ splňovat: h θ dθ Příklad: / h θ 0, apriorní rozdělení může být nevlastní, tj. nemusí 0 0

21 Bayesovské odhady - příklad Příklad Nechť X je náhodná proměnná s rozdělením Poλ. Chceme odhadnout parametr λ. K dispozici máme tuto apriorní inormaci: Nechť parametr λ je realizací náhodné veličiny T. Dále víme,že P T 3 P T 3 3 Odvoďte aposteriorní pravděpodobnost, odhadněte parametr pomocí aposteriorní pravděpodobnosti. Jaký bude bayesovský odhad λ pokud máme realizaci: a X = b X =4

22 Bayesovské odhady - příklad Příklad Chceme odhadnou pravděpodobnost výskytu nějakého jevu - p. K dispozici máme apriorní inormaci h p. Nechť X je náhodný výběr rozsahu n: X,, X n Odvoďte aposteriorní pravděpodobnost k p. Nechť p je pravděpodobnost padnutí 6. /3 Odvoďte aposteriorní pravděpodobnost k p pro h p /3 Odhadněte parametr p pomocí aposteriorní pravděpodobnosti. Jaký bude bayesovský odhad p pokud máme realizaci: n =0 a X X,, X 0,0,,0,0,,,0,0,0 0 p p 5 6

23 Bayesovské odhady - příklad Příklad Chceme odhadnou pravděpodobnost výskytu nějakého jevu - p. K dispozici máme apriorní inormaci h p. Nechť X je náhodný výběr rozsahu n: X,, X n Odvoďte aposteriorní pravděpodobnost k p. Nechť p je pravděpodobnost padnutí 6. Nechť parametr p je realizací náhodné veličiny T, T ~ Ro0, Odvoďte aposteriorní pravděpodobnost k p pro h p h p Odhadněte parametr p pomocí aposteriorní pravděpodobnosti. Jaký bude bayesovský odhad p pokud máme realizaci: n =0 a X X,, X 0,0,,0,0,,,0,0,0 0 0 p p 0, 0,

24 Náhodná veličina X s Beta rozdělením X~Beα, β, α, β R, α, β >0, má základní prostor Z = R a hustotu pravděpodobnosti: Beta rozdělení Beα, β Charakteristiky: střední hodnota: rozptyl: Rozdělení B; odpovídá rovnoměrnému spojitému rozdělení na intervalu 0, EX X D, B SP Náhodná proměnná speciální rozdělení

25 SP Náhodná proměnná speciální rozdělení Beta rozdělení Beα, β

26 Bayesovské odhady - příklad Příklad Chceme odhadnou pravděpodobnost výskytu nějakého jevu - p. K dispozici máme apriorní inormaci h p. Nechť X je náhodný výběr rozsahu n: X,, X n Odvoďte aposteriorní pravděpodobnost k p. Nechť p je pravděpodobnost padnutí 6. Nechť parametr p je realizací náhodné veličiny T, T ~ e, Beta rozdělení Odhadněte parametr p pomocí aposteriorní pravděpodobnosti. Jaký bude bayesovský odhad p pokud máme realizaci: n =0 a X X,, X 0,0,,0,0,,,0,0,0 0

27 Bayesovské odhady V následující tabulce je uveden stručný přehled rozdělení θ, ze kterých vycházíme, apriorní rozdělení h θ a aposteriorní rozdělení k θ. Vychází se z hustot eponenciálního tvaru. Pozorovaná data se považují za nezávislá, n je počet pozorování a vztahy jsou pro výběrový průměr n X i X i θ hθ θ h k θ θ

28 Bayesovské odhady θ hθ θ h k θ θ

29 SP Náhodná proměnná speciální rozdělení Gamma rozdělení Γk, λ Náhodná veličina X s Gamma rozdělením X~Γk, λ, je zobecněním Erlangova rozdělení pro kr,λr, k,λ>0, má hustotu pravděpodobnosti: k k e 0 k 0 jinak Charakteristiky: střední hodnota: rozptyl: koe. šikmosti: koe. špičatosti: E X D X k k A3 X k 6 A X 3 k 4 3

30 SP Náhodná proměnná speciální rozdělení Gamma rozdělení Γk, λ ѳ = /λ

31 Bayesovské odhady - příklady Příklad Nechť θ označuje inteligenční kvocient jistého dítěte. Jeho hodnotu určujeme pomocí IQ testu. Je známo, že výsledek testu X má normální rozdělení pravděpodobnosti se střední hodnotou θ a směrodatnou odchylkou 0. Dlouhodobé výzkumy ukázaly, že rozložení kvocientu u dětí příslušného věku je normální N00, 5. Odhadněte θ.

32 Bayesovské odhady

33 Bayesovské odhady