je hustota pravdpodobnosti nebo pravdpodobnostní funkce náhodného výbru X (X 1, X 2,, X n ). , jako odhad. Nech f ( x;θ)

Transkript

1 7. as ke studu: 90 mut Cíl: Na úvod této kaptoly se sezámíte s odlšým pohledem a metodu mamálí vrohodost a dále se pak udete vovat základm Bayesovy dukce. Sezámíte se s pojmy aprorí a aposterorí rozdleí, auíte se alézt Bayesv odový a tervalový odhad. VÝKLAD 7.. Metoda mamálí vrohodost V této kaptole se sezámíme s mír odlšým pohledem a metodu mamálí vrohodost, ež jsme uvedl ve skrptech Statstka I. pro komovaé studum. Nech X, X,, X je áhodý výr z rozdleí s dstruí fukc F ( ;Θ), kde tvar dstruí fukce je zám a Θ je ezámý parametr. Oec mže dstruí fukce osahovat více ezámých parametr, které mžeme ozat vektorov jako. Prolém Θˆ X, jakožto fukce X, X,, X, která odového odhadu yí spoívá v alezeí statstky y mohla ýt použta jako odhad. Tato statstka ývá asto ozaováa jako estmátor a její realzace, ekme Θˆ ( ), jako odhad. Nech f ( ;Θ) je hustota pravdpodoost eo pravdpodoostí fukce áhodého výru X (X, X,, X ). Defce: Pokud je hustota pravdpodoost eo pravdpodoostí fukce f ( ;Θ) vyšetovaá jako fukce, azveme j vrohodostí fukcí založeou a (,, ) a ozaíme j jako L Θ;. Jestlže X, X,, X je moža ezávslých áhodých pozorováí z rozdleí s hustotam f ;Θ,,,, pak vrohodostí fukce mže ýt získáa jako: L ( Θ,, ) f ( ; Θ) f ( ; Θ) ; Defce: Nech L ( Θ;X) je vrohodostí fukce založea a áhodém výru X (X, X,, X ) z rozdleí F ( ;Θ), kde je vektor ezámých parametr, který aývá hodot z jakého Θ Θ ˆ X L Θ;X parametrckého prostoru. Pokud ˆ je áhodý vektor, který mamalzuje vzhledem k Θˆ Θ, potom Θˆ ( X ) udeme azývat mamál vrohodý estmátor. 88

2 Pro kokrétí realzac áhodého výru (,, ) udeme ( X ) Θˆ azývat jako mamál vrohodý odhad. Pro teto odhad udeme používat zkratku MVO. Tato tzv. metoda mamálí vrohodost má hlaví výhodu ve své jedoduchost a v tom, že dává odhady s velm dorým statstckým vlastostm. ešeý píklad MVO pro parametr epoecálího rozdleí Nech X (X, X,, X ) je áhodý výr z epoecálího rozdleí pravdpodoost. Víme, že hustota pravdpodoost epoecálí áhodé vely má tvar: f kde >0 je ezámý parametr. ( ) e, > 0, Chceme-l získat MVO pro parametr, zkostruujeme ejdíve vrohodostí fukc: L e ( ;) f V tomto pípad je výhodé využít toho, že mamum kladé fukce se shoduje s mamem jejího logartmu. Zaveme s tedy fukc L * ( ; ), která ude logartmem vrohodostí fukce: L * ( ; ) l e l( ) + l e l Zývá alézt mamum L * ( ; ). Bod podezelý z etrému uríme tak, že prví dervac fukce položíme rovu 0. ( ; ) * dl d 0 ˆ Pomocí druhé dervace zjstíme, zda se skute jedá o mamum fukce (druhá dervace v tomto od musí ýt záporá. d ( ; ) * L d 89

3 d ( ; ) ( ˆ ) < 0 * L d Tímto jsme ukázal, že ˆ mamalzuje L *( ; ) a tím také vrohodostí fukc. Tedy, kde je výrový prmr z výru pocházejícího z epoecálího rozdleí, je MVO parametru. MVO oekávaé hodoty epoecálího rozdleí, ozaeý jako, mže ýt odvoze podoým zpsoem z mulého výsledku pomocí vlastost varace mamál vrohodých odhad. Tato vlastost íká [Nguye H. T., Rogers G. S., 989], že: Pokud Θˆ je MVO parametru, pak ( Θˆ ) pedpokladu, že g (.) je prostá fukce. g je MVO fukce parametru ( Θ) g za Nyí je jasé, že MVO oekávaé hodoty epoecálího rozdleí je ˆ. 7.. Úvod do Bayesovy dukce Parametr Θ, který je pedmtem ašeho zájmu, je v Bayesov pístupu vyšetová jako áhodá vela. Jde-l o parametr áhodé vely X s dstruí fukc F(; Θ ), pak vždy, když pracujeme s touto fukcí, musíme mít a mysl podmíou dstruí fukc F Θ Aprorí rozdleí Uvažujme parametr áhodé vely X s dstruí fukc F ( Θ). Nech doposud eí k dspozc žádé pozorováí této áhodé vely. Nech je k dspozc jakás pedžá zkušeost, aprorí zalost o této populac eo já formace, která umoží zkostruovat sujektví pravdpodoostí rozdleí pro parametr. Takové rozdleí, které reflektuje ejstotu o hodot parametru z hledska epermetátora ješt ped pozorováím aktuálího Θ. výru, se azývá aprorí rozdleí parametru. Dále jej udeme ozaovat V moha stuacích lze vyjádt relatví pravdpodoost toho, že parametr aývá hodot a jaké mož, pomocí vhodého rozdleí pravdpodoost. Úloha ajít aprorí rozdleí pro zkoumaý parametr je všeoec velm otížá. V kterých pípadech ývá dokoce velm výhodé zvolt jako aprorí hustotu takovou fukc, která emusí ýt a tegrovatelá, a pesto po mplemetac Bayesových metod dává rozumé výsledky (kdy však také vede k esmyslým výsledkm). Taková hustota ývá ozaováa jako tzv. evlastí aprorí hustota. Bayesovy metody lze použít v pípad, že eí dostupá žádá formace o vyšetovaém parametru. Taková aprorí rozdleí, ozaováa jako eurtá, 90

4 yla velm tezv studováa [Jeffreys, 96] a jsou základem Bayesových metod vyvutých autory [Bo ad Tao, 973]. Neestuje žádý oecý ávod, jak y mla ýt specfkováa eurtá aprorí hustota. Jelkož jsou pod tíhou rzých argumet použty rzé defce eurtých aprorích rozdleí, setkáme se asto s rzým evlastím aprorím rozdleím [Zeller, 977]. Pro úely alezeí eurtého aprorího rozdleí použjeme jedu z ejpopulárjších metod, avržeou v [Jeffreys, 96]. Nech f ( Θ) je hustota pravdpodoost eo pravdpodoostí fukce pozorovaé áhodé vely X, kde vektor je vektor ezámých parametr. Za eurté aprorí rozdleí lze vzít: kde ( Θ) [ ] ( Θ) I( Θ), I je Fsherova formaí matce (defováa pomocí druhé dervace logartmcké vrohodostí fukce). I ΘΘ ( Θ) E l ( f ( X Θ ) ešeý píklad Uvažujme epoecálí rozdleí s hustotou f ( ) e, > 0, kde > 0 je parametr, pro který je uto zkostruovat aprorí hustotu. Úkolem je alézt eurtou aprorí hustotu pro parametr a pro jeho pevráceou hodotu. I ( ) E l ( e ) E l ( ) [ ] E Odtud vyplývá, že eurtá (Jeffreysova) aprorí hustota pravdpodoost pro je evlastí aprorí hustota, úmrá : ( Θ ) Pokud ás ude zajímat aprorí rozdleí pro pevráceou hodotu, tj., pak Fscherova matce ude: I X l ( ) E e E l X 9

5 E + X E + X E 3 X + EX Tedy eurtá aprorí hustota pro oekávaou hodotu epoecálího rozdleí je: ( ) 7.4. Aposterorí rozdleí Nech X je áhodý vektor se sdružeou hustotou pravdpodoost eo pravdpodoostí Θ Θ je aprorí rozdleí áhodého vektoru. Potom sdružeé fukcí f. Nech rozdleí X a mže ýt alezeo jako: ( Θ) f ( Θ) ( Θ) h, Za pedpokladu, že je asolut spojtý áhodý vektor, margálí rozdleí X mže ýt alezeo jako: Θ ( ) h( Θ) dθ g ; A koe podmíé rozdleí p realzac X je: ( Θ ) h ( ; Θ) g( ) pro Θ Ω Toto pravdpodoostí rozdleí se azývá aposterorí rozdleí. Toto podmíé rozdleí parametru p daých datech je takto azváo zejméa proto, že odráží pedstavu epermetátora o zkoumaém parametru poté, co yl pozorová áhodý výr z píslušé populace. Tedy aposterorí rozdleí komuje pedžou formac osažeou v aprorím rozdleí s formací o (osažeou v datech vrohodostí fukce). Pokud udeme gorovat kostatu úmrost, pak aposterorí rozdleí mže ýt zapsáo ásledov: ( Θ ) f ( Θ) ( Θ) pro Θ Ω, kde kostata úmrost k mže ýt alezea tak, ay yla spla ormovací podmíka aposterorí hustoty. 9

6 Poz.: ozauje pímou úmrost, tz. ( Θ ) f ( Θ) ( Θ) rovce: ( Θ ) k f ( Θ) ( Θ), k R je zkráceým zápsem Tedy: aposterorí rozdleí (aprorí rozdleí. vrohodostí fukce) Pokud aposterorí rozdleí pravdpodoost patí do téže tídy rozdleí jako aprorí rozdleí, potom tuto tídu rozdleí azýváme prozeý kojugovaý systém rozdleí pro rozdleí X. To zameá, že pokud aprorí rozdleí je kojugovaé vzhledem k výrovému rozdleí, pak pro alezeí aposterorího rozdleí poteujeme aktualzovat pouze parametry aprorího rozdleí. ešeý píklad Nech X,, X je áhodý výr z epoecálího rozdleí s parametrem. Úkolem je alézt aposterorí rozdleí pro za pedpokladu, že aprorí rozdleí je: Gamma a;, tj. a) ( ) ) ( ) a a e, kde Γ Γ ( a) a ( a) e d, E a Víme, že hustota pravdpodoost epoecálí áhodé vely má tvar: f kde >0 je ezámý parametr. ( ) e, > 0 Zkostruujeme ejdíve vrohodostí fukc: L kde je výrový prmr. 0, ( ) f ( ) e e ;, ada) Pokud gorujeme kostatu úmrost, aprorí rozdleí a e aposterorí rozdleí (aprorí rozdleí. vrohodostí fukce) a aposterorí rozdleí e e ( ) Lze sado rozezat, že se jedá o Gamma rozdleí: + a e + ( ) Gamma + a; + Protože aprorí aposterorí rozdleí patí do téže tídy rozdleí, je 93

7 evdetí, že tato tída (Gamma rozdleí) slouží jako prozeý kojugovaý systém pro výrová epoecálí rozdleí. ad) evlastí aprorí rozdleí: ( ) aposterorí rozdleí e e, Gamma; takže: a skuteost, že aprorí rozdleí je evlastí, zde ehraje výzamou rol Bayesovy estmátory Nech ( Θ ) je aposterorí rozdleí pro parametr, založeo a pozorováích áhodého vektoru X, který má dstruí fukc F ( Θ). Cílem ude získat odové a tervalové odhady pro. Nejdíve uvažujme prolém odového odhadu. Bayesv odový odhad Aposterorí rozdleí v Bayesov pístupu hraje podoou rol jako vrohodostí fukce v kaptole 5 výraz eho, s ím pchází veškerá formace o parametru. Na rozdíl od vrohodostí fukce však aposterorí rozdleí osahuje formac jak v podo aprorího rozdleí, tak ve výru samotém. Bodový odhad parametru mže ýt získá odo jako v defc mamál vrohodého estmátoru. Jestlže MVO pro parametr yl dá alezeím modu vrohodostí fukce, pak odo mžeme defovat zoecý Θ. mamál vrohodý estmátor jako modus aposterorího rozdleí Odhad získaý touto metodou ude posuzová jako odhad aposterorím modem. Pozameejme, že aposterorí rozdleí je pravdpodoostím rozdleím, zatímco vrohodostí fukce, jako fukce, emusí ut ýt pravdpodoostím rozdleím. Modus aposterorího rozdleí je specálí mírou polohy tohoto rozdleí. Lze tedy zavést další míry polohy aposterorího rozdleí, které mohou odhadout stej doe. Tyto odhady udou posuzováy jako: odhad aposterorí oekávaou hodotou, resp. odhad aposterorím medáem. Z teoretckého hledska mohou ýt tyto alteratví odhady v jstém smyslu optmálí, pokud je zadáa jstá ztrátová fukce odhadu. Napíklad aposterorí oekávaá hodota, resp. aposterorí medá jsou Bayesovy odhady parametru za pedpokladu kvadratcké ztrátové fukce ( Θ; Θˆ ) ( Θ Θ ˆ ) L, resp. ztrátové fukce ve tvaru: ( Θ; Θ) Θ Θ L ˆ ˆ, kde Θˆ je odhad parametru. 94

8 Aychom krátce popsal myšleku Bayesových estmátor, uvažujme oecou ztrátovou L Θ; Θ ˆ, pro íž estuje oekávaá hodota vzhledem k aposterorímu rozdleí fukc ( Θ ). Potom estmátor Θˆ azveme Bayesovým estmátorem p uvažovaé ztrátové fukc L Θ; Θ ˆ, pokud Θˆ mmalzuje aposterorí oekávaou ztrátu E [ L( Θ; Θˆ ) ] L( Θ; Θˆ ) ( Θ ) Θ Napíklad pro kvadratckou ztrátovou fukc mže ýt aposterorí oekávaá ztráta vyjádea jako E ( Θ Θˆ ) E( Θ E( Θ ) ) + ( E( Θ ) - Θˆ ) D( Θ ) + [ E( Θ ) Θˆ ] D( Θ ) Z posledí erovost dále plye, že pokud Θˆ E( Θ ), což je aposterorí oekávaá hodota, pak aposterorí oekávaá ztráta je rova D( Θ ). Nyí je jasé, že aposterorí oekávaá hodota, jakožto odhad, mmalzuje aposterorí oekávaou ztrátu. Jým slovy aposterorí oekávaá hodota je Bayesv estmátor p uvažovaé kvadratcké ztrátové fukc. dθ ešeý píklad Uvažujme aposterorí rozdleí daé ( ) Gamma + a; pro + parametr epoecálího rozdleí. Z vlastost Gamma rozdleí ezprosted plye, že ˆ ( + a) + je odhadem pomocí aposterorí oekávaé hodoty. Všmme s ozvlášt, že pokud a 0 a, tedy p evlastím aprorím rozdleí, Bayesv esmátor (p uvažovaé kvadratcké ztrátové fukc) se redukuje a, což je totéž jako MVO pro. Pokusme se yí alézt zoecý mamál vrohodý odhad (zoecý MVO), založeý a výru X,, X a p pedpokladu aprorího rozdleí Gamma G(a;). Je samozejmé, že modus aposterorího rozdleí ude ve stejém od jako mamum fukce 95

9 ( + ) + a - l g, Protože až a kostatu ezávslou a je g() totéž jako logartmus aposterorího rozdleí. Dervováím dostaeme: dg + a - + d d g + a - d a Jelkož druhá dervace je záporá pro všecha +a >, mamum g() mže ýt alezeo z. rovce, kterou položíme rovu 0. Odtud zoecý MVO parametru je 7.6. Bayesv tervalový odhad ( + a -) ˆ + Pedpokládejme, že pro je yí požadováa kofdeí moža. Ppome me, že a rozdíl od klasckého pístupu, je yí áhodý vektor. Proto, a rozdíl od klasckého pístupu, který vydává pravdpodoostí výpov o podmož základího prostoru s cílem alezeí kofdeí olast, zde provedeme pravdpodoostí výpovd týkající se pímo podmož parametrckého prostoru. Kofdeí možy, které získáme pomocí Bayesova pístupu, mají pímou pravdpodoostí terpretac. Bayesv aalog v kofdeímu tervalu je psuzová Bayesov kofdeím tervalu eo také pravdpodoostímu tervalu. Defce: Nech C() je podmoža parametrckého prostoru taková,že P ( Θ C( ) ) ( Θ ) C dθ γ Potom C() se azývá 00 % í pravdvostí moža pro, kde ( Θ ) je aposterorí rozdleí pro. Shrutí kaptoly 7. ( ) Parametr Θ, který je pedmtem ašeho zájmu, je v Bayesov pístupu vyšetová jako áhodá vela. Jde-l o parametr áhodé vely X s dstruí fukc F(; Θ ), pak vždy, když pracujeme s touto fukcí, musíme mít a mysl podmíou dstruí fukc F Θ. Rozdleí, které reflektuje ejstotu o hodot parametru z hledska epermetátora ješt ped pozorováím aktuálího výru, se azývá aprorí rozdleí parametru. Θ. Ozaujeme jej 96

10 Nech f ( Θ) je hustota pravdpodoost eo pravdpodoostí fukce pozorovaé áhodé vely X, kde vektor je vektor ezámých parametr. Za eurté aprorí rozdleí lze vzít: kde ( Θ) [ ] ( Θ) I( Θ), I je Fscherova formaí matce (defováa pomocí druhé dervace logartmcké vrohodostí fukce). I ΘΘ ( Θ) E l ( f ( X Θ ) Sdružeé rozdleí X a mže ýt alezeo jako: ( Θ) f ( Θ) ( Θ) h, Za pedpokladu, že je asolut spojtý áhodý vektor, margálí rozdleí X mže ýt alezeo jako: ( ) h( Θ) dθ Θ g ; A koe podmíé rozdleí p realzac X je: ( Θ ) h ( ; Θ) g( ) pro Θ Ω Toto pravdpodoostí rozdleí se azývá aposterorí rozdleí. Toto podmíé rozdleí parametru p daých datech je takto azváo zejméa proto, že odráží pedstavu epermetátora o zkoumaém parametru poté, co yl pozorová áhodý výr z píslušé populace. aposterorí rozdleí (aprorí rozdleí. vrohodostí fukce) Pokud aposterorí rozdleí pravdpodoost patí do téže tídy rozdleí jako aprorí rozdleí, potom tuto tídu rozdleí azýváme prozeý kojugovaý systém rozdleí pro rozdleí X. Aychom krátce popsal myšleku Bayesových estmátor, uvažujme oecou ztrátovou L Θ; Θ ˆ, pro íž estuje oekávaá hodota vzhledem k aposterorímu rozdleí fukc ( Θ ). Potom estmátor Θˆ azveme Bayesovým estmátorem p uvažovaé ztrátové fukc L Θ; Θ ˆ, pokud Θˆ mmalzuje aposterorí oekávaou ztrátu 97

11 E [ L( Θ; Θˆ ) ] L( Θ; Θˆ ) ( Θ ) Θ Kofdeí možy, které získáme pomocí Bayesova pístupu, mají pímou pravdpodoostí terpretac. Bayesv aalog v kofdeímu tervalu je psuzová Bayesov kofdeím tervalu eo také pravdpodoostímu tervalu. dθ Defce: Nech C() je podmoža parametrckého prostoru taková,že P ( Θ C( ) ) ( Θ ) C dθ γ Potom C() se azývá 00 % í pravdvostí moža pro, kde ( Θ ) je aposterorí rozdleí pro. Otázky 7. ( ). Co je to aprorí rozdleí?. Defujte Fsherovu formaí matc. 3. Co je to aposterorí rozdleí? 4. Jaký je vztah mez aposterorím a aprorím rozdleím? 5. Co je to prozeý kojugovaý systém rozdleí? 6. Co je to ztrátová fukce? 7. Kdy mluvíme o Bayesov odovém odhadu? 98