Metody odhadováí parametrů. Metoda mometů. Maximálě věrohodé odhady. Petr Pošík Části dokumetu jsou převzaty (i doslově) z Mirko Navara: Pravděpodobost a matematická statistika, https://cw.felk.cvut.cz/lib/exe/fetch.php/courses/a6m33ssl/pms_prit.pdf s laskavým svoleím autora. Teorie odhadů Teorie odhadů...................................................................................................... 3 Odhad parametrů................................................................................................... 4 Metoda mometů 5 Metoda mometů................................................................................................... 6 Př: MME/Alt....................................................................................................... 7 Př: MME/Norm.................................................................................................... 8 Př: MME/Uif...................................................................................................... 9 Pouˇzitelost MME................................................................................................. 0 MLE Motivace.......................................................................................................... Pr. vs L........................................................................................................... 3 Věrohodost...................................................................................................... 4 MLE............................................................................................................. 5 Př: MLE/Alt...................................................................................................... 6 Př: MLE/Norm.................................................................................................... 7 Př: MLE/Uif..................................................................................................... 8 Př: MLE/Disc..................................................................................................... 9 Pouˇzitelost MLE.................................................................................................. 0
Teorie odhadů / 0 Teorie odhadů Teorie odhadů je jeda z větví statistiky: a základě pozorovaých dat (áhodého výběru) se saˇzí odhadout hodoty parametrů procesu, z ěhoˇz data pocházejí. V teorii řízeí se obdobé úloze hledáí parametrů dyamických systémů říká idetifikace systému. V dalším předpokládáme, ˇze proces můˇzeme popsat pravděpodobostím modelem daého typu s ěkolika málo parametry. Cíl: ajít v jistém smyslu optimálí odhad (statistiku, postup odhadu, estimator), ideálě sado implemetovatelý, který z aměřeých dat poskyte realizaci odhadu (odhad parametru, estimate) jistého parametru modelu. Příklady: Odhad volebího výsledku jisté politické stray (tj. proceto aktivích voličů, které ji bude volit). Volebí výsledek je ezámý parametr, odhad je zaloˇze a malém áhodém vzorku voličů. Radar počítá vzdáleost k objektům (letadla, lodě) a základě časového itervalu, který uplye mezi vysláím sigálu a detekcí jeho odrazu. V zašuměém sigálu, který radar přijímá, je ale těˇzké rozpozat, zda se jedá o odraz ebo e. Potřebujeme ějakou metodu odhadu pro detekci této události. Kdyˇz uˇz odraz detekujeme, změřeá délka itervalu je áhodě rozděleá, i ji je třeba ějak odhadout. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 3 / 0 Úloha odhadu parametrů Náhodá veličia X má rozděleí parametrizovaé vektorem parametrů θ = (θ,..., θ i ): Pravděpodobostí fukci začíme p X (x) = p X (x θ), abychom zdůrazili závislost a parametru (parametrech). Příklady: X Ber(q): p X (x) = p X (x q) X Ui f(a, b): p X (x) = p X (x a, b) X N(µ, σ ): p X (x) = p X (x µ, σ ) Parametrický prostor Π R i je moˇzia všech přípustých hodot parametrů, tj. θ Π: X Ber(q): θ = q, θ Π = 0, X Ui f(a, b): θ = (a, b), θ Π = R X N(µ, σ ): θ = (µ, σ ), θ Π = R R + Hledáme odhad Θ = ( Θ,..., Θ i ), resp. realizaci odhadu θ = ( θ,..., θ i ) pomocí realizace x = (x,..., x ), který je z jistého hlediska optimálí. Metody odhadováí: metoda mometů (MME), metoda maximálí věrohodosti (MLE), metoda maximálí aposteriorí pravděpodobostí (MAPE), Bayesovské odhady,... Související: metoda ejmeších čtverců (LSE), metoda ejmeších absolutích odchylek,... P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 4 / 0
Metoda mometů 5 / 0 Metoda mometů Pro áhodou veličiu X je k-tý obecý momet, k N, defiová jako E X k. Připomeňme: k výpočtu středí hodoty potřebujeme pravděpodobostí fukci ebo hustotu, zde parametrizovaou. k-tý obecý momet.v. X je tak fukcí parametrů pravděpodobostího modelu: E X k = E X k (θ). Z áhodého výběru lze spočítat výběrový k-tý obecý momet: m X k = x k j. Metoda mometů doporučuje realizaci odhadu θ = ( θ,..., θ i ) takovou, ˇze E X k ( θ,..., θ i ) = m X k, k =,,.... K jedozačému určeí i proměých (parametrů) obvykle potřebujeme (prvích) i rovic pro k =,,..., i. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 6 / 0 Příklad: MME pro alterativí rozděleí Příklad: Odhaděte prevaleci obezity v populaci v ČR (obezita: BMI > 30) z realizace áhodého výběru x = (x,..., x ), kde z = 50 testovaých jediců bylo prvích k = 4 obézích. Řešeí metodou mometů: Náhodá veličia X vyjadřuje, zda je osoba obézí ebo e (abývá hodot 0 ormálí a obézí ). Má alterativí (Beroulliho) rozděleí X Ber(q), kde q je hledaá prevalece. Prví obecý momet proměé s alterativím rozděleím je E X = q Máme k dispozici realizaci áhodého výběru x = (x,..., x ), = 50. Výběrový prví obecý momet je m X = x i i= Dle metody mometů máme ajít takový odhad q, který zajistí rovost mometu odhadovaého rozděleí s výběrovým mometem: E X = m X = q = i= x i = k q = k = 4 50 = 0.8 P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 7 / 0 3
Příklad: MME pro ormálí rozděleí Příklad: Z realizace áhodého výběru x = (x,..., x ) z ormálího rozděleí N(µ, σ ) odhaděte parametry µ a σ. Řešeí metodou mometů: Pouˇzijeme prví obecé momety ormálího rozděleí. E X = µ E X = (E X) + DX = µ + σ Dle metody mometů máme ajít takové odhady, které zajistí rovost mometů odhadovaého rozděleí s výběrovými momety: Výsledek: E X = m X = µ = x i E X = m X = µ + σ = xi µ = x, σ = xi µ = xi x, coˇz je alterativí (vychýleý kozistetí) odhad rozptylu. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 8 / 0 Příklad: MME pro rovoměré diskrétí rozděleí Problém ěmeckých taků (wikipedia): během. světové války spojeci pouˇzívali statistické metody pro odhad velikosti ěmeckého arzeálu. Odhaděte, kolik raket bylo vyrobeo, víte-li, ˇze existují rakety se sériovými čísly x = (5, 0,, 7, 8, 30, 39, 49, 73, 77) (byly jiˇz odpáley, ebo byly zabavey spojeci). Řešeí metodou mometů: Předpokládáme, ˇze existují sériová čísla,..., N, kde N je hledaá velikost arzeálu. Středí hodota E X proměé s rovoměrým diskrétím rozděleím s miimem a a maximem b je E X = a+b Dle metody mometů: = + N E X = m X = Co můˇzete říct o tomto odhadu??? + N = x N = x = 350 0 = 69 P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 9 / 0 4
Pouˇzitelost metody mometů Moˇzé problémy:. Řešeí soustavy rovic eexistuje zkusme ubrat rovice.. Řešeí je ekoečě moho zkusme přidat další rovice. 3. Je více eˇz jedo řešeí (apř. soustavy kvadratických rovic). 4. Je jedié řešeí, ale je obtíˇzé je alézt. 5. Soustava je špatě podmíěá (typicky pro velký počet parametrů). 6. Našli jsme jedié řešeí, které však esplňuje předpoklady, θ / Π (apř. parametry emohou být libovolá čísla) NELZE! Vždy kotrolujte řešeí! 7. Všem rovicím je přikládáa stejá důleˇzitost, coˇz bývá eˇzádoucí (typicky pro velký počet parametrů). 8. MME elze pouˇzít pro eumerická data (pokud je elze smysluplě očíslovat). Výhody: Lze pouˇzít pro diskrétí, spojité i smíšeé rozděleí beze změ. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 0 / 0 Metoda maximálí věrohodosti / 0 Věrohodost: Motivace Vrat me se k příkladu s obezitou: Náhodá veličia X Ber(q); q je prevalece obezity v populaci. Výsledek kokrétího experimetu: realizace áhodého výběru x = (, 0, 0), v ěmˇz je z = 3 lidí k = obézí. Odhaděte, zda byl experimet provede v Japosku, České republice ebo v USA, pokud je prevalece obezity q Jap = 0.03, q CR = 0.8 a q USA = 0.3. Jaká je pravděpodobost, ˇze by experimet měl výše zmíěý výsledek v jedotlivých zemích? Jedotlivé X i jsou ezávislé, lze psát p X (x q) = i= p Ber(q)(x i ) = q k ( q) k. p X (x q Jap ) = q k Jap ( q Jap) k. = 0.08 p X (x q CR ) = q k CR ( q CR) k. = 0.45 p X (x q USA ) = q k USA ( q USA) k. = 0.48 Zdůrazěme: Výše uvedeé hodoty p X zameají pravděpodobost daého výsledku experimetu za předpokladu, že experimet byl provede v daé zemi, ikoli pravděpodobost, že experimet byl provede v daé zemi za předpokladu, že pozorujeme daý výsledek experimetu. Na základě výsledků se zdá ejvěrohodější, ˇze experimet byl provede v USA. (Nikoli ejpravděpodobější: k tomu bychom potřebovali ještě zát počty takových experimetů provedeých v jedotlivých zemích.) P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství / 0 5
Rozděleí pravděpodobosti vs. věrohodostí fukce Parametrizovaou fukci p X (x q) = m p Ber(q)(x j ) lze iterpretovat růzě: Jako fukci dvou proměých (x je diskrétí, q je spojitá): Jako fukce jedé proměé, druhá je vˇzdy zafixovaá a jisté hodotě: L(q) = p X(x q),x = cost. p X(x q),q = cost. px(x q) = q k ( q) m k 0.8 0.6 0.4 0. 0 0 0.5 q 000 00 00 00 0 0 0 x px(x q) = q k ( q) m k 0.4 0.3 0. 0. 0 0 0.5 q 000 00 00 00 0 0 0 x Na ose x jsou vyesey všechy moˇzé realizace áhodého výběru rozsahu 3 (diskrétí proměá). Na ose q jsou vyesey všechy moˇzé hodoty parametru q (spojitá proměá a itervalu 0, ). Fukce p X (x q) popisuje, jak dobře odpovídá realizace. v. x rozděleí s parametrem q. Kaˇzdý řez pro q = kost. (červeě) je rozděleí pravděpodobosti p X (x). (Pstí dedukce.) Kaˇzdý řez pro x = kost. (modře) je fukce věrohodosti parametru q, L(q). (Stat. idukce.) P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 3 / 0 Věrohodost Věrohodost parametrů diskrétího rozděleí (vzhledem k realizaci áhodého výběru) je fukce L : Π 0,, parametrů θ = (θ,..., θ i ) defiovaá jako L(θ) = p X (x θ) = P[X = x... X = x θ] = = P[X j = x j θ] = p X (x j θ) a je to tedy pravděpodobost realizace x áhodého výběru z diskrétího rozděleí při hodotách parametrů θ. Věrohodost parametrů spojitého rozděleí (vzhledem k realizaci áhodého výběru) je zcela jiý pojem: kaˇzdá realizace má ulovou pravděpodobost, proto místo í pouˇzijeme hustotu pravděpodobosti. Je to fukce Λ : Π 0, ), Π R i, defiovaá jako Λ(θ) = f X (x θ) = f X (x j θ) Hustota f X musí být spojitá (alespoň a oboru hodot, jichˇz áhodá veličia abývá). Věrohodost Λ(θ) můˇze mít rozměr (jedotky), pokud má rozměr i hustota pravděpodobosti f X. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 4 / 0 6
Metoda maximálí věrohodosti Metoda maximálí věrohodosti doporučuje takovou realizaci odhadů θ = ( θ,..., θ i ), která maximalizuje věrohodost, tj. θ = argmax θ Π θ = argmax θ Π L(θ) = argmax θ Π Λ(θ) = argmax θ Π p X (x j θ) pro diskrétí rozděleí a f X (x j θ) pro spojitá rozděleí. Lze maximalizovat bud věrohodost přímo, ebo její logaritmus (log-likelihood), coˇz často vede a sazší výpočet, tj. l(θ) = l L(θ) = l p X (x j θ) pro diskrétí rozděleí a λ(θ) = l Λ(θ) = l f X (x j θ) pro spojitá rozděleí. Je třeba vyloučit případy, kdy p X (x j θ) = 0, resp. f X (x j θ) = 0, ty však evedou a maximum. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 5 / 0 Příklad: MLE pro alterativí rozděleí Příklad: Odhaděte prevaleci obezity v populaci v ČR (obezita: BMI > 30). K dispozici máme realizaci áhodého výběru x = (x,..., x ), kde z = 50 testovaých jediců bylo prvích k = 4 obézích. Řešeí metodou max. věrohodosti: X Ber(q), kde q je hledaá prevalece. Pravděpodobost realizace x áhodého výběru v závislosti a parametru q: p X (x q) = p X (x j q) = q k ( q) k Metoda maximálí věrohodosti říká, ˇze máme maximalizovat fukci L(q) = p X (x q) = q k ( q) k, ebo l(q) = l L(q) = k l q+( k) l( q) kde a k jsou zámé z experimetu (z realizace áh. výběru). Spočtěme derivaci l(q) l(q) q = k q k q poloˇzme ji rovou ule a vyřešme pro q: k q k q = 0 q = k. Maximálě věrohodý odhad populačí pravděpodobosti je shodý s odhadem metodou mometů a se středí hodotou empirického rozděleí. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 6 / 0 7
Příklad: MLE pro ormálí rozděleí Příklad: Z realizace áhodého výběru x = (x,..., x ) z ormálího rozděleí N(µ, σ ) odhaděte parametry µ a r = σ. Řešeí metodou max. věrohodosti: Chceme maximalizovat fukci ( ) (xj µ) Λ(µ, r) = f N(µ,r) (x j ) = exp, j πr r coˇz je totéˇz, jako maximalizovat její logaritmus: λ(µ, r) = l Λ(µ, r) = r (x j µ) l r l π. Poloˇzme derivace rové ule a vyřešme pro parametry µ a r: λ(µ, r) µ = r µ= µ,r= r λ(µ, r) r = µ= µ,r= r r ( ) j µ) = (x r x j µ = ṋ (x µ) = 0, r (x j µ) r = r ( ) (x j µ) r = 0. Maxima abývá fukce věrohodosti pro hodoty shodé s odhady metodou mometů: µ = x, r = j µ) (x = (x j x) = DX, P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 7 / 0 Příklad: MLE pro rovoměré diskrétí rozděleí Problém ěmeckých taků (wikipedia): během. světové války spojeci pouˇzívali statistické metody pro odhad velikosti ěmeckého arzeálu. Odhaděte, kolik raket bylo vyrobeo, víte-li, ˇze existují rakety se sériovými čísly x = (5, 0,, 7, 8, 30, 39, 49, 73, 77) (byly jiˇz odpáley, ebo byly zabavey spojeci). Řešeí metodou max. věrohodosti: Předpokládáme, ˇze existují sériová čísla,..., N, kde N je hledaá velikost arzeálu. Rovoměré rozděleí pravděpodobosti je kostatí pro X abývající hodot a, a +,..., b, b. L(a, b) = ( ) b a =, b a pokud x j : x j a, b ; jiak je ulová. Věrohodost je maximálí, pokud b a je miimálí, tj. a = mi x j, b = max x j. j j Pro úlohu ěmeckých taků je a = (vyplývá z úlohy), odhadujeme je horí mez rozděleí, tedy N = max j x j = 77. To je lepší odhad, ež poskytuje metoda mometů. Nicméě je to odhad vychýleý, velikost arzeálu většiou podhodocuje. Nejlepším estraým odhadem je v tomto případě N = m+ m k k, kde m je výběrové maximum a k je velikost výběru. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 8 / 0 8
Příklad: MLE pro sloˇzitější diskrétí rozděleí Příklad (obdoba bude v DÚ): Komuikačí kaál produkuje 3 růzé symboly, A, B a C, s pravděpodobostmi p a, p b a p c, které ezáme. Z výstupu jsme přečetli sekveci x dlouhou = a+b+c symbolů (a výskytů A, atd.). Odhaděte p a, p b, p c pomocí MLE. Řešeí metodou max. věrohodosti: Pravděpodobost p(x p a, p b, p c ) lze vypočítat jako ( ) ( ) ( ) a a b p(x p a, p b, p c ) = p a a p b b p c c =! a b c a!b!c! pa a p b b pc c Protoˇze p a, p b a p c mají defiovat rozděleí psti, musí apř. p c = p a p b, takˇze: p(x p a, p b ) =! a!b!c! pa a p b b ( p a p b ) c = L(p a, p b ) l(p a, p b ) = l L(p a, p b ) = kost.+ a l p a + b l p b + c l( p a p b ) Pro ML odhady musí platit, ˇze derivace l jsou rové ule: l(p a, p b ) p a = a p c = 0 pa= p a,p b = p b a p a p b l(p a, p b ) p = b p c = 0 b pa= p a,p b = p b b p a p b Řešeím této soustavy rovic jsou odhady p a = a p b = b p c = c P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 9 / 0 Pouˇzitelost metody maximálí věrohodosti Moˇzé problémy:. Je více eˇz jedo řešeí. (Můˇze se stát, ˇze růzé hodoty parametrů popisují totéˇz rozděleí. Vadí to?). Řešeí eexistuje. (Věrohodostí fukce je espojitá ebo parametrický prostor eí uzavřeý.) 3. Je jedié řešeí, ale je obtíˇzé ho ajít. (Lokálí extrémy emusí být globálí. Pouˇzívají se umerické optimalizačí algoritmy, obvykle spouštěé z růzých úvodích odhadů.) 4. Hodoty věrohodosti mohou být velmi malé. 5. Nelze použít pro smíšeé rozděleí! Výhody: Hledáí optima bývá sazší eˇz řešeí soustavy rovic. Růzým datům je dá společý (srovatelý) výzam. Lze pouˇzít i a eumerická data. P. Pošík c 05 A6M33SSL: Statistika a spolehlivost v lékařství 0 / 0 9