Bayesovské metody. Mnohorozměrná analýza dat

Rozměr: px

Začít zobrazení ze stránky:

Download "Bayesovské metody. Mnohorozměrná analýza dat"

Jarmila Němečková
před 5 lety
Počet zobrazení:

1 Mnohorozměrná analýza dat

2 Podmíněná pravděpodobnost Definice: Uvažujme náhodné jevy A a B takové, že P(B) > 0. Podmíněnou pravěpodobností jevu A za podmínky, že nastal jev B, nazýváme podíl P(A B) P(A B) =. P(B) Poznámka: Podmíněná pravděpodobnost P(A B) je vlastně pravděpodobnost jevu A na prostoru B. Věta o úplné pravděpodobnosti: Necht Ω = i E i, kde E i jsou po dvou disjunktní jevy. Potom pro pravěpodobnost jevu A platí P(A) = i P(A E i ) P(E i ).

3 Bayesova věta Bayesova věta: Necht P(A) > 0 a Ω = i E i, kde E i jsou po dvou disjunktní jevy, P(E i ) > 0. Potom P(E j A) = P(A E j)p(e j ) i P(A E i)p(e i ) Příklad (Hebák, AOP, 2012): Tento příklad vychází z výuky základního kurzu z pravděpodobnosti na VŠE. Studentům se jako příprava ke zkoušce doporučuje spočítat 100 příkladů. Tohoto doporučení neuposlechne 95 % studentů. Pro úspěšné napsání testu je třeba získat alespoň polovinu bodů. Při prvním pokusu jsou pak dlouhodobě výsledky následující: 20 % ze studentů, kteří příklady nespočetli, uspěje a ze studentů, kteří se připravili, uspěje 99 %. Spočtěte pravděpodobnost úspěchu v testu a pravděpodobnost, že náhodně vybraný student se připravil (resp. nepřipravil), víme-li, že v testu uspěl.

4 Bayesova věta pro spojité náhodné veličiny Uvažujme náhodné veličiny X a Y. Potom f Y X (y x) = f Y (y)f X Y (x y) fy (z)f X Y (x z)dz. Funkce f Y X (y x) a f X Y (x y) jsou tzv. podmíněné hustoty. Na podmíněnou hustotu f Y X (y x) se můžeme (hrubě řečeno) dívat jako na hustotu rozdělení s pevně daným parametrem x. Funkce f Y je tzv. apriorní hustota veličiny Y a funkce f Y X (y x) tzv. aposteriorní hustota veličiny Y.

5 ve statistice Uvažujme nyní, že máme veličinu X, jejíž rozdělení závisí na parametru y (obecně vícerozměrného). Klasická statistika: Z náhodného výběru z rozdělení veličiny X odhadujeme hodnotu parametru y. : Parametr rozdělení veličiny X považujeme za náhodnou veličinu Y. Na základě nějaké předchozí (apriorní) informace či zkušenosti můžeme odhadnout aposteriorní podmíněnou hustotu veličiny Y (hustota po realizaci X) pomocí Bayesovy věty (podmíněné rozdělení X za podmínky Y = y považujeme za známé). Rozdíl: Při klasickém přístupu použijeme k závěrům o hodnotě parametru y pouze hustotu f X Y =y, kdežto v případě Bayesovském také apriorní informaci f Y.

6 -diskuze mají své příznivce i odpůrce. Výhody Využití apriorní informace Nevýhody: Parametr je náhodná veličina Volba a použití apriorního rozdělení - na něm závisí výsledné rozdělení f Y X! Je-li apriorní informace neurčitá (nebo dokonce žádná), vznikají problémy. Poznámka: Apriorní hustota dokonce nemusí být ani hustota. Je-li f Y obecně nezáporná integrovatelná funkce, aposteriorní rozdělení se nezmění. Někdy dokonce volíme za apriorní hustotu i nezápornou neintegrovatelnou funkci, ale s tím je třeba zacházet velice opatrně (někdy výsledky dávají dobrý smysl, někdy ne).

7 Některá využití Bayesovské statistiky Odhad parametru rozdělení y Simulace z cílového rozdělení, odhady parametrů (sekvenční MCMC metody)

8 Simulace z rozdělení - přímé metody Simulace NV s diskrétním rozdělením (x k, p k ), k = 1, 2,... Označme I 1 = [ 0, p 1 ], I n = ( n 1 k=1 p k, n k=1 p k]. Vygenerujeme náhodnou veličinu U R(0, 1). Najděme n takové, že U I n. Potom x n výběr z daného rozdělení. Poznámka: Pro některá rozdělení můžeme využít jejich interpretace (Binomické, Poissonovo,... ) Simulace NV se spojitým rozdělením (a) Inverzní metoda: Generujeme z rozdělení s distribuční funkcí F takovou, že k ní existuje F 1. Generuj U R(0, 1). Pak F 1 (U) má rozdělení s distribuční funkcí F. Poznámka: Normální rozdělení takhle nenagenerujeme :-(.

9 (b) Transformační metoda - příklad (normální rozdělení) Generujeme nezávisle náhodné veličiny U 1 R(0, 1) a U 2 R(0, 1). Potom náhodná veličiny Z 1 = 2 ln U 1 cos(2πu 2 ) Z 2 = 2 ln U 1 sin(2πu 2 ) mají normované normální rozdělení. Simulace náhodného vektoru (a) Transformací Náhodný vektor, jehož realizaci chceme nasimulovat, získáme transformací náhodného vektoru s rozdělením, ze kterého umíme generovat. Příklad: Uvažujme náhodný vektor Y N d (µ, Σ). Pokud umíme najít matici A takovou, že Σ = A A T, potom kde X N d (0, I d ). Y = µ + A X,

10 (b) Interpretací Viz. např. Wishartovo rozdělení: X 1,..., X n výběr z Y N d (µ, Σ), potom n (X i µ)(x i µ) T i=1 má rozdělení W d ( n 2, n 2 Σ 1 ).

11 Simulace z rozdělení - zamítací metoda Uvažujme náhodnou veličinu X s hustotou f. Potom simulace z rozdělení s hustotou f je ekvivalentní simulaci vektoru (X, U) z rovnoměrného rozdělení na množině A = {(x, u) : 0 < u < f (x)}. Postup: Generujeme z obdélníku, který "obalí" množinu A. Padne-li bod do této množiny, považujeme jeho x ovou souřadnici za realizaci X, pokud ne, pokračujeme dále, dokud se tak nestane. Density

12 Simulace z rozdělení - zamítací metoda Co když ale neznáme integrační konstantu hustoty, tj. místo f známe f = c f, kde konstantu c neznáme. Pomůžeme si hustotou g rozdělení, ze kterého umíme generovat a platí f Mg(x), x, M známé. Algoritmus: 1. generuj X g, 2. generuj U R(0, 1) nezávisle na X, 3. pokud U f (X) Mg(X), pak Z = X f. Jinak zpět na krok 1. Poznámka: Očekávaný počet iterací je M c.

13 Metody Markov Chain Monte Carlo Třída algoritmů k simulaci systémů. Nejčastěji slouží k počítání (zejména) mnohorozměrných integrálů simulacím z daného rozdělení dále například k numerickému řešení diferenciálních rovnic

14 Metody Markov Chain Monte Carlo Monte Carlo integrace Budeme chtít odhadnout střední hodnotu funkce h náhodné veličiny X s rozdělením daným hustotou f. Víme: Eh(X) = h(x)f (x)dx. Odhad: Budeme-li mít náhodný výběr o rozsahu n z rozdělení veličiny X, potom Eh(X) 1 n h(x i ). n My ovšem výběr nemáme, jen známe rozdělení X výběr si můžeme nagenerovat. Problém nastává, když z f neumíme generovat. R i=1

15 Metody Markov Chain Monte Carlo Importance Sampling - výběr na základě důležitosti Neumíme generovat přímo z rozdělení s hustotou f (nebo se nám to nehodí, např. je to zdlouhavé), ale umíme generovat z rozdělení s hustotou g. Myšlenka: Eh(X) = R h(x)f (x) g(x) ( dx = Eh(X) = h(x) f (x) ) g(x)dx. g(x) R g(x) Stačí nám tedy generovat z rozdělení s hustotou g (tzv. importance density) a poté odhadovat Eh(X) sumou 1 n Hustotu g volit s rozvahou! n i=1 h(x i ) f (x i) g(x i ).

16 Metody Markov Chain Monte Carlo Náhodný proces Uvažujme množinu T R. Náhodný proces je množina {X t, t T }, kde X t jsou náhodné veličiny. Index t většinou interpretujeme jako čas. Pro T = Z nebo T = N {0} mluvíme o náhodném procesu s diskrétním časem, popř. o časové řadě. Markovský řetězec {X n, n N 0 } je takový náhodný proces s diskrétním časem, že P(X n+1 = x n+1 X n = x n,..., X 0 = x 0 ) = P(X n+1 = x n+1 X n = x n )

17 Metody Markov Chain Monte Carlo Metody Markov Chain Monte Carlo Třída Monte Carlo algoritmů využívající Markovské vlastnosti řetězců. Uvedeme si Metropolisův Hastingsův algoritmus ke generování z cílového rozdělení s hustotou f.

18 Metody Markov Chain Monte Carlo Metropolisův Hastingsův algoritmus Algoritmus sloužící k simulaci z cílového rozdělení s hustotou f. Chceme generovat z rozdělení s hustotou f, ale nemuíme to, nebo je to z nějakého důvodu nevýhodné. Místo toho generujeme z rozdělení s hustotou q, ze kterého již generovat umíme. Algoritmus probíhá v t = 1,..., T iteracích.

19 Metody Markov Chain Monte Carlo Metropolisův Hastingsův algoritmus ALGORITMUS: 1. Zvol počáteční stav x 0 libovolně. Polož t = Generuj y z rozdělení s hustotou q( x t ). 3. Spočítej tzv. Hastingsův poměr (pravděpodobnost přijetí návrhu y): { } f (y)q(y xt ) α = min f (x t )q(x t y), 1, pokud f (x t )q(x t y) > 0, jinak α = S pravděpodobností α přijmi návrh y, tj. x t+1 = y. S pravděpodobností 1 α polož x t+1 = x t. 5. Pokud t < T polož t = t + 1.

20 Metody Markov Chain Monte Carlo Použitá literatura Zbyněk Pawlas: skripta k p v redmětu MCMC.

Podobné dokumenty

Markov Chain Monte Carlo. Jan Kracík.

Markov Chain Monte Carlo. Jan Kracík. Markov Chain Monte Carlo Jan Kracík jan.kracik@vsb.cz Princip Monte Carlo integrace Cílem je (přibližný) výpočet integrálu I(g) = E f [g(x)] = g(x)f (x)dx. (1) Umíme-li generovat nezávislé vzorky x (1),