Bayesovské rozhodování - kritétium minimální střední ztráty

Podobné dokumenty
a způsoby jejího popisu Ing. Michael Rost, Ph.D.

Náhodný vektor. Náhodný vektor. Hustota náhodného vektoru. Hustota náhodného vektoru. Náhodný vektor je dvojice náhodných veličin (X, Y ) T = ( X

Pravděpodobnost a statistika, Biostatistika pro kombinované studium. Jan Kracík

Střední hodnota a rozptyl náhodné. kvantilu. Ing. Michael Rost, Ph.D.

Matematika III. 4. října Vysoká škola báňská - Technická univerzita Ostrava. Matematika III

Klasifikace a rozpoznávání. Lineární klasifikátory

Náhodný vektor a jeho charakteristiky

Náhodný vektor. Náhodný vektor. Hustota náhodného vektoru. Hustota náhodného vektoru. Náhodný vektor je dvojice náhodných veličin (X, Y ) T = ( X

PRAVDĚPODOBNOST A STATISTIKA

letní semestr Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy Matematická statistika vektory

Náhodná veličina a její charakteristiky. Před provedením pokusu jeho výsledek a tedy ani sledovanou hodnotu neznáte. Proto je proměnná, která

Někdy lze výsledek pokusu popsat jediným číslem, které označíme X (nebo jiným velkým písmenem). Hodíme dvěma kostkami jaký padl součet?

Implementace Bayesova kasifikátoru

Statistika (KMI/PSTAT)

Obr. 1: Vizualizace dat pacientů, kontrolních subjektů a testovacího subjektu.

PRAVDĚPODOBNOST A STATISTIKA. Bayesovské odhady

Ústav teorie informace a automatizace. J. Vomlel (ÚTIA AV ČR) Úvod do bayesovských sítí 30/10/ / 28

UČENÍ BEZ UČITELE. Václav Hlaváč

Bayesovské metody. Mnohorozměrná analýza dat

KGG/STG Statistika pro geografy

I. D i s k r é t n í r o z d ě l e n í

Výběrové charakteristiky a jejich rozdělení

Téma 22. Ondřej Nývlt

p(x) = P (X = x), x R,

7 Pravděpodobnostní modely úvod

Poznámky k předmětu Aplikovaná statistika, 4. téma

Strukturální regresní modely. určitý nadhled nad rozličnými typy modelů

X = x, y = h(x) Y = y. hodnotám x a jedné hodnotě y. Dostaneme tabulku hodnot pravděpodobnostní

Poznámky k předmětu Aplikovaná statistika, 4. téma

Rozdělení náhodné veličiny. Distribuční funkce. Vlastnosti distribuční funkce

Statistika II. Jiří Neubauer

Základy teorie množin

Definice 7.1 Nechť je dán pravděpodobnostní prostor (Ω, A, P). Zobrazení. nebo ekvivalentně

Pravděpodobnost a aplikovaná statistika

Definice spojité náhodné veličiny zjednodušená verze

Klasifikace a rozpoznávání. Bayesovská rozhodovací teorie

ANALÝZA A KLASIFIKACE DAT

Intuitivní pojem pravděpodobnosti

Rozhodnutí / Skutečnost platí neplatí Nezamítáme správně chyba 2. druhu Zamítáme chyba 1. druhu správně

pravděpodobnosti Pravděpodobnost je teorií statistiky a statistika je praxí teorie pravděpodobnosti.

Základy matematické analýzy

Odhady Parametrů Lineární Regrese

Jiří Neubauer. Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel

Základy teorie odhadu parametrů bodový odhad

Stavový model a Kalmanův filtr

Interpolace, ortogonální polynomy, Gaussova kvadratura

Diskrétní náhodná veličina. November 12, 2008

Minikurz aplikované statistiky. Minikurz aplikované statistiky p.1

Náhodná veličina Číselné charakteristiky diskrétních náhodných veličin Spojitá náhodná veličina. Pravděpodobnost

Teorie her a ekonomické rozhodování. 11. Aukce

Téma 2: Pravděpodobnostní vyjádření náhodných veličin

ANALÝZA A KLASIFIKACE DAT. Institut biostatistiky a analýz

Aplikovaná numerická matematika

PŘÍMKA A JEJÍ VYJÁDŘENÍ V ANALYTICKÉ GEOMETRII

cv3.tex. Vzorec pro úplnou pravděpodobnost

ANALÝZA A KLASIFIKACE DAT

Kapitola 4: Extrémy funkcí dvou proměnných 1/5

Náhodné veličiny jsou nekorelované, neexistuje mezi nimi korelační vztah. Když jsou X; Y nekorelované, nemusí být nezávislé.

Základy teorie pravděpodobnosti

7. Rozdělení pravděpodobnosti ve statistice

2.6. VLASTNÍ ČÍSLA A VEKTORY MATIC

Matematická analýza III.

Induktivní statistika. z-skóry pravděpodobnost

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2017

PŘEDNÁŠKA 9 KŘIVKOVÝ A PLOŠNÝ INTEGRÁL 1. DRUHU

5. Lokální, vázané a globální extrémy

S1P Příklady 02. Náhodná proměnná (veličina) Mějme krabičku o rozměrech 1 x 2 x 3 cm. Na stranách jsou obrázky: :

Operační výzkum. Teorie her cv. Hra v normálním tvaru. Optimální strategie. Maticové hry.

Agent pracující v částečně pozorovatelném prostředí udržuje na základě senzorického modelu odhaduje, jak se svět může vyvíjet.

10. N á h o d n ý v e k t o r

Inferenční statistika - úvod. z-skóry normální rozdělení pravděpodobnost rozdělení výběrových průměrů

Přednáška II. Vztah pravděpodobnosti, statistiky a biostatistiky

Klasifikace předmětů a jevů

JAK MODELOVAT VÝSLEDKY NÁH. POKUSŮ? Martina Litschmannová

Vzorový příklad na rozhodování BPH_ZMAN

Téma 2: Pravděpodobnostní vyjádření náhodných veličin

Matematika I, část I. Rovnici (1) nazýváme vektorovou rovnicí roviny ABC. Rovina ABC prochází bodem A a říkáme, že má zaměření u, v. X=A+r.u+s.

Dodatek 2: Funkce dvou proměnných 1/9

aneb jiný úhel pohledu na prvák

Základy teorie pravděpodobnosti

Teorie informace: řešené příklady 2014 Tomáš Kroupa

2 Hlavní charakteristiky v analýze přežití

Diferenciál funkce dvou proměnných. Má-li funkce f = f(x, y) spojité parciální derivace v bodě a, pak lineární formu (funkci)

TECHNICKÁ UNIVERZITA V LIBERCI

TGH13 - Teorie her I.

Pojmy z kombinatoriky, pravděpodobnosti, znalosti z kapitoly náhodná veličina, znalost parciálních derivací, dvojného integrálu.

2. RBF neuronové sítě

Apriorní rozdělení. Jan Kracík.

NÁHODNÁ VELIČINA. Podle typu výběrového prostoru rozlišujeme dva základní druhy NV Diskrétní (nespojitou) náhodnou veličinu Spojitou náhodnou veličinu

Maticí typu (m, n), kde m, n jsou přirozená čísla, se rozumí soubor mn veličin a jk zapsaných do m řádků a n sloupců tvaru:

PRAVDĚPODOBNOST A STATISTIKA

letní semestr Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy Matematická statistika

Inženýrská statistika pak představuje soubor postupů a aplikací teoretických principů v oblasti inženýrské činnosti.

1. Náhodný vektor (X, Y ) má diskrétní rozdělení s pravděpodobnostní funkcí p, kde. p(x, y) = a(x + y + 1), x, y {0, 1, 2}.

NÁHODNÝ VEKTOR. 4. cvičení

Mgr. Rudolf Blažek, Ph.D. prof. RNDr. Roman Kotecký Dr.Sc.

Zápočtová písemka z Matematiky III (BA04) skupina A

Vektorový prostor. Př.1. R 2 ; R 3 ; R n Dvě operace v R n : u + v = (u 1 + v 1,...u n + v n ), V (E 3 )...množina vektorů v E 3,

Úvod do teorie her

Transkript:

Bayesovské rozhodování - kritétium imální střední ztráty Lukáš Slánský, Ivana Čapková 6. června 2001 1 Formulace úlohy JE DÁNO: X množina možných pozorování (příznaků) x K množina hodnot skrytého parametru k p(x, k) funkce p : X K 0,1 udává sdruženou pravděpodobnost jevu p(x, k), že objekt je ve stavu k a současně nabývá příznak hodnoty x. D množina možných rozhodnutíw (k, d) diskriační fuknce W : K D R, označující ztrátu vyvolanou rozhodnutím d, pokud je objekt ve stavu k. Poznámky: Hodnotu p(x, k) často počítáme jako součin p(x, k) = p(x k) p(k). Pozorování x X může být číslo, vektor, nečíselný objekt, funkce, graf apod. Stejnou formu mohou mít i množiny K, D. 2 Realizace Cílem úlohy je nalezení strategie d : X D, která imalizuje riziko. Toto riziko lze udat funkcí R(d) = x X Ve spojitém případě (případ nekonečných množin X, K) má riziko tvar R(d) = x X kde symbol p tentokrát neznamená pravděpodobnost, ale hustotu pravděpodobnosti. V aplikacích je však většinou množina X konečná, což je dáno omezenou přesností měření. 1

Nyní hledejme optimální rozhodovací pravidlo tím, že tuto funkci imalizujeme: tedy R(d) = x X R(d) = x X R(d) = L x(d) x X L x (d) = kde L x (d) se nazývá ztrátou obrazu x při rozhodnutí d(x). L x (k r ) = Optimální rozhodující pravidlo je takové, které zaručuje pro každé x L x (d ) = L x(d) 3 Speciální případ - klasifikace Úlohu nazýváme klasifikací, jestliže K = D, tudíž výsledkem našeho rozhodnutí je skrytý stav objektu. Potom např. K = D = Ω = ω 1, ω 2,...ω N, W : Ω Ω R. Funkci W (i, j) lze popsat čtvercovou maticí, jejíž prvek (i, j) značí ztrátu, kterou utrpíme rozhodnutím ω j, je-li objekt ve stavu o mega i. Jedním ze speciálních případů je rozhodování podle kritéria imální chyby, kde matice W (i, j) má speciální tvar: Potom platí: W (i, j) = { 0 pro i = j 1 jinak L x (d) = p(x, ω s )W (ω s, d(x)) s=1 a jelikož platí Bayesův vzorec p(x, ω s ) = p(ω s x)p(x), L x (d) = p(x) p(ω s x)w (ω s, d(x)) s=1 2

a vzhledem k podobě matice W L x (d) = p(x) s=1,s d(x) p(ω s x) a protože N s=1,s d(x) p(ω s x) + P (d(x) x) = 1, L x (d) = p(x)(1 p(d(x) x)) Nyní budeme L x (d) imalizovat: Protože p(x) rozhodnutím neovlivníme, lze psát L x (d ) L x (d) (1 P (d (x) x)) (1 P (d(x) x)) pro každé d(x). Pak tedy d (x) = arg max d(x) Ω P (d(x) x). Tento vztah můžeme přímo přepsat na vztah pro klasifikaci podle kritéria střední ztráty ω = arg max ω Ω P (ω x) V některých případech je výpočtově nevýhodné rozhodovat se podle ztráty obrazu L x (d(x)). Vzhledem k tomu, že pouze porovnáváme, můžeme použít jako diskriační funkci jakoukoli monotónní funkci L x (d). Nejčastěji se pro zjednodušení výpočtů používá logaritmus. 4 Rozhodování s možností nevím - reject option V některých aplikacích je rozumné uvažovat také možnost, kdy nejsem schopen (nebo ochoten) odpovědět na otázku do které třídy daný objekt patří. To může nastat například pokud by ztráta vyvolaná případným špatným rozhodnutím tak velká, že by převážila nad ztrátou, která vznikne ústupem z rozhodnutí. V tomto případě rozšíříme množinu identifikátorů tříd o další třídu nevím označenou #. Ztrátová funkce Bayesovského rozhodování podle kritéria imální chyby má tedy tvar: 0 pro i = j W (i, j) = 1 pro i ji # ɛ pro i = # 3

5 Dichotomie Dalším speciálním případem je klasifikace do dvou tříd (dichotomie). Zde lze rozhodovat dle znaménka funkce g(x) g(x) = P (ω 1 x) P (ω 2 x) K tomuto rozpoznávání se používá například perceptron. 6 Příklad Předpokládejme, že lékař určuje pouze podle tělesné teploty, zda je pacient zdravý, má chřipku, zápal plic či jinou nemoc (odpovídá rozhodnutí nevím). Pravděpodobnost určité nemoci při dané teplotě dle statistik je zapsána v následující tabulce: Teplota 36,4 36,6 36,8 37,0 37,2 37,4 37,6 37,8 38,0 38,2 38,4 Zdravý 0,990 0,958 0,950 0,720 0,510 0,210 0,110 0,010 0,001 0,000 0,000 Chřipka 0,001 0,008 0,010 0,230 0,410 0,680 0,690 0,620 0,580 0,430 0,210 Zápal plic 0,001 0,002 0,002 0,003 0,020 0,040 0,080 0,220 0,270 0,420 0,580 Dlouhodobé zkušenosti dávají dohromady také následující skutečnosti: Poplatky za vyšetření jsou pro chřipku 300 Kč, pro zápal plic 400 Kč a komplexní vyšetření včetně ostatních nemocí stojí 1000 Kč. Léčení včas rozpoznané chřipky stojí 500 Kč, zápalu plic 1500 Kč, ostatních nemocí 4000 Kč. Léčení pozdě rozpoznané chřipky včetně komplikací přijde namocnici na 1000 Kč, zápalu plic 3500 Kč a ostatních nemocí 5000 Kč. Při správně rozpoznané chorobě se platí vyšetření a její léčba. Při špatně rozpoznané chorobě nemocnice zaplatí vyšetření na podezřelou chorobu, vyšetření na správnou chorobu a její léčbu. Prohlásí-li doktor, že je pacient zdravý a on přitom trpí nějakou chorobou, zaplatí poté nemocnice vyšetření na danou chorobu a její léčení včetně komplikací. Otázkou je, jak se lékař rozhodne, dovede-li využívat teorie Bayesovského rozpoznávání. Nejprve určíme diskriační funkci: W (i, j) = 0, 00K 1300, 00K 3900, 00K 6000, 00K 300, 00K 800, 00K 2200, 00K 5300, 00K 400, 00K 1200, 00K 1900, 00K 5400, 00K 1000, 00K 1800, 00K 2900, 00K 5000, 00K Nyní již můžeme vyčíslit ztrátovou funkci L x (d): Teplota 36,4 36,6 Zdravý 53,20 Kč 210,20 Kč Chřipka 342,40 Kč 467,80 Kč498,80 Kč Zápal plic 442,30 Kč 569,40 Kč Jiná nemoc 1034,70 Kč 1 138,20 Kč 4

Z této tabulky již můžeme bez problémů zjistit, jak se rozhodnout, aby byla ztráta nemocnice imální. 5