Obsah přednášky 1. Bayesův teorém 6. Naivní Bayesovský klasifikátor (NBK)

Transkript

1

2 Obsah přednášky 1. Bayesův teorém 2. Brutální Bayesovský klasfkátor (BBK) 3. Mamální aposterorní pravděpodobnost (MA) 4. Optmální Bayesovský klasfkátor (OBK) 5. Gbbsův alortmus (GA) 6. Navní Bayesovský klasfkátor (NBK) 2

3 Thomas Bayes duchovní, 2. polovna 18. století zavrhován statstky (nepodložené emprcké metody) zabýval se otázkou, ak pozděší zkušenost uvést do souladu s původním předpoklady (dynamcké ověřování hypotéz s ech dodatečnou korekcí) (a)prorní pravděpodobnost (dána na počátku) vs. (a)posterorní pravděpodobnost (vyplývaící z následné analýzy, ověřené zkušeností) rncpálně blízké přrozenému ldskému uvažování? uveď rozdíl mez aprorní a aposterorní pravděpodobností 3

4 4 Bayesův vzorec D p H D p H p H p H D p H p H D p D H p k k K k k k 1 H k e hypotéza D e realta, data, konkrétní měření p(h k ) zkušenost; aprorní pravděpodobnost p(d H k ) e věrohodnost p(d) pravděpodobnost nastolení měření (dat, údaů) D, evdence p(h k D) e aposterorní pravděpodobnost platnost konkrétní hypotézy Bayes, BBK, MA,OBK,GAl, NBK? uveď a popš Bayesův vzorec

5 Bayesův vzorec ze sdružené pravděpodobnost? uveď a popš Bayesův vzorec 5

6 Bayesův vzorec rafcky 1/3? uveď a popš Bayesův vzorec 6

7 Bayesův vzorec rafcky 2/3? uveď a popš Bayesův vzorec 7

8 Bayesův vzorec rafcky 3/3? uveď a popš Bayesův vzorec 8

9 Bayesovské učení - poznámky Klademe s dvě základní otázky: Jaká hypotéza (model) o modelovaném systému e s nevětší pravděpodobností platná? Jaká e predkce nové nstance na základě známých hypotéz (modelů)? Výhody lze kombnovat předchozí znalost s pozorovaným měřením (aprorní pravděpodobnost, evdence) ntutvní řešení blízké ldskému uvažování Nevýhody narůstaící složtost hledání řešení s rostoucím počtem hypotéz v obecném případě 9

10 říklad 1 Bayes V pytlíku e 7 hracích kostek. 4 sou normální, na 1 padaí víc šestky, na 2 víc ednčky. Jaká e pravděpodobnost, že vytáhnu normální kostku? (aprorní pravděpodobnost) Jaká e pravděpodobnost, že když po 20 hodech (eperment E) padla šestka 6-krát, mám kostku Normální, Šestkovou, Jednčkovou? (aposterorní pravděpodobnost) (když p(6 N)=1/6, p(6 Š)=1/3, p(6 J)=2/15) p(n E)=0,52; p(š E)=0,36; p(j E)=0,12 10

11 Ale co teď s tím? Víme, že s p=0,52 držíme v ruce kostku normální p=0,36 kostku šestkovou p=0,12 kostku ednčkovou. Jak z toho ale predkovat? Jak odhadnout pravděpodobnost, s akou padne číslo 6 v dalším hodu? 11

12 Brutální Bayesovský klasfkátor rncp Všechny hypotézy konzstentní s daty maí stenou pravděpodobnost (h ), hypotézy nekonzstentní sou vyloučeny okud sou trénovací data zašuměná, budou správné hypotézy zamítnuty, možné zamítnutí všech hypotéz redkce h D h pokud K modelů predkue na trénovacích datech správně, sou s podle BBK tyto hypotézy rovnocené; predkce e průměr nebo nečastěší třída 1; y 0; y 1 hypotez 1 : y : y D h h h 1 H konz konst out ar ma 1... C h H 12 h

13 BBK příklad h 1 h 2 h 3 h 4 h 5 13

14 BBK příklad h 1 h 2 h 3 h 4 h 5 14

15 Mamální aposterorní pravděpodobnost Nepravděpodobně platná hypotéza e ta s nevětší aposterorní pravděpodobností. odoba s mamální věrohodností a MNČ h MA Bayes, BBK, MA,OBK,GAl, NBK ar ma 1... H ar ma 1... H ar ma 1... H h h D h h D D h D out ar ma 1... C h MA 15

16 MA příklad h 1 h 2 h 3 h 4 h 5 16

17 MA příklad h 1 h 2 h 3 h 4 h 5 17

18 Optmální Bayesovský klasfkátor Jaká e nepravděpodobněší klasfkace nové nstance za předpokladu nformací založených na několka hypotézách h? ným slovy, optmální bayesovský klasfkátor vychází z hypotéz a ech věrohodností; výpočty sené ako u MA, ncméně není vybrán 1 nelepší, ale všechny hypotézy se úměrně své kvaltě podíleí na predkc Klasfkume bnárně do tříd +, a měme hypotézy s aposterorní pravděpodobností p(h 1 D)=0,4 p(h 2 D)=0,3 a p(h 3 D)=0,3. okud podle h 1 e výsledek neatvní a podle h 2 a h 3 e výsledek poztvní, MA považue za výsledek predkc dle h 1, OBK však dle h 2 a h 3, protože (0,3+0,3) > 0,4. ma ar ma 1... C h H h h D 18

19 OBK příklad h 1 h 2 h 3 h 4 h 5 19

20 OBK příklad h 1 h 2 h 3 h 4 h 5 20

21 Gbbsův alortmus řeší hlavní problém OBK tím e výpočetní náročnost použtí všech váhovaných modelů rncp př každé predkc vyber náhodně (avšak úměrně posterorní pravděpodobnost modelů) ednu hypotézu a podle té predku Dosažená chyba e mamálně dvonásobná oprot OBK 21

22 říklad 2 BBK, MA, OBK V pytlíku e 7 hracích kostek. 4 sou normální, na 1 padaí víc 6, na 2 víc 1. Jaká e pravděpodobnost, že když po epermetnu E ve 20 hodech padla šestka 6-krát, mám kostku Normální, Šestkovou, Jednčkovou? (aposterorní pravděpodobnost) (když p(6 N)=1/6, p(6 Š)=1/3, p(6 J)=2/15); p(n E)=0,52 p(š E)=0,36 p(j E)=0,12 S akou pravděpodobností padne šestka ve 21. hodu? BBK: MA: OBK: Konzstentní (možné) sou všechny hypotézy, p=(1/6+1/3+2/15)/3=0,21 Nepravděpodobněší byla hypotéza normální, tedy 1/6, p=0,17 Výsledná pravděpodobnost e dána součtem součnů pravděpodobnost hypotézy a nastolení dané událost, tedy p = 0,52 1/6 + 0,36 1/3 + 0,12 2/15 = 0,22

23 říklad 3 V pytlíku mohou být ehlany a kostčky k. Vytáhl sme 1 kostčku eperment E. S akou pravděpodobností p k vytáhneme další kostčku? Víme, že v pytlíku bylo na počátku právě 5 obektů Víme, že na počátku e akákolv kombnace ehlanů a kostček v pytlíku steně pravděpodobná h = hypotéza, že v pytlíku bylo -kostček; urč všechny p(h E) a pro ednotlvé metody p k v dalším tahu BBK: Až na h 0 sou konzstentní; p(k h 1 )=0; p(k h 2 )=0,25 p k = p(k h )/5=(0+0,25+0,5+0,75+1)/5=0,5 MA: Nepravděpodobněší e h 5, tedy p k =1 OBK: p(e h 0 ) =0; p(e h 1 )=0,2; p(e h 5 )=1; protože p(h )=konst, platí p k =[ p(k h ) p(e h ) / p(e h ) ]= 0,67 23

24 Navní Bayesovký klasfkátor - NBK navzdory předpokladu nezávslost velčn (není většnou pravda) velce přesný; kvůl zednodušení slovo navní vychází z Bayesovy podmíněné pravděpodobnost klasfkace na základě nepravděpodobněší klasfkace MA za předpokladu vstupního vektoru ( 1,, n ),... MA Bayes, BBK, MA,OBK,GAl, NBK ar ma C n C e počet tříd n e počet atrbutů roč se NBK menue navní? V čem navta spočívá? 24

25 Navní Bayesovký klasfkátor - NBK což lze na základě bayesovy věty upravt následuícím způsobem: MA Bayes, BBK, MA,OBK,GAl, NBK ar ma 1... C ar ma 1... C ( ) se určí na základě četnost výskytu v trénovacích datech ( 1,, n ) pro větší n (desítky) praktcky nemožné zstt (tolk dat nemáme ). Určí se proto na základě zednodušeného předpokladu, že hodnoty vstupních velčn sou na sobě podmíněně nezávslé (což není většnou pravda),...,,..., 1 n,..., 1 1 n n 25

26 26 Navní Bayesovký klasfkátor - NBK pro výpočet sdružené podmíněné pravděpodobnost platí: to lze za předpokladu nezávslost zednodušt takto: konečný vztah pro výslednou klasfkac e dán vztahem n n ,..., n C MA ar ma? uveď rozdíl mez optmálním a navním Bayesovským klasfkátorem Bayes, BBK, MA,OBK,GAl, NBK...,,,...,,...,,..., n n

27 NBK okraové podmínky roblém: stuace, kdy konkrétní hodnota atrbutu pro danou třídu nkdy nenastala (žádná bruneta se nespálla); celý součn e pak kvůl ednomu členu roven 0, což není vhodné; Bayes, BBK, MA,OBK,GAl, NBK 0,..., n n Řešení: výpočet podmíněné pravděpodobnost dán vztahem: nc mp nc tety : n m n slovník kde n e počet prvků třídy 1 (počet spálených), n c počet prvků v 1 s danou hodnotou atrbutu 1 (spálených brunet), m váha (např. 1) a p=1/k, kde k e výčet hodnot atrbutu 1 (3:bruneta,blond,zrzavá)? uveď rozdíl mez optmálním a navním Bayesovským klasfkátorem 27

28 NBK příklad MA den předpověď teplota vlhkost vítr hrát tens? 1. slunečno teplo vysoká slabý NE 2. slunečno teplo vysoká slný NE 3. zataženo teplo vysoká slabý ANO 4. déšť středně vysoká slabý ANO 5. déšť chladno normální slabý ANO 6. déšť chladno normální slný NE 7. zataženo chladno normální slný ANO 8. slunečno středně vysoká slabý NE 9. slunečno chladno normální slabý ANO 10. déšť středně normální slabý ANO 11. slunečno středně normální slný ANO 12. zataženo středně vysoká slný ANO 13. zataženo teplo normální slabý ANO 14. déšť středně vysoká slný NE ar ma 1... C 1... n Bude se hrát 15. den? <slunečno,chladno,vysoká,slný> 28

29 NBK příklad (ANO)=9/14 (slunečno/ano)=2/9 (chladno/ano)=3/9 (vysoká/ano)=3/9 (slný/ano)=3/9 (NE)=5/14 (slunečno/ne)=3/5 (chladno/ne)=1/5 (vysoká/ne)=4/5 (slný/ne)=3/5 (ANO). (slunečno/ano) (chladno/ano). (vysoká/ano). (slný/ano) = 0,0053 (NE). (slunečno/ne) (chladno/ne). (vysoká/ne). (slný/ne) = 0,0206 (ANO slunčeno,chladno,vysoká,slný) = 0,0053 / (0, ,0206) = 0,20 (NE slunčeno,chladno,vysoká,slný) = 0,0206 / (0, ,0206) = 0,80 29

30 rncp ednoduchého spamového fltru Aprorní : (spam) = 0,9 (ham) = 0,1 z databáze slov spam (1000) ham(300) mamka 1 12 aho oběd 2 3 (spam mamka,aho,oběd bez normalzace) = (spam)*(mamka spam)*(aho spam) (spam bez normalzace) = 0,9*1/1000*60/1000*2/1000= 1,08E-7 (ham bez normalzace) = 0,1*12/300*38/300*3/300= 3,07E-6 (spam mamka,aho,oběd)= (spam mamka,aho,oběd)/[(spam mamka,aho,oběd)+ (ham mamka,aho,oběd)]= 1,08E-7 / (1,08E-7+3,07E-6) = 0,034 (ham mamka,aho,oběd)=0,966 30

31 Shrnutí Bayese MA (mamální aposterorní pravděpodobnost) vybírá nepravděpodobněší hypotézu. odle této edné hypotézy e následně predkováno. Brutální Bayesovské učení konceptů vybírá z množny hypotéz (modelů) hypotézy konzstentní s trénovacím daty, které sou s rovnocenné. ř predkc sou s výstupy hypotéz rovnocenné. Optmální Bayesovský klasfkátor stanoví posterorní pravděpodobnost všech hypotéz. ř predkc sou výstupy hypotéz váhovány posterorním pravděpodobnostm. Navní Bayesovský klasfkátor vytváří klasfkátor, predkue na základě nové nstance a trénovacích dat.? aká e charakterstka : BBK, MA, OBK, NBK 31