Praha, 24. listopadu 2014

Transkript

1 Příklady aplikací bayesovských sítí Jiří Vomlel Ústav teorie informace a automatizace (ÚTIA) Akademie věd České republiky Praha, 24. listopadu 2014

2 Obsah přednášky Příklad bayesovské sítě a možných výpočtů

3 Obsah přednášky Příklad bayesovské sítě a možných výpočtů Aplikace 1: Technická diagnostika

4 Obsah přednášky Příklad bayesovské sítě a možných výpočtů Aplikace 1: Technická diagnostika Aplikace 2: Adaptivní testování znalostí

5 Zjednodušený diagnostický model - Plicní klinika

6 Zjednodušený diagnostický model - Plicní klinika Zadáváme pouze: P(Pobyt v Asii) P(Kuřák) P(Tuberkulóza Pobyt v Asii) P(Rakovina Kuřák) P(Zánět průdušek Kuřák) P(RTG Tuberkulóza, Rakovina) P(Dušnost Tuberkulóza, Rakovina, Zánět průdušek)

7 P(RTG Tuberkulóza, Rakovina) Nejprve předpokládejme, že RTG je pozitivní právě tehdy, když pacient má tuberkulózu nebo rakovinu. RTG Tuberkulóza Rakovina p

8 P(RTG Tuberkulóza, Rakovina) Připustíme, že RTG může být pozitivní i z jiného důvodu a nemusí být nutně pozitivní ikdyž pacient má tuberkulózu nebo rakovinu. RTG Tuberkulóza Rakovina p p p p 0 p p 0 p p 0 p 1 p p p 0 p p 0 p p 0 p 1 p p 0, p 1, p 2 0, 1

9 P(RTG Tuberkulóza, Rakovina) Připustíme, že RTG může být pozitivní i z jiného důvodu a nemusí být nutně pozitivní ikdyž pacient má tuberkulózu nebo rakovinu. RTG Tuberkulóza Rakovina p p p p 0 p p 0 p p 0 p 1 p p p 0 p p 0 p p 0 p 1 p p 0, p 1, p 2 0, 1 Tento lokální model v bayesovské síti se nazývá logické NEBO se šumem (noisy-or).

10 P(RTG Tuberkulóza, Rakovina) Připustíme, že RTG může být pozitivní i z jiného důvodu a nemusí být nutně pozitivní ikdyž pacient má tuberkulózu nebo rakovinu. RTG Tuberkulóza Rakovina p p p p 0 p p 0 p p 0 p 1 p p p 0 p p 0 p p 0 p 1 p p 0, p 1, p 2 0, 1 Tento lokální model v bayesovské síti se nazývá logické NEBO se šumem (noisy-or). Pro jeho definici potřebujeme k + 1 hodnot p 0, p 1,..., p k, kde k je počet rodičů dané proměnné.

11 Příklad výpočtu v bayesovské síti apriorní pravděpodobnost P(X) všech veličin X

12 Příklad výpočtu v bayesovské síti podmíněná pravděpodobnost P(X Kuřák)

13 Příklad výpočtu v bayesovské síti podmíněná pravděpodobnost P(X Kuřák, Dušnost)

14 Příklad výpočtu v bayesovské síti podmíněná pravděpodobnost P(X Kuřák, Dušnost, RTG)

15 Příklad výpočtu v bayesovské síti podmíněná pravděpodobnost P(X Kuřák, Dušnost, RTG, Pobyt v Asii)

16 Technická diagnostika optimální strategie opravy Příčiny problému (závady) C C.

17 Technická diagnostika optimální strategie opravy Příčiny problému (závady) C C. Akce A A - opravné kroky, které mohou odstranit závadu.

18 Technická diagnostika optimální strategie opravy Příčiny problému (závady) C C. Akce A A - opravné kroky, které mohou odstranit závadu. Otázky Q Q - kroky, které mohou pomoci identifikovat, kde je závada.

19 Technická diagnostika optimální strategie opravy Příčiny problému (závady) C C. Akce A A - opravné kroky, které mohou odstranit závadu. Otázky Q Q - kroky, které mohou pomoci identifikovat, kde je závada. Ke každé akci i otázce je přiřazena cena (c A značí cenu akce A, c Q cenu otázky Q). Cena může znamenat: dobu potřebnou k provedení akce či otázky, cenu za náhradní díl, který použijeme rizikovost akce kombinaci výše uvedeného.

20 Technická diagnostika laserové tiskárny Trouble: světlý tisk. Troubleshooter: doporučí kroky, které vedou k odstranění trouble

21 Technická diagnostika laserové tiskárny Trouble: světlý tisk. Troubleshooter: doporučí kroky, které vedou k odstranění trouble Akce a otázky cena A 1 : Remove, shake and reseat toner 5 A 2 : Try another toner 15 A 3 : Cycle power 1 Q 1 : Is the printer configuration page printed light? 2

22 Technická diagnostika laserové tiskárny Trouble: světlý tisk. Troubleshooter: doporučí kroky, které vedou k odstranění trouble Akce a otázky cena A 1 : Remove, shake and reseat toner 5 A 2 : Try another toner 15 A 3 : Cycle power 1 Q 1 : Is the printer configuration page printed light? 2 Možné závady při světlém tisku P(C i ) C 1 : Toner low 0.4 C 2 : Defective toner 0.3 C 3 : Corrupted dataflow 0.2 C 4 : Wrong driver setting 0.1

23 Bayesovská sít pro problém světlého tisku Actions Causes A 1 Problem c 1 c 2 c 3 c 4 C 1 C 2 C 3 C 4 A 2 A 3 Questions Q 1

24 Očekávaná cena opravy - ECR Strategie může skončit neúspěšně - např. jsme vyčerpali všechny možné akce: - uplatní se penalizace c(e l ) - penalizací může být např. cena, kterou zaplatíme za zavolání servisních techniků

25 Očekávaná cena opravy - ECR Strategie může skončit neúspěšně - např. jsme vyčerpali všechny možné akce: - uplatní se penalizace c(e l ) - penalizací může být např. cena, kterou zaplatíme za zavolání servisních techniků Strategie může končit vyřešením problému c(e l ) = 0.

26 Očekávaná cena opravy - ECR Strategie může skončit neúspěšně - např. jsme vyčerpali všechny možné akce: - uplatní se penalizace c(e l ) - penalizací může být např. cena, kterou zaplatíme za zavolání servisních techniků Strategie může končit vyřešením problému c(e l ) = 0. Získaná evidence { } A = yes/no, A Provedené akce, e = Q = yes/no, Q Zodpovězené otázky

27 Očekávaná cena opravy - ECR Strategie může skončit neúspěšně - např. jsme vyčerpali všechny možné akce: - uplatní se penalizace c(e l ) - penalizací může být např. cena, kterou zaplatíme za zavolání servisních techniků Strategie může končit vyřešením problému c(e l ) = 0. Získaná evidence { } A = yes/no, A Provedené akce, e = Q = yes/no, Q Zodpovězené otázky P(e)... pravděpodobnost evidence e

28 Očekávaná cena opravy - ECR Strategie může skončit neúspěšně - např. jsme vyčerpali všechny možné akce: - uplatní se penalizace c(e l ) - penalizací může být např. cena, kterou zaplatíme za zavolání servisních techniků Strategie může končit vyřešením problému c(e l ) = 0. Získaná evidence { } A = yes/no, A Provedené akce, e = Q = yes/no, Q Zodpovězené otázky P(e)... pravděpodobnost evidence e t(e)... celková cena provedených akcí a otázek

29 Očekávaná cena opravy - ECR Strategie může skončit neúspěšně - např. jsme vyčerpali všechny možné akce: - uplatní se penalizace c(e l ) - penalizací může být např. cena, kterou zaplatíme za zavolání servisních techniků Strategie může končit vyřešením problému c(e l ) = 0. Získaná evidence { } A = yes/no, A Provedené akce, e = Q = yes/no, Q Zodpovězené otázky P(e)... pravděpodobnost evidence e t(e)... celková cena provedených akcí a otázek ECR(s) = P(e l ) (t(e l ) + c(e l )) l Listy strategie s

30 Ohodnocení strategie opravy - ECR A 1 = yes Q 1 = no A 1 = no Q 1 = yes A 2 = no A 2 = yes

31 Ohodnocení strategie opravy - ECR A 1 = yes Q 1 = no A 1 = no Q 1 = yes A 2 = no A 2 = yes Strategie Q 1 { A1 A 2 očekávaná cena opravy (ECR) p(q 1 = no, A 1 = yes) (c Q1 + c A1 + 0) + p(q 1 = no, A 1 = no) (c Q1 + c A1 + c CS ) + p(q 1 = yes, A 2 = yes) (c Q1 + c A2 + 0) + p(q 1 = yes, A 2 = no) (c Q1 + c A2 + c CS )

32 Cíl technické diagnostiky Cíl: nalézt strategii s takovou, že pro všechny strategie s platí ECR(s ) ECR(s).

33 Cíl technické diagnostiky Cíl: nalézt strategii s takovou, že pro všechny strategie s platí ECR(s ) ECR(s). Polynomiálně řešitelná úloha

34 Cíl technické diagnostiky Cíl: nalézt strategii s takovou, že pro všechny strategie s platí ECR(s ) ECR(s). Polynomiálně řešitelná úloha (1) každá akce řeší právě jednu závadu,

35 Cíl technické diagnostiky Cíl: nalézt strategii s takovou, že pro všechny strategie s platí ECR(s ) ECR(s). Polynomiálně řešitelná úloha (1) každá akce řeší právě jednu závadu, (2) všechny akce jsou navzájem podmíněně nezávislé při známých příčinách

36 Cíl technické diagnostiky Cíl: nalézt strategii s takovou, že pro všechny strategie s platí ECR(s ) ECR(s). Polynomiálně řešitelná úloha (1) každá akce řeší právě jednu závadu, (2) všechny akce jsou navzájem podmíněně nezávislé při známých příčinách (3) platí, že zařízení má v jednom okamžiku pouze jednu závadu (single fault assumption)

37 Cíl technické diagnostiky Cíl: nalézt strategii s takovou, že pro všechny strategie s platí ECR(s ) ECR(s). Polynomiálně řešitelná úloha (1) každá akce řeší právě jednu závadu, (2) všechny akce jsou navzájem podmíněně nezávislé při známých příčinách (3) platí, že zařízení má v jednom okamžiku pouze jednu závadu (single fault assumption) NP-těžká úloha

38 Cíl technické diagnostiky Cíl: nalézt strategii s takovou, že pro všechny strategie s platí ECR(s ) ECR(s). Polynomiálně řešitelná úloha (1) každá akce řeší právě jednu závadu, (2) všechny akce jsou navzájem podmíněně nezávislé při známých příčinách (3) platí, že zařízení má v jednom okamžiku pouze jednu závadu (single fault assumption) NP-těžká úloha (1) některé akce řeší více než dvě závady

39 Reprezentace prostoru všech řešení AND/OR grafem A 1 = no, Q 1 = 1 A 1 = no A 1 = no, Q 1 = 2 Q 1 = 1 A 1 = no, A 2 = no A 1 = no, A 2 = no, Q 1 = 1 Q 1 = 2 A 1 = no, A 2 = no, Q 1 = 2 A 2 = no, Q 1 = 1 A 2 = no A 2 = no, Q 1 = 2

40 Algoritmy pro nalezení optimálního řešení využití metod prohledávání stavového prostoru:

41 Algoritmy pro nalezení optimálního řešení využití metod prohledávání stavového prostoru: metoda větví a mezí (branch and bound)

42 Algoritmy pro nalezení optimálního řešení využití metod prohledávání stavového prostoru: metoda větví a mezí (branch and bound) metody dynamického programování

43 Algoritmy pro nalezení optimálního řešení využití metod prohledávání stavového prostoru: metoda větví a mezí (branch and bound) metody dynamického programování A pro AND/OR grafy

44 Algoritmy pro nalezení optimálního řešení využití metod prohledávání stavového prostoru: metoda větví a mezí (branch and bound) metody dynamického programování A pro AND/OR grafy Prohledávání prostoru všech řešení je výpočetně náročné.

45 Suboptimální řešení v reálném čase BATS troubleshooter: Vyvinutý v rámci společného projektu Hewlett-Packard a Aalborg University.

46 Suboptimální řešení v reálném čase BATS troubleshooter: Vyvinutý v rámci společného projektu Hewlett-Packard a Aalborg University. Využívá několik heuristik založených na poměru p/c.

47 Suboptimální řešení v reálném čase BATS troubleshooter: Vyvinutý v rámci společného projektu Hewlett-Packard a Aalborg University. Využívá několik heuristik založených na poměru p/c. Porovnání optimálního řešení s BATS troubleshooterem Problem A Q OPTIM BATS Tray Overrun Load Pjam Scatter NotDupl Spots MIO

48 Adaptivní test znalostí Q 1 Q 2 Q 5 Q 3 wrong correct Q 4 wrong Q 4 correct wrong Q 8 correct Q 5 Q 6 Q 2 Q 7 Q 6 Q 9 wrong correct wrong correct wrong correct wrong correct Q 7 Q 1 Q 3 Q 6 Q 8 Q 4 Q 7 Q 7 Q 10 Q 8 Q 9 Q 10

49 Příklad testu: Matematické operace se zlomky CP Dovednost Porovnávání (společný čitatel nebo jmenovatel) Příklad 1 2 > 1 3, 2 3 > 1 3 AD Sčítání (společný jmenovatel) = = 3 7 SB Odčítání (společný jmenovatel) = = 1 5 MT Násobení CD Převod na společný jmenovatel 5 = 3 10 ( 1 2, 2 ) ( 3 = 3 6, 4 6) CL Krácení 4 6 = = 2 3 CIM Převod na smíšené zlomky 7 2 = = CMI Převod na nepravé zlomky = = 7 2

50 Mylné postupy (Misconceptions) Příklad Četnost výskytu v datech MAD MSB MMT1 MMT2 MMT3 MMT4 MC a b + c d = a+c b+d 14.8% a b c d = a c b d 9.4% a b c b = a c b 14.1% a b c b = a+c b b 8.1% a b c d = a d b c 15.4% a b c d = a c b+d 8.1% a b c = a b c 4.0%

51 Model studenta HV2 HV1 ACMI ACIM ACL ACD AD SB CMI CIM CL CD MT CP MAD MSB MC MMT1 MMT2 MMT3 MMT4

52 Model pro úlohu T 1 ( ) = = = 4 8 = 1 2

53 Model pro úlohu T 1 ( ) = = = 4 8 = 1 2 T1 MT & CL & ACL & SB & MMT3 & MMT4 & MSB

54 Model pro úlohu T 1 ( ) = = = 4 8 = 1 2 T1 MT & CL & ACL & SB & MMT3 & MMT4 & MSB CL ACL MT SB MMT3 MSB T1 MMT4 P(X1 T1) X1

55 Model studenta spojený s modelem pro úlohu T 1 HV2 HV1 ACMI ACIM ACL ACD AD SB CMI CIM CL CD MT CP MAD MSB MC MMT1 MMT2 MMT3 MMT4 T1 X1

56 Opakujeme dva základní kroky: Adaptivní test 1. odhadujeme úroveň jednotlivých znalostí studenta

57 Adaptivní test Opakujeme dva základní kroky: 1. odhadujeme úroveň jednotlivých znalostí studenta 2. vybíráme vhodnou otázku na základě odhadu úrovně znalostí

58 Adaptivní test Opakujeme dva základní kroky: 1. odhadujeme úroveň jednotlivých znalostí studenta 2. vybíráme vhodnou otázku na základě odhadu úrovně znalostí Entropie jako míra informace:

59 Opakujeme dva základní kroky: Adaptivní test 1. odhadujeme úroveň jednotlivých znalostí studenta 2. vybíráme vhodnou otázku na základě odhadu úrovně znalostí Entropie jako míra informace: H (P(S)) = s P(S = s) log P(S = s) 1 entropy probability

60 Opakujeme dva základní kroky: Adaptivní test 1. odhadujeme úroveň jednotlivých znalostí studenta 2. vybíráme vhodnou otázku na základě odhadu úrovně znalostí Entropie jako míra informace: H (P(S)) = s P(S = s) log P(S = s) 1 entropy probability Čím je entropie nižší tím více toho o znalostech studenta víme.

61 Opakujeme dva základní kroky: Adaptivní test 1. odhadujeme úroveň jednotlivých znalostí studenta 2. vybíráme vhodnou otázku na základě odhadu úrovně znalostí Entropie jako míra informace: H (P(S)) = s P(S = s) log P(S = s) 1 entropy probability Čím je entropie nižší tím více toho o znalostech studenta víme. Hladový algoritmus: V každém kroku vybereme otázku, která nejvíce snižuje entropii.

62 Kvalita predikce jednotlivých dovedností adaptive test fixed descending order fixed ascending order Number of answered questions