Expertní systémy MYCIN, Prospector Pseudodefinice [Expertní systémy, Feigenbaum a kol. 1988] Expertní systémy jsou počítačové programy, simulující rozhodovací činnosti experta při řešení složitých úloh a využívající vhodně zakódovaných, explicitně vyjádřených speciálních znalostí, převzatých od experta, s cílem dosáhnout ve zvolené problémové oblasti kvality rozhodování na úrovni experta.
Hlavní rysy expertních systémů Explicitně reprezentované znalosti, striktně oddělené od řídícího mechanizmu nakládání s nimi. Znalosti obsahují celou škálu od nejobecnějších až k úzce speciálním, od exaktních až po osobní heuristiky experta. Znalosti nemají statický charakter, nýbrž se vyvíjejí a rozrůstají. Báze znalosti reprezentuje soubor pravidel, obecnou znalost. Řešit konkrétní příklad znamená dosadit data o daném případu do obecně formulovaných znalostí z báze znalostí. Musí umět pracovat s nejistými znalostmi (od experta) i nejistotě o bázi dat (konkrétním případu). Měly by být schopny vysvětlit a zdůvodnit své doporučení (i otázky). Reprezentace znalostí: modularita (logiky, pravidel) se hodí pro snadnou údržbu, ale těžko se v ní vyhledávají všechny informace relevantní k jednomu pojmu. Z tohoto pohledu jsou lepší
Sémantika pravidel Definition (pravidlo E H s vahou W ) Znalost je reprezentována pomocí pravidel E H s vahou W, kde E a H reprezentují elementární tvrzení. Každé pravidlo má přiřazenou svou váhu W - míru, nakolik (jistá, tj. 100%-ní) znalost E podporuje či popírá platnost tvrzení H. Potřebujeme zodpovědět následující tři otázky. 1 Jak vyjádřit neurčitost elementárního tvrzení? 2 Jak se využívá pravidla, pokud není splnění předpokladu jisté? 3 Jak se určuje míra důvery závěru H v případě, že existuje více pravidel se stejným závěrem? Různé typy reprezentace nejistoty se v odpovědi na tyto otázky liší.
MYCIN, EMYCIN Přírůstek důvěry (measure of belief) je definován jako MB(H, E) = P(H E) P(H) 1 P(H) přírůstek nedůvěry (measure of disbelief) je definován jako MD(H, E) = P(H) P(H E) P(H) Pokud znalost E podporuje hypotézu H, tak se pravděpodobnost P(H) musí touto znalostí zvýšit, tj. P(H E) > P(H), tedy MB(H, E) > 0, pokud E snižuje důvěru v H, je P(H E) < P(H), a tedy MD(H, E) > 0. Pro každé pravidlo vyžadujeme, aby nebyly obě míry různé od nuly zároveň, tj. jednotlivé pravidlo buď podporuje důvěru v hypotézu či nedůvěru v ní, ale ne obojí zároveň.
Činitel jistoty (CF) Na základě MB a MD je definován činitel jistoty (certainty factor) CF (H, E) = MB(H, E) MD(H, E) který nabývá hodnotu od -1 do +1, je-li větší než 0 je roven MB, jinak je v absolutní hodnotě roven MD. V EMYCIN je činitel jistoty definován trochu jinak: CF = což umožní snažší skládání pravidel. MB MD 1 min(mb, MD)
Nejistý předpoklad pravidla Ani předpoklad pravidla E 1 nemusíme znát s jistotou. Zavádíme míru jistoty evidence E 1 po pozorování E : CF (E 1, E ). Pravidlo E 1 H pak kombinujeme s touto mírou jistoty následovně: MB(H, E ) = MB(H, E 1 ) max{0, CF (E 1, E )} MD(H, E ) = MD(H, E 1 ) max{0, CF (E 1, E )}
Skládání pravidel Skládání pravidel se stejnou hypotézou E 1 H, E 2 H je v MYCIN definováno následovně: MB(H, E 1 &E 2 ) = MB(H, E 1 ) + MB(H, E 2 ) MB(H, E 1 ) MB(H, E 2 ) MD(H, E 1 &E 2 ) = MD(H, E 1 ) + MD(H, E 2 ) MD(H, E 1 ) MD(H, E 2 ) a dopočítat CF V EMYCIN přímo: CF (H, E 1 &E 2 ) = f (CF ((H, E 1 ), CF (H, E 2 )) { x + y xy pro xy 0 kde f (x, y) = jinak x+y 1 min{abs(x),abs(y)}
Skládání hypotéz Pro konjunkci či disjunkci hypotéz H 1 &H 2 MB(H 1 &H 2, E) = min{mb(h 1, E), MB(H 2, E)} MD(H 1 &H 2, E) = max{md(h 1, E), MD(H 2, E)} MB(H 1 H 2, E) = max{mb(h 1, E), MB(H 2, E)} MD(H 1 H 2, E) = min{md(h 1, E), MD(H 2, E)} Příklad.
PROSPECTOR Pseudobayesovský model P(H E) = P(E H) P(H) P(E) P( H E) = P(E H) P( H) P(E) Odtud P(H E) P(E H) = P( H E) P(E H) P(H) P( H) O(H E) = L O(H) O() odds - naděje, pravděpodobnostní šance, O(H) apriorní, O(H E) aposteriorní L míra postačitelnosti
obdobně míra nutnosti L = P(E H) P(E H) L = P( E H) P( E H) Míra nutnosti nelze dopočítat z míry postačitelnosti. Expert zadává buď L a L, nebo pravděpodobnosti P(H E), P(H E). Skládání pravidel pak je triviální: O(H E 1, E 2, E 3, E 4 ) = L 1 L 2 L 3 L 4 O(H) Nejisté pozorování není tak triviální, protože dojde k přeurčení a je třeba aproximovat (my se tím zabývat nebudeme).
Hájek 1985 - Abelovské grupy Pokud jsou k řešení úlohy k dispozici identické znalosti, pak je bez ohledu na použitý inferenční mechanismus a na použitou kombinační funkci, která je operací na uspořádané Abelově grupě výsledné uspořádání cílových hypotéz identické. Uspořádaná Abelovská grupa Komutativnost Asociativnost Existence neutrálního prvku Existence inverzního prvku Uspořádání Minimální a max. prvek + vlastnosti, jejich kombinace není def.
Success story: Pathfinder Pathfinder je medicínský diagnostický systém (lymph-node diseases). Měl čtyři verze: 1 pravidlový systém založený na logice, bez nejistoty. 2 zjednodušená Bayesovská síť ( naive bayes ) pro klasifikaci: jeden uzel pro klasifikovanou veličinu, z ní vede hrana do každé pozorovatelné veličiny, tj. předpokládáme, že pozorování jsou nezávislá. Častou příčinou nesprávné klasifikace bylo, že expert přiřadil pravděpodobnost nula nepravděpodobnému, ale možnému výsledku. 3 zas naive bayes, ale dali si pozor na jevy s nízkou pravděpodobností (úspěšnost 7.9 z 10) 4 modelovali i závislosti mezi pozorováními. (úspěšnost 8.9 z 10) - srovnatelná s dobrým expertem.
Pravděpodobnostní modely budou příští semestr nyní (na tabuli) naive bayes klasifikátor
Dempster Shapfer Dempster-Shafer teorie Mám-li čtyři možné hodnoty veličiny, pak mi pravděpodobnost neumožňuje reprezentovat znalost: na 50% to udělal A nebo B, ale nevím který z nich, na 50% to udělal C. Pokud bychom to reprezentovali pravděpodobností a dostali informaci, že to A neudělal, tak se zvýší pravděpodobnost viny C. V Dempster-Shapfer teorii vyloučíme A, tedy celých 50% přejde na B, a 50% zůstane na C. Definition (základní přiřazení) Mějme množinu možných hodnot X. Definujeme základní přiřazení m: P(X ) [0, 1], kde m( ) = 0 a A X m(a) = 1. Všiměte si, že m definujeme na potenci X, nikoli na X samotné.
Tímto základním přiřazením je jednoznačně určena míra domění (belief) a plauzibilita (připustitelnost), definované: Bel(A) = m(b) B A Pl(A) = m(b) B A = tj. součet přes všechny B mající s A neprázdný průnik. Bel sumarizuje, nakolik evidence ukazuje na A. Pl říká, jak bychom věřili A, kdyby vše neznámé ukazovalo na A. pravdivá hodnota je někde mezi.
Příklad Uvažujme univerzum U = {H, C, P} a základní přiřazení m({h}) = 0.3 m({h,c}) = 0.2 m({h,c,p}) = 0.5 Pak Bel({H}) = 0.3 Pl({H}) = 1.0 Bel({H,C}) = 0.5 Pl({H,C}) = 1.0 Bel({P}) = 0 Pl({P}) = 0.5 Bel({C}) = 0 Pl({C}) = 0.7
Dempstrovo kombinační pravidlo Pro dvě daná základní přiřazení m 1 a m 2 definujeme jejich kombinaci m 1 + m 2 (která je také základní přiřazení) následovně: (m 1 + m 2 )(A) = X,Y ;X Y =A m 1 (X ) m 2 (Y ) 1 X,Y ;X Y = m 1 (X ) m 2 (Y )
Příklad Pro univerzum U = {D, D } a m 1 ({D}) = 0.8; m 1 ({D }) = 0; m 1 ({D,D }) = 0.2; m 2 ({D}) = 0.9; m 2 ({D }) = 0; m 2 ({D,D }) = 0.1; vytvoříme tabulku: m 2 m 1 0.9 {D} 0 {D } 0.1 {D,D } 0.8 {D} 0.72 {D} 0 {} 0.08 {D} 0 {D } 0 {} 0 {} 0 {D } 0.2 {D,D } 0.18 {D} 0 {} 0.02 {D,D } m 1 + m 2 ({D}) = 0.72 + 0.08 + 0.18 = 0.98 m 1 + m 2 ({D }) = 0 m 1 + m 2 ({D, D }) = 0.02
Problém s normalizací Counter Intuitive Behavior of Dempster Rule V následujícím příkladu vede Dempstrovo pravidlo k neočekávanému výsledku. Řekněme, že dva doktoři vyšetřili stejného pacienta, který má buď meningitidu (M), concussion (C) nebo nádor na mozku (tumor) (T). Tedy U = {M,C,T}. Doktoři se liší v diagnoze: m 1 ({M}) = 0.99; m 1 ({T }) = 0.01; m 2 ({C }) = 0.99; m 2 ({T }) = 0.01; Shodnou se na malé pravděpodobnosti nádoru T, ale neshodnou se v pravděpodobné příčině. Kombinací nám vyjde, že... Jedna možnost, jak potlačit takovéto výsledky, je přiřadit i prázdné množině nenulovou míru, která bude určovat míru neshody mezi