Asociační pravidla. Úloha hledání souvislostí mezi hodnotami atributů. {párky, hořčice} {rohlíky} Ant Suc,

Transkript

1 Asociční prvidl Úloh hledání souvislostí mezi hodnotmi tributů. nlýz nákupního košíku (Agrwl, 1993) obecněji {párky, hořčice} {rohlíky} Ant Suc, kde Ant (ntecedent) i Suc (sukcedent) jsou konjunkce hodnot KATEGORIÁLNÍCH tributů (ktegorií) Zákldní chrkteristiky prvidel: Suc Suc Ant b r Ant c d s k l n kontingenční tbulk podpor (support) resp. sup(ant Suc) = P(Ant Suc) = + b + c + d. spolehlivost (confidence), pltnost (vlidity) conf(ant Suc) = P(Suc Ant) = + b P. Berk, /25

2 Dlší chrkteristiky: bsolutní resp. reltivní počet objektů, které splňují předpokld + b + b resp. P(Ant) = + b + c + d bsolutní resp. reltivní počet objektů, které splňují závěr + c + c resp. P(Suc) = + b + c + d pokrytí (coverge) P(Ant Suc) = + c. kvlit, jko vážený součet spolehlivosti pokrytí Kvlit = w 1 + b + w 2 + c zjímvost (interestingness, lift) P(Ant Suc) P(Ant) P(Suc) = ( + b + c + d) ( + b) ( + c) závislost (dependency) P(Suc Ant) - P(Suc) = + b + c + b + c + d P. Berk, /25

3 Hledání socičních prvidel generování syntkticky korektního prvidl testování vygenerovného prvidl Generování = prohledávání prostoru prvidel Shor dolů Slepé i heuristické Jednoduché Testování = zjišťování (n dtech), zd prvidlo splňuje zdné poždvky n hodnoty numerických chrkteristik P. Berk, /25

4 Generování kombincí: do šířky do hloubky heuristicky kombince 1n 1v 2n 2s 2v 3m 3z 4 4n 5 5n 1n 2n 1n 2s 1n 2v 1n 3m 1n 3z 1n 4 1n 4n 1n 5 1n 5n 1v 2n 1v 2s 1v 2v 1v 3m 1v 3z kombince 1n 1n 2n 1n 2n 3m 1n 2n 3m 4n 1n 2n 3m 4n 5n 1n 2n 3m 5n 1n 2n 3z 1n 2n 3z 4 1n 2n 3z 4 5n 1n 2n 3z 5n 1n 2n 4 1n 2n 4 5n 1n 2n 4n 1n 2n 4n 5n 1n 2n 5n 1n 2s 1n 2s 3m 1n 2s 3m 4 1n 2s 3m 4 5n 1n 2s 3m 4n 1n 2s 3m 4n 5 1n 2s 3m 5 1n 2s 3m 5n 1n 2s 3z 1n 2s 3z 4 Frq kombince n 6 3m 6 3z n 5 1v 5 1n 4 5 4n 5 5 1v 5 4 2v 4 2s 4 2n 4 5n 4 3m 5 4 1n 3m 4 3z 5 4 3z 4 4 3m 4n 4 1v 4n 4 2v 5 4 1n 5n 4 1v 4n 5 3 1n 5 3 1n 3z 1v 2v 3z 4n 5 Do šířky 5n Do hloubky 1 1v 2s 3z 4n 5 heuristicky m počet kombincí = j=1 tributu m je mximální délk kombince (1 K Aj) -1, kde K Aj je počet hodnot j-tého P. Berk, /25

5 Generování podle četností: Algoritmus generování kombincí Inicilizce 1. vytvoř CAT - seznm ktegorií A(v) uspořádný sestupně dle četnosti 2. přiřď OPEN = CAT Hlvní cyklus 1. Dokud OPEN není prázdný seznm 1.1. vezmi první kombinci ze seznmu OPEN (oznč ji COMB) 1.2. pro kždé A(v) ze seznmu CAT tkové, že A(v) je v CAT před všemi hodnotmi tributů z COMB (Tedy pltí, že četnost A(v) je větší nebo rovn četnosti COMB) pokud se tribut A nevyskytuje v COMB potom generuj novou kombinci COMB A(v) přidej COMB A(v) do seznmu OPEN z poslední kombinci C tkovou, že četnost(c) četnost(comb A(v)) 1.3. odstrň COMB ze seznmu OPEN dříve generuje četnější (čstěji se vyskytující) kombince ( tedy i vzthy), dříve generuje spíše krtší kombince ( tedy i vzthy) (přidáním ktegorie do kombince se zpřísní kritérium tedy i sníží počet objektů, které ho splní). 5

6 Algoritmus priori hledání čsto se opkujících položek (frequent itemsets) v nákupním košíku (Agrwl, 1993) 1. krok: generování celé kombince do šířky Algoritmus priori 1. do L1 přiřď všechny hodnoty tributů, které doshují lespoň poždovné četnosti 2. polož k=2 3. dokud Lk pomocí funkce priori-gen vygeneruj n zákldě Lk-1 množinu kndidátů C k 3.2. do Lk zřď ty kombince z C k, které dosáhly lespoň poždovnou četnost 3.3. zvětš počítdlo k Funkce priori-gen(lk-1) 1. pro všechny dvojce kombincí p, q z Lk-1 Pokud p q se shodují v prvních k-2 položkách přidej do C k sjednocení p q 2. pro kždou kombinci c z Ck Pokud některá z jejich podkombincí délky k-1 není obsžen v Lk-1 odstrň c z Ck 2. krok: Kždá kombince C se rozdělí n všechny možné dvojce podkombincí Ant Suc tkové, že Suc = C Ant. Hledjí se prvidl Ant Suc tk, že se postupně přesouvjí ktegorie z Ant do Suc, je-li Ant podkombincí Ant, potom conf(ant C-Ant ) conf(ant C-Ant) Algoritmus řízen prmetry minsup (minimální podpor) minconf (minimální spolehlivost) 6

7 Npř. pro dt o klientech bnky, minsup=4 minconf= krok L 1 : 5(8), 1n(7), 3m(6), 3z(6), 4(6), 4n(6), 1v(5), 2v(4), 2s(4), 2n(4), 5n(4) C 2 : 51n, 53m, 53z, 54, 54n, 51v, 52v, 52s, 52n, 1n3m, 1n3z, 1n4, 1n4n, 1n2v, 1n2s, 1n2n, 1n5n, 3m4, 3m4n, 3m1v, 3m2v, 3m2s, 3m2n, 3m5n, 3z4, 3z4n, 3z1v, 3z2v, 3z2s, 3z2n, 3z5n, 41v, 42v, 42s, 42n, 45n, 4n1v, 4n2v, 4n2s, 4n2n, 4n5n, 1v2v, 1v2s, 1v2n, 1v5n, 2v5n, 2s5n, 2n5n L 2 : 53m(4), 54n(5), 51v(5), 53z(4), 52v(4), 1n3m(4), 1n4(5), 3m4n(4), 3z4(4), 1n3m(4), 1n5n(4), 1v4n(4) C 3 : 54n1v, 3m4n5 L 3 : 54n1v(4) 2. krok: 1v 5 (1) 5n 2n (1) 2v 5 (1) 1v4n 5 (1) 4n 5 (0,83) 1v 4n (0.8) 4 1n (0.8) 4n5 1v (0.8) 1v5 4n (0.8) 1v 4n5 (0.8) 7

8 Implementce Wek (tbelární dt) SAS EM (jen trnskce) 8

9 Zobecněná sociční prvidl (Sriknt, Agrwl, 1995) práce s hierrchiemi hodnot tributů uzeniny hořčice slámy párky buřty plnotučná kremžská telecí lhůdkový drůbeží Txonomie sortimentu zboží nákup položky 1 buřty 2 telecí párky 3 lhůdkové párky, kremžská hořčice 4 telecí párky, plnotučná hořčice Nákupy položk četnost telecí párky 2 hořčice 2 párky 3 uzeniny 4 Četnosti položek prvidlo podpor spolehlivost párek hořčice 50% 66% hořčice párek 50% 100% hořčice uzenin 50% 100% Zobecněná sociční prvidl 9

10 Prvidl s vyjímkmi (Suzuki, 1997) A S A B S B S první prvidlo odpovídá ustáleným předstvám (toto prvidlo má vysokou podporu i spolehlivost), druhé prvidlo je hledná výjimk (toto prvidlo má nízkou podporu le vysokou spolehlivost), třetí prvidlo je tkzvné referenční (má nízkou podporu /nebo nízkou spolehlivost). 1. použité bezpečnostní pásy přežití utomobilové hvárie (obecně uznávné prvidlo o účinnosti bezpečnostních pásů) 2. použité bezpečnostní pásy věk(předškolní) úmrtí při hvárii (překvpivá výjimk, pro mlé děti nejsou pásy vhodné) 3. věk(předškolní) úmrtí při hvárii (referenční prvidlo, při hváriích umírá málo předškolních dětí) 10

11 Akční prvidl (Rś, 2009) Formálně definován jko [(w) ( )] ( ) kde w je konjunkce fixních ktegorií, popisuje nvrženou změnu hodnot flexibilního tributu popisuje poždovný efekt této kce kční prvidlo tedy reprezentuje dvě klsická prvidl. npř: kční prvidlo [Sex(mle) BMI(high verge)] blood_pressure(high verge) reprezentuje prvidl R1: Sex(mle) BMI(high) blood_pressure(high) R2: Sex(mle) BMI(verge) blood_pressure(verge) 11

12 Čsové sekvence (Agrwl, Sriknt, 1995) ( P, 123), (Q, 125), (S, 140), (P, 150), (R, 151), (Q, 155), (S, 201), (P, 220), (S, 222), (Q, 225). Sériová epizod: P se stne dříve než Q Prlelní epizod: R, S T se stnou součsně Zákldem definice čsového okn, uvnitř kterého se musí epizod vyskytnout. Npř. pro pevné okno délky 20 budeme zprcovávt okn [P Q S], [Q S], [S P R Q], [P R Q], [R, Q], [Q], [S P], [P S Q] má-li pro okno dné délky dosttečnou četnost epizod P Q R, mjí dosttečnou četnost i epizody P Q, Q R P R. 12

13 Implikce, dvojité implikce ekvivlence Východiskem metod GUHA (Hájek, Hvránek, 1978) vyhodnocující různé typy závislosti mezi A S (tzv. kvntifikátory) zákldní implikce A Ø S, kde Ø (,b) = + b zákldní dvojitá implikce A Ø S, kde Ø (,b,c) = + b + c zákldní ekvivlence A Ø S, kde Ø (,b,c,d) = + d + b + c + d vybrné třídy kvntifikátorů 1. kvntifikátor ~(,b) je implikční, právě když b b implikuje ~(,b ) ~(,b) 2. kvntifikátor ~(,b,c) je -dvojitě implikční, právě když b +c b+c implikuje ~(,b,c ) ~(,b,c) 3. kvntifikátor ~(,b,c,d) je -ekvivlenční, právě když +d +d b +c b+c implikuje ~(,b,c,d ) ~(,b,c,d) 13

14 Metod GUHA česká metod, hledání všeho zjímvého (hypotéz), co plyne z dt: vzthy mezi kombincemi hodnot binárních tributů, korelce mezi numerickými tributy podmíněné kombincí ktegoriálních tributů, nebo zdroje závislosti v nominálních dtech. metod explorční nlýzy dt, která kombinuje logické sttistické postupy hledání hypotéz jko výlov rybník Springer 1978 Oproti socičním prvidlům bohtší syntxe i rozmnitější typy prvidel 14

15 LISp-Miner Aktuální implementce metody GUHA vytvořená n VŠE (Šimůnek, 2003), provázáno s MS Access: Procedur pro příprvu předzprcování dt 7 procedur pro hledání různých typů socičních prvidel 4FT KL CF SD4FT SDKL SDCF AC4FT 2 procedury pro klsifikci KEX ETree 15

16 Hypotézy (prvidl) vyjdřují vzthy mezi cedenty, cedent je tvořen konjunkcí částečných cedentů částečný cedent je konjunkce nebo disjunkce literálů. Literál je definován jko tribut(koeficient) v přípdě pozitivního literálu, resp. jko tribut(koeficient) v přípdě negtivního literálu. Koeficient (seznm hodnot tributu) pk může být: podmnožin omezené délky npř. literál město(prh, Brno) obshuje podmnožinu délky 2, intervl omezené délky npř. literály věk(nízký, střední), věk(střední), věk(střední, vysoký) obshují intervl délky 1 ž 2, řez (intervl, obshující krjní hodnotu) omezené délky npř. literály věk(nízký), věk(nízký, střední), věk(nízký, střední, vysoký) obshují dolní řez délky 1 ž 3. Z literálů jsou vytvářeny (generovány metodou do hloubky ) konjunkce, které tvoří jednotlivé části nějkého prvidl (hypotézy). 16

17 Procedur 4FT generovné testovné hypotézy mjí podobu φ ψ / kde φ, ψ, (cedent) jsou cedenty, je tzv. kvntifikátor vyjdřující typ vzthu mezi φ ψ n množině příkldů, které splňují název Fundovná implikce Dvojitá fundovná implikce Fundovná ekvivlence Fisherův kvntifikátor Chi-kvdrát kvntifikátor Znčení prmetry kdy pltí p,bse 0 p 1 Bse 0 p,bse 0 p 1 Bse 0 p,bse 0 p 1, Bse, Bse Bse Bse Bse 0 + b p Bse + b + c p Bse + d + b + c + d p Bse min(r,k) r!s!k!l! n!i!(r-i)!(k-i)!(n-r-k-i)! i= Bse d bc Bse n(d - bc) klrs npř: konto(vysoké OR střední) AND NOT(nezměstnný(no)) 0.9 úvěr(no) / pohlví(muž) 17

18 generování do hloubky, kždý cedent zvlášť Konto( nízké) Nezměstnný( no) Pohlví( žen) Konto( nízké) Nezměstnný( no) Pohlví( žen) Příjem(nízký) Úvěr( ne) Konto( nízké) Nezměstnný( no) Pohlví( žen) Příjem(vysoký) Úvěr( no) Konto( nízké) Nezměstnný( no) Pohlví( žen) Úvěr( no) Příjem(vysoký) Konto( nízké) Nezměstnný( no) Pohlví( žen) Úvěr( ne) Příjem(nízký) Konto( nízké) Nezměstnný( no) Příjem(nízký) Úvěr( ne) Konto( nízké) Nezměstnný( no) Příjem(nízký) Pohlví( žen) Konto( nízké) Nezměstnný( no) Příjem(nízký) Úvěr( ne) Pohlví( žen) Konto( nízké) Nezměstnný( no) Příjem(vysoký) Úvěr( no) Konto( nízké) Nezměstnný( no) Příjem(vysoký) Pohlví( žen) Konto( nízké) Nezměstnný( no) Příjem(vysoký) Úvěr( no) Pohlví( žen) Konto( nízké) Nezměstnný( no) Úvěr( no) Pohlví( žen) Konto( nízké) Nezměstnný( no) Úvěr( no) Příjem(vysoký) Konto( nízké) Nezměstnný( no) Úvěr( ne) Pohlví( žen) Konto( nízké) Nezměstnný( no) Úvěr( ne) Příjem(nízký)... 18

19 Procedur KL generovné testovné hypotézy mjí podobu R ~ C /, kde R C jsou dv ktegoriální tributy je cedent definující podmínku pro nlyzovnou množinu příkldů. Vzth ~ je definován pomocí sttistických kritérií (npř. chi-kvdrát) nebo kritérií z oblsti teorie informce (npř. entropie). 19

20 Procedur CF generovné testovné hypotézy mjí podobu ~C / kde C je ktegoriální tribut je cedent. Anlyzuje se zde tedy histogrm frekvencí ktegorií tributu C u příkldů splňujících podmínku. 20

21 Procedur SD4FT generovné testovné hypotézy mjí podobu φ ψ / (α, β, ) kde φ, ψ, α, β, jsou cedenty. Hledáme tedy situce, kdy při splněné podmínce je vzájemný 4FT-vzth mezi φ ψ n množině α je jiný než n množině β 1 1 b b

22 Procedur SDKL generovné testovné hypotézy mjí podobu R ~ C / (α, β, ) kde R C jsou ktegoriální tributy α, β jsou cedenty. Hledáme tedy situce, kdy se z podmínky podmnožiny α, β liší vzhledem k vzájemnému vzthu tributů R C 22

23 Procedur SDCF generovné testovné hypotézy mjí podobu ~C / (α, β, ) kde C je ktegoriální tribut α, β, jsou cedenty. Hledáme situce, kdy se z podmínky podmnožiny α, β liší vzhledem k frekvencím jednotlivých ktegorií tributu C 23

24 Procedur AC4FT generovné testovné hypotézy mjí podobu α: φ β: ψ / kde α, β jsou fixní cedenty, φ je flexibilní cedent obshující nvržené kce, ψ je flexibilní cedent popisující efekt kce (cedent) je podmínk. 24

25 Ošetření v dtech Chybějící hodnoty Ošetření v nlezených prvidlech (GUHA) S?S S A i b r?a o m p A c j d s k l n Devítipolní kontingenční tbulk Doplnění tbulky (převod n čtyřpolní): Konzervtivní (ignorovt) Optimistické (chybějící hodnoty podporují vzth) Zbezpečené (chybějící hodnoty v rozporu se vzthem) 25