5.2 Asociační pravidla

Transkript

1 5.2 Asociční prvidl IF-THEN konstrukce nlezneme ve všech progrmovcích jzycích, používjí se i v běžné mluvě (nebude-li pršet, nezmoknem). Není tedy divu, že prvidl s touto syntxí ptří společně s rozhodovcími stromy k nejčstěji používným prostředkům pro reprezentci znlostí, ť už získných od expertů, nebo vytvořených utomtizovně z dt. Termín sociční prvidl široce zpopulrizovl počátkem 90. let Agrwl [Agrwl kol, 1993] v souvislosti s nlýzou nákupního košíku. Při této nlýze se zjišťuje, jké druhy zboží si součsně kupují zákzníci v supermrketech (npř. pivo párek). Jde tedy o hledání vzájemných vzeb (socicí) mezi různými položkmi sortimentu prodejny. Přitom není upřednostňován žádný speciální druh zboží jko závěr prvidl. V tomto smyslu budeme chápt prvidl v této kpitole. O použití IF- THEN prvidel pro klsifikci pojednává následující kpitol Zákldní chrkteristiky prvidel U prvidel vytvořených z dt nás obvykle zjímá, kolik příkldů splňuje předpokld kolik závěr prvidl, kolik příkldů splňuje předpokld i závěr součsně, kolik příkldů splňuje předpokld nesplňuje závěr. Tedy, zjímá nás, jk pro prvidlo Ant Suc, kde Ant (předpokld, levá strn prvidl, ntecedent) i Suc (závěr, prvá strn prvidl, sukcedent) jsou kombince ktegorií 2 vypdá příslušná kontingenční tbulk. Pro n příkldů je její podob uveden v Tb. 1. Suc Suc Ant b r Ant c d s k l n Tb. 1 (Čtyřpolní) Kontingenční tbulk kde n(ant Suc) = je počet objektů 3 pokrytých součsně předpokldem i závěrem, n(ant Suc) = b je počet objektů pokrytých předpokldem nepokrytých závěrem, n( Ant Ssuc) = c je počet příkldů nepokrytých předpokldem le pokrytých závěrem, n( Ant Suc) = d je počet příkldů nepokrytých ni předpokldem ni závěrem. n(ant) = +b = r, n( Ant) = c+d = s, n(suc) = +c = k, n( Suc) = b+d = l, n = +b+c+d Z těchto čísel (místo o počtu objektů pokrytých kombincí se někdy mluví o četnosti resp. frekvenci kombince) můžeme počítt různé chrkteristiky prvidel kvntittivně tk hodnotit nlezené znlosti. 1 Při použití prvidel pro klsifikci je závěr prvidel vyhrzen pro cílový tribut určující zřzení do třídy. 2 Numerické tributy se vždy musí diskretizovt před použitím lgoritmu pro hledání socičních prvidel. 3 Někdy může být k objektům přiřzen váh určující, kolikrát se má objekt počítt při výpočtu hodnot v tbulce. Váh vyjdřuje npř. počet opkování objektu (při propojování tbulek) nebo to, že jde o částečný objekt vzniklý diskretizcí nebo ošetřením chybějících hodnot (podrobnosti viz kpitol o předzprcování dt). 1

2 Zákldními chrkteristikmi socičních prvidel v Agrwlově pojetí jsou podpor (support) spolehlivost (confidence). Podpor je (bsolutní resp. reltivní 4 ) počet objektů, splňujících předpokld i závěr, tedy hodnot resp. P(Ant Suc) = + b + c + d. Spolehlivost (též nzývná pltnost vlidity, konsistence consistency, nebo správnost ccurcy) je vlstně podmíněná prvděpodobnost závěru pokud pltí předpokld, tedy Dlší důležité chrkteristiky jsou: P(Suc Ant) = + b. bsolutní resp. reltivní počet objektů, které splňují předpokld + b + b resp. P(Ant) = + b + c + d bsolutní resp. reltivní počet objektů, které splňují závěr + c + c resp. P(Suc) = + b + c + d pokrytí 5 (coverge), tj, podmíněná prvděpodobnost předpokldu pokud pltí závěr P(Ant Suc) = kvlit, tj. vážený součet 6 spolehlivosti pokrytí Kvlit = w 1 + c. + b + w 2 + c kde w 1 w 2 se obvykle volí tk 7, by w 1 + w 2 = 1, tedy npř. w 1 = 0.5 w 2 = 0.5 nebo w 1 = 0.8 w 2 = 0.2. N zákldě pltnosti pokrytí lze dělit implikce do několik skupin [Holsheimer, Siebes, 1994]: konzistentní prvidl jsou prvidl s pltností rovnou 1, levá strn implikce je postčující podmínkou pro splnění prvé strny, úplná prvidl jsou prvidl s pokrytím rovným 1, levá strn implikce je nutnou podmínkou pro splnění prvé strny, deterministická prvidl jsou prvidl s pltností i pokrytím rovným 1, levá strn je nutnou postčující podmínkou pro splnění prvé strny. 4 Reltivní četnosti kombince K budeme chápt jko odhd prvděpodobnosti jejího výskytu v dtech P(K). 5 Někteří utoři této chrkteristice říkjí úplnost (completeness). 6 Přehled dlších způsobů, jk spočítt kvlitu prvidl lze nlézt v [Bruh, 1994]. 7 Zjímvou vrintu tohoto přístupu uvádí Torgo ([Torgo, 1993]): w 1 = P(Suc Ant) w 2 = P(Ant Suc). 2

3 V litertuře můžeme nlézt i dlší chrkteristiky socičních prvidel. Tk npř. Kodrtoff [Kodrtoff, 1999] kromě výše zmíněné podpory P(Ant Suc), kterou nzývá popisná (descriptive support) výše zmíněné spolehlivosti P(Suc Ant), kterou nzývá popisná (descriptive confidence) uvádí ještě: kuzální podporu (cusl support) P(Ant Suc) + P( Ant Suc) = + d + b + c + d, kuzální spolehlivost (cusl confidence) 1 2 P(Suc Ant) P( Ant Suc) = b d b + d, deskriptivní potvrzení (descriptive confirmtion) P(Ant Suc) P(Ant Suc) = - b + b + c + d, kuzální potvrzení (cusl confirmtion) P(Ant Suc) + P( Ant Suc) 2 P(Ant Suc) = + d - 2b + b + c + d, ujištění (conviction) P(Ant) P( Suc) P(Ant Suc) = ( + b) (b + d) d ( + b + c + d), zjímvost (interestingness) závislost (dependency) 8 P(Ant Suc) P(Ant) P(Suc) = ( + b + c + d) ( + b) ( + c), P(Suc Ant) P(Suc) = + b + c + b + c + d. Ze čtyřpolní tbulky tedy můžeme spočítt nejrůznější chrkteristiky socičního prvidl. Dlší vzorce počítné ze čtyřpolní tbulky, které le budou tentokráte vyjdřovt různé typy prvidel, uvidíme v souvislosti s metodou GUHA (viz dále). 8 Připomeňme ze sttistiky, že pokud Suc Ant jsou nezávislé, pltí P(Suc Ant) = P(Suc). 3

4 5.2.2 Generování kombincí Zákldem všech lgoritmů pro hledání socičních prvidel je generování kombincí (konjunkcí) hodnot tributů. Při generování vlstně procházíme (prohledáváme) prostor všech přípustných konjunkcí 9. Metod je několik: Do šířky Do hloubky Heuristicky Jednotlivé metody budeme ilustrovt n příkldě vytváření konjunkcí z dt uvedených v Tb. 2. Pro zjednodušení zápisu ktegorií v Obr. 1, Obr. 2 Obr. 3 budeme ktegorii zpisovt pořdovým číslem tributu prvním písmenem hodnoty, tedy zápis 1v bude znment ktegorii příjem(vysoký). klient příjem Konto pohlví nezměstnný úvěr k1 vysoký vysoké žen ne no k2 vysoký vysoké muž ne no k3 nízký nízké muž ne ne k4 nízký vysoké žen no no k5 nízký vysoké muž no no k6 nízký nízké žen no ne k7 vysoký nízké muž ne no k8 vysoký nízké žen no no k9 nízký střední muž no ne k10 vysoký střední žen ne no k11 nízký střední žen no ne k12 nízký střední muž ne no Tb. 2 Dt pro generování kombincí Při generování do šířky se kombince generují tk, že se nejprve vygenerují všechny kombince délky jedn, pk všechny kombince délky dvě, td. Jde tedy o generování kombincí podle délek, ktegorie jednoho tributu jsou přitom uspořádány podle becedy (Obr. 1). č. četnost Kombince n v n s v m z n n n 2n 9 V konjunkci se nesmí opkovt tributy. 4

5 n 2s n 2v n 3m n 3z n n 4n n n 5n v 2n v 2s v 2v v 3m v 2v 3z 4n 5n Obr. 1 Generování "do šířky" Při generování do hloubky se vyjde od první kombince délky jedn t se pk prodlužuje (vždy o první ktegorii dlšího tributu) dokud to lze 10. Nelze-li kombinci prodloužit, změní se ktegorie posledního tributu. Nelze-li provést ni to (vyčerply se ktegorie posledního tributu), kombince se zkrátí součsně se změní poslední ktegorie. Princip generování je ilustrován n Obr. 2. Ktegorie jednoho tributu jsou opět uspořádány podle becedy, kurzívou jsou vyznčeny kombince s nulovou četností. č. Četnost kombince n n 2n n 2n 3m n 2n 3m n 2n 3m n 2n 3m 4 5n n 2n 3m 4n n 2n 3m 4n n 2n 3m 4n 5n n 2n 3m n 2n 3m 5n n 2n 3z n 2n 3z n 2n 3z n 2n 3z 4 5n n 2n 3z 4n n 2n 3z 4n n 2n 3z 4n 5n n 2n 3z n 2n 3z 5n n 2n n 2n n 2n 4 5n n 2n 4n n Obr. 2 Generování "do hloubky" 10 Prodlužování skončí při dosžení mximální zdné délky konjunkce nebo při vyčerpání tributů jejich hodnot. 5

6 Ob výše zmíněné způsoby jsou slepé. Provádějí se pouze n zákldě seznmu hodnot tributů neberou do úvhy vlstní dt. Proto můžeme vygenerovt kombince, které se nevyskytují v dtech. V seznmu kombincí n Obr. 1 Obr. 2, jsou tkové kombince zvýrzněny kursivou. Poslední zde uváděný způsob generování podle četností vytváří kombince v pořdí podle jejich výskytu v dtech. Jedná se o příkld heuristického prohledávání prostoru kombincí, kde heuristikou je uvžuj kombinci s nejvyšší četností". Při tomto způsobu generování se kombince s nulovou četnosti objeví ž n konci seznmu (Obr. 3). č. Četnost kombince n m z n v n n v v s n n m n 3m z z m 4n v 4n v n 5n v 4n n v 2s 3z 4n v 2n 3z 4n 5n Obr. 3 Generování podle četností Počet kombincí Generování kombincí je výpočetně náročný proces. S růstem počtu tributů znčně roste počet možných konjunkcí. Odhd tohoto počtu nám umožní následující úvhy. Jk velký je prostor kombincí, který se prohledává? Oznčme K A1, K A2,..., K Am počet ktegorií tributu A 1, A 2,..., A m (m je počet tributů, ze kterých vytváříme kombince). Pk počet kombincí délky jedn je m i=1 K Ai 6

7 počet kombincí délky dvě je (K K ) m i,j=1, i j počet kombincí délky tři je (K K K )... Počet všech kombincí je pk 11 m Ai Aj Ai Aj Ak i,j,k=1, i j k m j=1 (1 + K ) - 1 Pro dt uvedená v Tb. 2 je podle tohoto vzorce počet kombincí délky 1 roven 11, počet kombincí délky 2 roven 48, počet kombincí délky 3 roven 104, počet kombincí délky 4 roven 112 počet kombincí délky 5 roven 48. Celkový počet všech možných kombincí je tedy 323. Výše uvedené úvhy se týkly počtu všech možných kombincí bez ohledu n řídící prmetry generování n vstupní dt. Počet generovných kombincí smozřejmě klesne, poždujeme-li n výstupu pouze kombince do určité délky 12 s určitou minimální četností. Omezení dné vstupními dty se týká počtu kombincí, které budou mít nenulovou četnost. Řd (syntkticky) možných kombincí se v dných dtech vůbec nemusí vyskytovt. To je i přípd kombincí generovných v předcházející podkpitole. Místo 323 syntkticky správných kombincí byly pro dt z Tb. 2 nlezeny jen 203 kombince s nenulovou četností. Aj Přes toto dlší redukování prohledávného prostoru lze říci, že počet generovných ( testovných) kombincí je exponenciálně závislý n počtu tributů Algoritmus priori Nejznámějším lgoritmem pro hledání socičních prvidel je lgoritmus priori. Tento lgoritmus nvrhl R. Agrwl v souvislosti s nlýzou nákupního košíku [Agrwl kol., 1996]. Jádrem lgoritmu je hledání čsto se opkujících množin položek (frequent itemsets). Jedná se kombince (konjunkce) ktegorií 13 které doshují předem zdné četnosti (podpory minsup) v dtech. Při hledání kombincí délky k, které mjí vysokou četnost se využívá toho, že již známe kombince délky k-1. Při vytváření kombince délky k spojujeme kombince délky k-1. Jde tedy o generování kombincí do šířky. Přitom pro vytvoření jedné kombince délky k poždujeme, by všechny její podkombince délky k-1 splňovly poždvek n četnost. Tedy npř. ze tříčlenných kombincí {A 1 A 2 A 3, A 1 A 2 A 4, A 1 A 3 A 4, A 1 A 3 A 5, A 2 A 3 A 4 } doshujících poždovné četnosti vytvoříme pouze 11 Tento vzth byl již uveden v obecné kpitole o strojovém učení. Ve zjednodušeném přípdě, kdy je počet hodnot stejný pro všechny tributy (oznčme K), je počet kombincí délky jedn roven K*N, počet kombincí délky dv roven K 2 * N*(N-1)/2, počet kombincí délky tři roven K 3 * N*(N-1)*(N-2)/6. Počet všech kombincí je pk podle binomické věty (1 + K) N Obvykle se kombince generují od krtších délek. 13 V přípdě nlýzy nákupního košíku jsou ktegorie typu máslo(no), chleb(no) pod., které můžeme stručněji zpisovt máslo, chleb chápt jko položky zboží. 7

8 jedinou čtyřčlennou kombinci A 1 A 2 A 3 A 4. Kombinci A 1 A 3 A 4 A 5 sice lze vytvořit spojením A 1 A 3 A 4 A 1 A 3 A 5, le mezi tříčlennými kombincemi chybí A 1 A 4 A 5 i A 3 A 4 A 5. Příslušný lgoritmus je uveden n Obr. 4. Algoritmus priori 1. do L 1 přiřď všechny ktegorie, které doshují lespoň poždovné četnosti 2. polož k=2 3. dokud L k pomocí funkce priori-gen vygeneruj n zákldě L k-1 množinu kndidátů C k 3.2. do L k zřď ty kombince z C k, které dosáhly lespoň poždovnou četnost 3.3. zvětš počítdlo k Funkce priori-gen(l k-1 ) 1. pro všechny dvojce kombincí Comb p, Comb q z L k pokud Comb p Comb q se shodují v k-2 ktegoriích přidej Comb p Comb q do C k 2. pro kždou kombinci Comb z C k 2.1. pokud některá z jejich podkombincí délky k-1 není obsžen v L k-1 odstrň Comb z C k Obr. 4 Algoritmus priori Po nlezení kombincí které vyhovují svou četností se vytvářejí sociční prvidl. Kždá kombince Comb se rozdělí n všechny možné dvojce podkombincí Ant Suc tkové, že Suc = Comb - Ant 14. Uvžovné prvidlo Ant Suc má pk podporu, která se rovná četnosti kombince Comb. Spolehlivost prvidl se spočítá jko podíl četností kombincí Comb Ant. Četnost kombince Ant přitom již známe. Vzhledem k tomu, že délk Ant je menší než délk Comb, byl kombince Ant lgoritmem priori vygenerován dříve. Nvíc víme, že četnost kombince Ant je větší nebo rovn četnosti kombince Comb 15. Při vytváření prvidel se využívá skutečnosti, že četnost ndkombince je nejvýše rovn četnosti kombince: n(comb 1 ) n(comb 2 ) pro Comb1 Comb 2. Tedy je-li Ant Ant', je spolehlivost prvidl Ant Comb Ant větší nebo rovn spolehlivosti prvidl Ant Comb - Ant 16. Tudíž nevyhovuje-li zdné minimální spolehlivosti prvidlo Ant Comb - Ant, nevyhoví ni žádné prvidlo Ant Comb - Ant kde Ant Ant'. Podobně, by mohlo zdnou minimální spolehlivost splnit prvidlo Comb Suc Suc, musí ji splnit všechn prvidl Comb - Suc Suc, kde opět Suc Suc'. Tedy npř. vyhovuje-li pro kombinci Comb=A 1 A 2 A 3 A 4 prvidlo A 1 A 2 A 3 A 4, budou vyhovovt i prvidl A 1 A 2 A 3 A 4 A 1 A 2 A 4 A 3. Zčíná se tedy Comb rozdělovt tk, že Suc je nejprve tvořeno jednou položkou (kombincí délky 1). U těch prvidel, která dosáhl poždovnou spolehlivost se do Suc přidá dlší položk z Ant td. 14 Tedy Ant Suc neobshují stejnou ktegorii (Ant Suc = ) zároveň Ant Suc = Comb. 15 Krtší (méně omezující kombinci) odpovídá lespoň tolik příkldů v dtech jko kombinci delší. 16 Je-li Ant ndkombincí kombince Ant, je Ant přísnější tudíž ho splní méně příkldů. Vzhledem k tomu, že četnost Ant je ve jmenovteli zlomku, přičemž čittel zůstává stejný, je spolehlivost prvidl Ant Comb Amt lespoň tková jko spolehlivost prvidl Ant Comb Ant. 8

9 5.2.5 Zobecněná sociční prvidl Zboží, které si zákzník v supermrketu ukládá do košíku je součástí přirozené txonomie. Obchod nbízí různé druhy nápojů, uzenin, hořčice pod. (Obr. 5). Tkováto txonomie se využívá při hledání zobecněných socičních prvidel [Sriknt, Agrwl, 1995]. Tto prvidl zchycují socice mezi položkmi n různé úrovni obecnosti (grnulrity) 17. Zjímjí nás tedy nejen prvidl n nejnižší úrovni hierrchie, npř. lhůdkový párek kremžská hořčice le i obecnější ( tedy kompktnější snd srozumitelnější) prvidl využívjící této txonomie párek hořčice. Zobecněné sociční prvidlo je tedy prvidlo ve tvru Ant Suc, kde Ant Suc= žádná položk v Suc není předchůdcem žádné položky v Ant vzhledem k uvžovné hierrchii 18. Jink se le v prvidle objevují položky (ktegorie) z různých úrovní hierrchie. Problém při hledání zobecněných prvidel je ve vhodné volbě minimální poždovné podpory (support). Je-li hodnot tohoto prmetru příliš vysoká, nenleznou se prvidl n nejnižší úrovni, není ni zručeno, že nlezneme příslušné obecnější prvidlo (důvodem může být nízká spolehlivost tkového prvidl). Je-li hodnot minimální poždovné podpory příliš vysoká, dojde ke kombintorické explozi, nvíc budou v prvidlech figurovt položky z vyšších úrovní hierrchie ve všech možných vzájemných kombincích. Pltí totiž, že pokud má poždovnou podporu kombince Ant Suc, budou ji mít i kombince vytvořené z obecnějších položek (předchůdců) položek Ant Suc: Ant předchůdce(suc), předchůdce(ant) Suc, předchůdce(ant) předchůdce(suc) 19 uzeniny hořčice slámy párky buřty plnotučná kremžská telecí lhůdkový drůbeží Obr. 5 Txonomie sortimentu zboží 17 Jedná se o nlogii s opercemi roll-up drill-down používnými v systémech OLAP. 18 Tto druhá podmínk eliminuje triviální prvidl typu kremžská hořčice hořčice. U běžných socičních prvidel se podmínk neupltní, protože neuvžujeme hierrchii hodnot tributů. 19 Předchůdce(X) jkožto obecnější koncept bude pokrývt více příkldů než X. 9

10 Bude-li prvidlo Ant Suc splňovt poždovnou podporu spolehlivost, je pouze pro prvidlo Ant předchůdce(suc) zručeno, že rovněž splní ob prmetry. O spolehlivosti prvidel předchůdce(ant) Suc, předchůdce(ant) předchůdce(suc) nelze dopředu nic říci. To ilustruje jednoduchý příkld. V Tb. 3 jsou uvedeny údje o nákupech (trnskcích). Tb. 4 ukzuje položky s podporou lespoň 50%. V Tb. 5 jsou pk uveden prvidl s podporou lespoň 50% spolehlivostí lespoň 60%. Všimněme si, že chybí prvidlo uzenin hořčice, které nedoshuje poždovné podpory. nákup položky 1 buřty 2 telecí párky 3 lhůdkové párky, kremžská hořčice 4 telecí párky, plnotučná hořčice Tb. 3 Nákupy položk četnost telecí párky 2 hořčice 2 párky 3 uzeniny 4 Tb. 4 Četnosti položek prvidlo podpor spolehlivost párek hořčice 50% 66% hořčice párek 50% 100% hořčice uzenin 50% 100% Tb. 5 Zobecněná sociční prvidl Jednou možností, jk se vypořádt s otázkou různé podpory n různých úrovních hierrchie je dynmicky měnit minimální poždovnou podporu v závislosti n úrovni hierrchie dné kombince tk jk to popisují Chung Lui. Vycházejí přitom z tzv. stupně obecnosti g, který je pro určitou hodnotu v hierrchii definován jko podíl počtu listových hodnot v podstromu uvžovné hodnoty počtu všech listových hodnot v dné hierrchii. Tedy npř. pro hierrchii n Obr. 5 vlevo má hodnot párky stupeň obecnosti 3/5 hodnot telecí párky stupeň obecnosti 0/5. Stupeň obecnosti g(comb) nějké kombince je pk dán minimem ze stupňů obecnosti jednotlivých ktegorií (hodnot tributů) v kombinci. Při generování kombincí uživtel definuje prmetry minsup 0 (poždovná podpor pro kombinci obshující ktegorii s nejnižším stupněm obecnosti g=0) minsup 1 (poždovná podpor pro kombinci obshující ktegorii s nejvyšším stupni obecnosti g=1), minsup 0 < minsup 1, ze kterých se pk spočítá minimální poždovná podpor libovolné kombince jko ([Chung, Lui, 2000]): minsup(comb) = minsup 0 + (minsup 1 - minsup 0 ) g(comb). Z kombincí doshujících poždovné podpory se pk vytvářejí sociční prvidl způsobem, který je popsán v předcházející podkpitole, tedy n zákldě rozkldu kombince n dvě podkombince. 10

11 5.2.6 Prvidl s výjimkmi Výsledkem lgoritmů pro hledání socičních prvidel bývá rozsáhlý seznm prvidel, které je nutno interpretovt. Vodítkem je obvykle nějkým způsobem definovná zjímvost. Suzuki ve svých prcech (npř. [Suzuki, 1997], [Suzuki, Kodrtoff, 1998]) nvrhuje povžovt z zjímvá t prvidl, která se vymykjí ustáleným běžným předstvám (tzv. common sence). Formálně je prvidlo s výjimkou definováno n zákldě trojice prvidel Comb A Suc Comb A Comb B Suc Comb B Suc kde první prvidlo odpovídá ustáleným předstvám (toto prvidlo má vysokou podporu i spolehlivost), druhé prvidlo je hledná výjimk (toto prvidlo má nízkou podporu le vysokou spolehlivost), třetí prvidlo je tkzvné referenční (má nízkou podporu /nebo nízkou spolehlivost). Příkldem prvidl s výjimkou může být následující trojce prvidel: 1. použité bezpečnostní pásy přežití utomobilové hvárie (obecně uznávné prvidlo o účinnosti bezpečnostních pásů) 2. použité bezpečnostní pásy věk=předškolní úmrtí při hvárii (překvpivá výjimk, pro mlé děti nejsou pásy vhodné) 3. věk=předškolní úmrtí při hvárii (referenční prvidlo, při hváriích umírá málo předškolních dětí) Tkovéto trojice je smozřejmě možné hledt ž ve výsledném souboru prvidel. Suzuki le nbízí lterntivu; přímé generování. Hledání prvidl s výjimkou je řešeno jko simultánní hledání dvojce [obecné prvidlo, výjimk] reprezentovné kombincemi [Comb A, Comb B ] v prostoru všech dvojic kombincí. Implementovný lgoritmus prohledává tento prostor do hloubky. Prohledávání je řízeno prmetry θ S 1, θ S 2, θ F 1, θ F 2, θ I 2, které specifikují poždovné kvntittivní chrkteristiky nlezených prvidel [Suzuki, 1997]: P(Comb A ) θ S 1, P(Suc Comb A ) θ F 1, P(Comb A Comb B ) θ S 2, P( Suc Comb A Comb B ) θ F 2, P( Suc Comb B ) θ I 2. Při prohledávání se využívá skutečnosti, že nesplní-li nějká dvojice kombincí [Comb A, Comb B ] některý z výše uvedených poždvků, nesplní tento poždvek ni žádná dvojice [Comb A, Comb B ] tková, že kombince Comb A je ndkombincí kombince Comb A, nebo kombince Comb B je ndkombincí kombince Comb B. V tkovém přípdě se tedy může dlší prohledávání z uzlu [Comb A, Comb B ] ukončit. 11

12 5.2.7 Čsové sekvence Většinou se sociční prvidl hledjí v dtbázích, kde se neuvžuje s fktorem čsu. Záznmy v dtbázi prostě zchycují chrkteristiky nějkých objektů. Někdy se le ocitneme v situci, že potřebujeme nlézt socice mezi událostmi, které se odehrávjí v různých čsových okmžicích. Příkldem může být dtbáze poruch v telekomunikční síti. Problemtikou hledání opkujících se epizod v sekvenci nějkých událostí se zbývá npř. Mnnil [Mnnil kol., 1995]. Příkldem sekvence událostí může být: ( P, 123), (Q, 125), (S, 140), (P, 150), (R, 151), (Q, 155), (S, 201), (P, 220), (S, 222), (Q, 225). kde v zápise (písmeno, číslo) je písmeno název události číslo je údj o čse, ve kterém událost nstl 20. Obr. 6 Sériová epizod (vlevo) prlelní epizod (vprvo) Epizodou pk může být P se stne dříve než Q Q se stne dříve než R. (tzv. sériová epizod 21 ), nebo R, S T se stnou součsně (tzv. prlelní epizod) viz Obr. 6. Z těchto dvou zákldních typů epizod lze skládt i epizody složitější. Epizod je tedy částečně uspořádná množin událostí. Při nlýze čsových sekvencí jde o to nlézt epizody, které se opkují dosttečně čsto. Pokud prcujeme s konkretními čsovými okmžiky, je pro hledání epizod podsttné zdání čsového okn, uvnitř kterého se musí epizod vyskytnout. Toto okno pevné délky w d se posouvá po sekvenci událostí. Okno lze posouvt s krokem pevné délky (je-li délk čsové sekvence T krok rovný jedné, je počet všech oken, která musíme prozkoumt rovný T-w d +1), nebo tk, že nové okno zčíná s dlší událostí. Je-li npříkld sekvencí událostí výše uvedený příkld je-li w d =20, budeme pro druhý způsob posouvání okn zkoumt okn [P Q S], [Q S], [S P R Q], [P R Q], [R, Q], [Q], [S P], [P S Q]. 20 Někdy přesný čsový údj o události nepotřebujeme znát, protože nám stčí vědět pouze to, že některá událost předcházel události jiné. Příkldem tkovýchto sekvencí mohou být opkovná vyšetření pcientů v nemocnici (událostí je pk výsledek vyšetření nějkého pcient sekvencí je seznm výsledků vyšetření tohoto pcient), nebo opkovné nákupy v supermrketu (událostí je pk jeden nákup jednoho zákzník sekvencí je seznm nákupů tohoto zákzník). 21 V přípdě sériové epizody se mezi P, Q R mohou vyskytnout i jiné události. 12

13 V těchto oknech tedy budeme hledt četné epizody. Opět vycházíme ze skutečnosti, že má-li pro okno dné délky dosttečnou četnost epizod P Q R, mjí dosttečnou četnost i epizody P Q, Q R P R. Můžeme tedy delší epizody skládt z krtších úseků (tzv. podepizod). Pro hledání epizod které se vyskytují lespoň se zdnou četností lze použít lgoritmus prioriall ([Agrwl, Sriknt, 1995]), Tento lgoritmus prcuje tk, že nejprve nlezne četné epizody tvořené jednou událostí, z nich skládá epizody tvořené dvěm událostmi v rámci dného čsového okn zjišťuje jejich četnosti. Pk se zjišťuje četnost potenciálně zjímvých epizod tvořených třemi událostmi, což jsou epizody tkové, že všechny jejich podepizody délky dvě vyhovují svou četností 22, td. Jk už název lgoritmu npovídá, jedná se o vrintu lgoritmu priori popsného n jiném místě této kpitoly. Jediným větším rozdílem je to, že místo generování kombincí (u kterých nezáleží n pořdí ktegorií) se nyní generují epizody událostí uspořádných v čse. Budeme-li ve výše uvedených oknech hledt epizody s četností lespoň 4, zjistíme, že z epizod délky jedn vyhovují epizody P (s četností 5), Q (s četností 7) S (s četností 5). Z těchto epizod budeme vytvářet potenciálně vyhovující epizody délky dvě. Tyto epizody jsou spolu s četnostmi uvedeny v Tb. 6. Z této tbulky plyne, že žádná epizod délky tři více nebude vyhovovt poždvku n minimální četnost 4. Epizod P Q Q P P S S P Q S S Q Četnost Tb. 6 Četnost epizod délky dvě Nlezené epizody lze použít pro predikci. Víme-li npříkld, že epizod P Q R se objevuje ve 4% oken že její podepizod P Q se objevuje ve 4.2%, můžeme n zákldě pozorování epizody P Q predikovt (s prvděpodobností 0,95), že bude následovt událost R Více tbulek Většin lgoritmů pro dobývání znlostí z dtbází prcuje s jednou dtovou tbulkou (mticí). Výjimkou nejsou ni lgoritmy pro hledání socičních prvidel. Přesto můžeme v litertuře nlézt přístupy, které tento problém řeší jink, než prostým spojením všech relevntních tbulek do jedné v kroku předzprcování, tedy před vlstním výpočtem. Jensen Soprkr [Jensen, Soprkr, 2000] popisují postup, umožňující hledt kombince s vysokou četností v dtovém skldu orgnizovném do hvězdy. O schemtu hvězdy se píše v kpitole o dtbázích, zde jen připomeňme, že hvězd obshuje jednu centrální tbulku fktů, ze které se odkzuje (pomocí tzv. cizých klíčů) do tbulek jednotlivých dimenzí. Příkld tří tbulek tvořících hvězdu ukzují Tb. 7, Tb. 8 Tb. 9. Nvržený způsob hledání četných kombincí prcuje ve dvou krocích: 1. hledání četných kombincí v tbulkách dimenzí, 2. spojení výsledků z jednotlivých tbulek dimenzí s využitím cizých klíčů v tbulce fktů. 22 Npříkld epizod P Q R má tři podepizody délky 2: P Q, Q R P R. 13

14 účet# věk pohlví PSČ M x Z x M z Z y Tb. 7 Dimenze účet krt# typ limit A junior 2000 B junior 3000 C clssic 5000 Tb. 8 Dimenze krt operce# účet# krt# typ částk A Výběr A Pltb C Výběr B Výběr C Pltb C Pltb 1100 Tb. 9 Fkt o trnskcích s krtmi V prvním kroku se nejprve se zjistí, kolikrát se kždý záznm z tbulky dimenzí objeví v tbulce fktů. Ke kždé tbulce dimenzí se tedy vytvoří vektor udávjící počet opkování jednoho řádku tbulky dimenzí v tbulce fktů (Tb. 10). Tento vektor se využije při hledání četných kombincí v tbulkách dimenzí. První krok ilustruje Tb. 7 Tb. 8. V tbulce účet je kombince pohlví(z) PSČ(y) zstoupen jednou (má podporu 0.25), vezmeme-li do úvhy i tbulku trnskce, bude mít tto kombince podporu Účet# Četnost Krt# A B C Četnost Tb. 10 Počet výskytů jednotlivých řádků tbulek dimenzí Ve druhém kroku se pk spojí výsledky z jednotlivých tbulek z použití relcí mezi tbulkmi. Získáme tk vlstně kombince npříč tbulkmi, tedy npř. pohlví(z) PSČ(y) typ(clssic). Tto kombince má podporu 0.33 (vyskytuje se dvkrát), přitom kombince pohlví(z) PSČ(y) (z tbulky účet) má podporu 0.33 kombince typ(clssic) (z tbulky krt) má podporu 0.5. Kombince npříč tbulkmi se tedy vytváří z podkombincí nlezených v prvním kroku. Z výpočetního pohledu je popsný postup opět inspirován lgoritmem priori Implikce, dvojité implikce ekvivlence Ztím jsme uvžovli sociční prvidl v Agrwlově pojetí, iterpretovtelná jko implikce Ant Suc. Zákldními chrkteristikmi těchto prvidel jsou podpor + b + c + d spolehlivost + b. 14

15 Zjímvý obecnější pohled n typy prvidel (vzthů mezi předpokldem závěrem opírjící se o numerické chrkterisitky odvozené z kontingenční tbulky) můžeme nlézt v původní české metodě GUHA (viz dále). Tto metod prcuje s vlstní terminologií vycházející z predikátové logiky. Pro předpokld se používá termín ntecedent, pro závěr termín sukcedent pro typ prvidl termín (zobecněný) kvntifikátor. Proč zrovn kvntifikátor? Pojem kvntifikátor je běžně používán v mtemtice, kde se prcuje se dvěm kvntifikátory: obecným ( ) existenčním ( ). Formule xt(x) je prvdivá, právě když všechn x splňují tvrzení T, formule xt(x) je prvdivá, právě když lespoň jedno x splňuje T. Pokud si pod x předstvíme příkldy (objekty) v dtbázi pod T(x) implikci Ant(x) Suc(x), bude formule xt(x) prvdivá, pokud Ant Suc bude konzistentní prvidlo. Odsud je již jen krůček k zobecnění pojmu kvntifikátor n situce, kdy poždujeme by lespoň předem zdný počet objektů splnil nějké tvrzení vytvořené z kombincí Ant Suc 23. Budeme tedy zobecněný kvntifikátor chápt jko zobrzení z kontingenční tbulky n hodnoty 0 1. V tomto smyslu můžeme kontingenční (čtyřpolní) tbulku (,b,c,d) tkovou, že F(,b,c,d) p, kde F(,b,c,d) = + b, p [0,1] chápt jko prvdivou formuli Ant ~ p Suc, přičemž kvntifikátor ~ p odpovídá nšemu známému (socičnímu) prvidlu mezi Ant Suc. Toto prvidlo má spolehlivost lespoň p. Po tomto spíše terminologickém úvodu můžeme přejít k typologii vzthů mezi Ant Suc. Vycházíme přitom z [Ruch,1998,b] [Ivánek, 1999]. Bude-li funkce F definující kvntifikátor záviset pouze n hodnotách b z kontingenční tbulky, budeme psát ~(,b), bude-li funkce F záviset n hodnotách, b c, budeme psát ~(,b,c), bude-li F záviset n všech hodnotách, budeme psát ~(, b, c, d) 24. Nejprve uveďme zákldní typy prvidel (kvntifikátorů) 25 : zákldní implikce Ant Suc, kde (,b) = + b zákldní dvojitá implikce Ant Suc, kde (,b,c) = + b + c zákldní ekvivlence Ant Suc, kde (,b,c,d) = + d + b + c + d Zákldní implikce Ant Suc (odpovídjící Agrwlově socičnímu prvidlu) je symetrický vzth, zbývjící dv vzthy jsou symetrické; Ant Suc je totéž jko Suc Ant Ant Suc je totéž jko Suc Ant. Ant Suc je ekvivlentní formuli (Ant Suc) (Suc Ant), Ant Suc měří vzájemnou závislost mezi Ant Suc. 23 Připomeňme, že v přípdě obecného kvntifikátoru to musí být všechny objekty, v přípdě existenčního kvntifikátoru lespoň jeden objekt. 24 ~(,b), ~(,b,c) i ~(,b,c,d) tedy bude v rozshu [0,1]. 25 Místo zákldní se rovněž říká fundovná; tedy npř. fundovná implikce. 15

16 Uvedené vzthy (kvntifikátory) jsou nejjednoduššími předstviteli různých tříd kvntifikátorů: 1. kvntifikátor ~(,b) je implikční, právě když b b implikuje ~(,b ) ~(,b) 2. kvntifikátor ~(,b,c) je dvojitě implikční, právě když b b c c implikuje ~(,b,c ) ~(,b,c) 3. kvntifikátor ~(,b,c) je -dvojitě implikční, právě když b + c b + c implikuje ~(,b,c ) ~(,b,c) 4. kvntifikátor ~(,b,c,d) je ekvivlenční, právě když b b c c d d implikuje ~(,b,c,d ) ~(,b,c,d) 5. kvntifikátor ~(,b,c,d) je -ekvivlenční, právě když + d + d b + c b + c implikuje ~(,b,c,d ) ~(,b,c,d) 6. kvntifikátor ~(,b,c,d) je fisherovský, právě když d d b c b c implikuje ~(,b,c,d ) ~(,b,c,d) Z hledisk tkto definovných tříd je zákldní implikce implikční kvntifikátor, zákldní dvojitá implikce -dvojitě implikční kvntifikátor zákldní ekvivlence -ekvivlenční kvntifikátor. Jiným příkldem je trojice kvntifikátorů 26 motivovných sttistickým testem, který testuje nulovou hypotézu, že podmíněná prvděpodobnost vyjdřující vzth mezi Ant Suc je větší nebo rovn dnému p proti lterntivní hypotéze že podmíněná prvděpodobnost je menší než p: horní kritická implikce Ant? p Suc, ( + b)! kde? p (,b) = i!( + b - i)! pi (1 - p) +b-i i=0 horní kritická dvojitá implikce Ant? p Suc, ( + b + c)! kde? p (,b,c) = i!( + b + c - i)! pi (1 - p) +b+c-i i=0 horní kritická ekvivlence Ant? p Suc, kde? p (,b,c,d) = i=0 ( + b + c + d)! i!( + b + c + d - i)! pi (1 - p) +b+c+d-i Opět, horní kritická implikce je implikční kvntifikátor, horní kritická dvojitá implikce je -dvojitě implikční kvntifikátor horní kritická ekvivlence je -ekvivlenční kvntifikátor. 26 Všechny v této podkpitole uvedené kvntifikátory jsou implementovány v systému 4FT-Miner (viz dále). Původní metod GUHA používl (mimo jiné) ze zmíněných kvntifikátorů pouze zákldní implikci horní kritickou implikci. 16

17 Můžeme si všimnout, že zákldní kvntifikátory jsou spolu úzce svázány: (,b,c) = (,b+c) (,b,c,d) = (+d,b,c) Anlogickou vzbu můžeme pozorovt i mezi kvntifikátory zloženými n sttistickém testu. Obecně pk pltí první vzth mezi kvntifikátorem implikčním -dvojitě implikčním, druhý vzth mezi kvntifikátorem je -dvojitě implikčním kvntifikátorem -ekvivlenčním. Tuto vzbu můžeme použít pro vytváření nových kvntifikátorů počínje implikčním. Přitom tkto vytvořený -dvojitě implikční kvntifikátor bude přísnější 27 než implikční kvntifikátor -ekvivlenční kvntifikátor bude přísnější než -dvojitě implikční kvntifikátor [Ivánek, 1999] Metod GUHA Zhrub 30 let před Agrwlem přišl s konceptem socičních prvidel skupin českých vědců kolem P. Hájk 28. Zákldní myšlenkou jejich metody GUHA (Generl Unry Hypotheses Automton) bylo nlézt v dtech všechny zjímvé souvislosti (hypotézy) nbídnout je uživteli ([Hájek, Hvránek, 1978], [Hájek kol.,1983]). V době svého vzniku, kdy se ještě nic netušilo o metodách dobývání znlostí, se GUHA řdil k metodám explorční nlýzy dt. N rozdíl od konfirmční nlýzy, kdy cílem bylo ověřit pltnost konkrétní sttistické hypotézy, při explorční nlýze je cílem tyto hypotézy nejen testovt le i vytvářet. Neboli, jk prvil dobová metfor, ztímco konfirmční nlýz se dá přirovnt k chytání ryb n udici, metod GUHA umožňuje výlov celého rybník. Jádrem GUHY je spojení metod pro generování hypotéz s metodmi pro jejich (sttistické) testování. Postupem čsu bylo formulováno několik typů hypotéz ( s tím souvisejících lgoritmů pro jejich generování): vzthy mezi kombincemi hodnot binárních tributů, korelce mezi numerickými tributy podmíněné kombincí ktegoriálních tributů, nebo hledání zdrojů závislosti v nominálních dtech. My se změříme pouze n jeden typ hypotéz jeden lgoritmus pro jejich generování testování. Budeme tedy ndále hovořit o GUHA proceduře 4FT-Miner vyvinuté n VŠE [Ruch, 1997] v návznosti n původní GUHA proceduru ASSOC ([Hájek kol.,1983]). Poznmenejme ještě n úvod, že jiná nová implementce procedury ASSOC vznikl pod názvem GUHA+ v Ústvu informtiky AV ČR [Honzíková, 1999]. Hypotézy generovné testovné 29 procedurou 4FT-Miner mjí podobu Ant ~ Suc / Cond, Kde Ant (ntecedent), Suc (sukcedent) Cond (podmínk) jsou konjunkce literálů symbol ~ znčí zobecněný kvntifikátor chrkterizující typ vzthu mezi Ant Suc n podmtici objektů, které splňují podmínku Cond. 27 Kvtifikátor ~ 1 (,b,c,d) je přísnější než kvntifikátor ~ 2 (,b,c,d), právě když ~ 1 (,b,c,d) < ~ 2 (,b,c,d). 28 První česky publikovná práce týkjící se metody GUHA je Hájek P., Hvel I, Chytil M.K.: Metod GUHA utomtického vyhledávání hypotéz, Kybernetik 2, (1996), První mezinárodní publikcí je pk Hájek P., Hvel I, Chytil M.K.: The GUHA method of utomtic hypotheses determintion, Computing 1 (1966), V terminologii metody GUHA se mluví o relevntních otázkách (to jsou hypotézy které vyhovují poždvkům n ntecedent, sukcedent podmínku, le které ještě nebyly testovány v dtech) o relevntních tvrzeních (to jsou hypotézy podporovné dty, tedy hypotézy, které vyhovují použitému kvntifikátoru. 17

18 Zákldním stvebním kmenem pro konstrukci hypotéz je tkzvný literál (pozitivní nebo negtivní), definovný jko tribut(koeficient) v přípdě pozitivního literálu resp. jko tribut(koeficient) v přípdě negtivního literálu 30. Koeficient (seznm hodnot tributu) pk může být: podmnožin omezené délky npř. literál město(prh, Brno) obshuje podmnožinu délky 2, intervl omezené délky npř. literály věk(nízký, střední), věk(střední), věk(střední, vysoký) obshují intervl délky 1 ž 2, řez (intervl, obshující krjní hodnotu) omezené délky npř. literály věk(nízký), věk(nízký, střední), věk(nízký, střední, vysoký) obshují dolní řez délky 1 ž 3. Kombince Ant, Suc Cond tk mjí podsttně bohtší strukturu než jkou njdeme v jiných systémech pro hledání socičních prvidel. 4FT-Miner rovněž nbízí více typů vzthů; kvntifikátory implikční (Tb. 11), dvojitě implikční (Tb. 12), ekvivlenční (Tb. 13), Fisherovské (Tb. 14) sociční (Tb. 15). Vzth pltí, právě když hodnot funkce definující kvntifikátor splňuje příslušné podmínky. Název prmetry podmínk pltnosti Zákldní (fundovná) implikce Dolní kritická implikce Horní kritická implikce 0 < p 1 Bse > 0 0 < p 1 0 < α < 1 Bse > 0 0 < p 1 0 < α < 1 Bse > 0 + b p Bse +b ( + b)! i!( + b - i)! pi (1 - p) +b-i α Bse i= i=0 ( + b)! i!( + b - i)! pi (1 - p) +b-i > α Bse Tb. 11 Implikční kvntifikátory název prmetry podmínk pltnosti Zákldní (fundovná) dvojitá implikce Dolní kritická dvojitá implikce Horní kritická dvojitá implikce 0 <p 1 Bse > 0 0 < p < 1 0 < α < 1 Bse > 0 0 < p < 1 0 < α < 1 Bse > 0 + b + c p Bse +b+c ( + b + c)! i!( + b + c - i)! pi (1 - p) +b+c-i α Bse i= i=0 ( + b + c)! i!( + b + c - i)! pi (1 - p) +b+c-i > α Bse Tb. 12 Dvojitě implikční kvntifikátory 30 Připomeňme si, že již dříve jsme definovli ktegorii jko Atribut(hodnot). Literál je tedy zobecněním ktegorie. A nopk. Ktegorie je pozitivní literál s koeficientem tvořeným podmnožinou délky jedn. 18

19 název prmetry podmínk pltnosti Zákldní (fundovná) ekvivlence 0 <p 1 Bse > 0 + d + b + c + d p Bse Dolní kritická ekvivlence Horní kritická ekvivlence 0 < p < 1 0 < α < 1 Bse > 0 0 < p < 1 0 < α < 1 Bse > 0 E-kvntifikátor 0 < δ < 1 +b+c+d ( + b + c + d)! i!( + b + + d - i)! pi (1 - p) +b+c+d-i α Bse i= i=0 ( + b + c + d)! i!( + b + c +d - i)! pi (1 - p) +b+c+d-i > α Bse + b > 0 b + b < δ c + d > 0 c c + d < δ Tb. 13 Ekvivlenční kvntifikátory název prmetry podmínk pltnosti Prosté vychýlení δ > 0 Bse > 0 Fisherův 0 < α 0.5 kvntifikátor Bse > 0 Chi-kvdrát kvntifikátor 0 < α 0.5 Bse > 0 b > e δ cd Bse min(r,k) r!s!k!l! n!i!(r-i)!(k-i)!(n-r-k-i)! i= d > bc n(d - bc) klrs α Bse > α Bse Tb. 14 Fisherovské kvntifikátory název prmetry podmínk pltnosti A-kvntifikátor 0 < γ 1 0 < σ 1 + b γ + b + c + d σ Tb. 15 Asociční prvidl Většinu těchto kvntifikátorů je možno nlézt v klsických prcech o metodě GUHA ([Hájek, Hvránek, 1978], [Hájek kol.,1983]), A-kvntifikátor odpovídá socičnímu prvidlu s prmetry spolehlivost podpor E-kvntifikátor lze nlézt v [Agrwl kol., 1996]. Při spouštění procedury 4FT-Miner se volí množin literálů 31 pro generování kombincí Ant, Suc Comb, mximální délk těchto kombincí typ prmetry kvntifikátoru. Chceme-li tedy pro nše dt z Tb. 2 hledt všechn sociční prvidl se závěrem tvořeným nějkou ktegorií se spolehlivostí 0.9, můžeme spustit proceduru 4FT-Miner s prmetry: 31 Zdává se tribut, možná podob koeficientu, to zd je literál pozitivní, nebo negtivní nebo obojí to, zd se literál musí vyskytnout v kombinci (tzv. zákldní literál), nebo může vyskytnout v kombinci. 19

20 kvntifikátor zákldní implikce, p=0.9, Bse=5%, pro ntecedent: mx. délk 4, literály pouze pozitivní, vytvářeny pro všechny tributy v dtech, koeficienty pouze jednoprvkové množiny (tedy literály jsou ktegorie), pro sukcedent: mx. délk 1, literály pouze pozitivní, vytvářeny pro všechny tributy v dtech, jsou pouze pozitivní, koeficienty pouze jednoprvkové množiny (tedy literály jsou ktegorie), podmínk nebude použit. Pro uvedené zdání nlezne procedur 4FT-Miner 206 prvidel. Při generování prvidl se nejprve vytvoří nějký ntecedent, k němu se pk nleznou všechny sukcedenty tk, by prvidlo vyhovovlo zdným prmetrům. Při vytváření kombincí se postupuje do hloubky, literály jsou přitom uspořádány podle becedy (podle názvů tributů resp. názvů hodnot). Část výpisu prvidel ukzuje Tb. 16. Všechn nlezená prvidl mjí spolehlivost rovnu 1. Konto( nízké) Nezměstnný( no) Pohlví( žen) Konto( nízké) Nezměstnný( no) Pohlví( žen) Příjem(nízký) Úvěr( ne) Konto( nízké) Nezměstnný( no) Pohlví( žen) Příjem(vysoký) Úvěr( no) Konto( nízké) Nezměstnný( no) Pohlví( žen) Úvěr( no) Příjem(vysoký) Konto( nízké) Nezměstnný( no) Pohlví( žen) Úvěr( ne) Příjem(nízký) Konto( nízké) Nezměstnný( no) Příjem(nízký) Úvěr( ne) Konto( nízké) Nezměstnný( no) Příjem(nízký) Pohlví( žen) Konto( nízké) Nezměstnný( no) Příjem(nízký) Úvěr( ne) Pohlví( žen) Konto( nízké) Nezměstnný( no) Příjem(vysoký) Úvěr( no) Konto( nízké) Nezměstnný( no) Příjem(vysoký) Pohlví( žen) Konto( nízké) Nezměstnný( no) Příjem(vysoký) Úvěr( no) Pohlví( žen) Konto( nízké) Nezměstnný( no) Úvěr( no) Pohlví( žen) Konto( nízké) Nezměstnný( no) Úvěr( no) Příjem(vysoký) Konto( nízké) Nezměstnný( no) Úvěr( ne) Pohlví( žen) Konto( nízké) Nezměstnný( no) Úvěr( ne) Příjem(nízký) Konto( nízké) Nezměstnný( ne) Pohlví( muž) Konto( nízké) Nezměstnný( ne) Pohlví( muž) Příjem(nízký) Úvěr( ne) Konto( nízké) Nezměstnný( ne) Pohlví( muž) Příjem(vysoký) Úvěr( no) Konto( nízké) Nezměstnný( ne) Pohlví( muž) Úvěr( no) Příjem(vysoký) Konto( nízké) Nezměstnný( ne) Pohlví( muž) Úvěr( ne) Příjem(nízký) Konto( nízké) Nezměstnný( ne) Příjem(nízký) Úvěr( ne) Konto( nízké) Nezměstnný( ne) Příjem(nízký) Pohlví( muž) Konto( nízké) Nezměstnný( ne) Příjem(nízký) Úvěr( ne) Pohlví( muž) Konto( nízké) Nezměstnný( ne) Příjem(vysoký) Úvěr( no) Konto( nízké) Nezměstnný( ne) Příjem(vysoký) Pohlví( muž) Konto( nízké) Nezměstnný( ne) Příjem(vysoký) Úvěr( no) Pohlví( muž) Konto( nízké) Nezměstnný( ne) Úvěr( no) Pohlví( muž) Konto( nízké) Nezměstnný( ne) Úvěr( no) Příjem(vysoký) Konto( nízké) Nezměstnný( ne) Úvěr( ne) Pohlví( muž) Konto( nízké) Nezměstnný( ne) Úvěr( ne) Příjem(nízký) Konto( nízké) Pohlví( muž) Ø Nezměstnný( ne) Konto( nízké) Pohlví( muž) Příjem(nízký) Úvěr( ne) Konto( nízké) Pohlví( muž) Příjem(nízký) Nezměstnný( ne) Konto( nízké) Pohlví( muž) Příjem(nízký) Úvěr( ne) Nezměstnný( ne) Tb. 16 Asociční prvidl nlezená systémem 4FT-Miner 20

21 Kombinční nlýz dt Kombinční nlýz dt (KAD) vychází z metody GUHA. Kombinční nlýz dt byl inspirován zejmén snhou po získání všech, v dtech prokztelných, hypotéz formulcí některých úloh, které řeší GUHA procedur ASSOC ([Hájek kol, 1983]). Z pohledu GUHY předstvuje kombinční nlýz dt jisté zjednodušení, neboť nbízí jednodušší podobu kombincí n levé prvé strně vzthu; k dispozici je pouze konjunkce hodnot tributů, nbízí menší škálu možných vzthů; k dispozici je pouze implikce dvojitá implikce v zákldní podobě, nbízí pevně zdné typy úloh. Kombinční nlýz umožňuje řešit následující úlohy: konkretní dotz, kompletní úloh, nlýz důsledků, nlýz příčin. V těchto úlohách jde o utomtické generování verifikování vzthů mezi dvěm kombincemi. Pro dvě kombince Comb 1 Comb 2 hledá kombinční nlýz zákldní implikce Comb 1 Comb 2 přípdně zákldní dvojité implikce Comb 1 Comb 2, které dtech vyhovují zdným poždvkům n četnost spolehlivost. Zjišťujeme tedy (n zákldě čtyřpolní tbulky) hodnoty + b pro implikci + b + c pro dvojitou implikci. Těmto hodnotám se v kombinční nlýze říká pltnost vzthu 32. Nejjednodušší úlohou je konkrétní dotz. Pro dvě zdné kombince Comb 1 Comb 2 se spočítjí pltnosti vzthů Comb 1 Comb 2, Comb 2 Comb 1 Comb 1 Comb 2. Tto úloh se upltní, když chceme v dtech získt rgumenty pro potvrzení svých úvh o konkrétních kombincích vztzích, nebo chceme doplnit řešení některé dlší explorční úlohy informcemi o objektech, které splňují jednu nebo obě kombince v nějkém zjímvém vzthu. Podsttou nlýzy důsledků je vyhledávání vzthů implikce, vyplývjících ze zdné výchozí kombince Comb. Hledáme tedy vzthy typu Comb. Tedy pro pevnou levou strnu generujeme kombince n prvé strně. Tto úloh je vhodná, jestliže lze v dtech některé kombince oznčit z výchozí úkolem je hledt důsledky jejich výskytu. Podsttou nlýzy příčin je vyhledávání vzthů implikce směřujících k zdné cílové kombinci Comb. Tentokrát tedy hledáme vzthy typu.. Comb 32 Pltnost implikce je tedy totéž co spolehlivost (Agrwlov) socičního prvidel nebo hodnot kvntifikátoru zákldní implikce v metodě GUHA. Pltnost dvojité implikce odpovídá hodnotě kvntifikátoru zákldní dvojité implikce v metodě GUHA. 21

22 Tedy pro pevnou prvou strnu generujeme kombince n levé strně. Tto úloh je vhodná, jestliže lze v dtech některé kombince oznčit z cílové úkolem je hledt pro jejich výskyt příčiny. Nejblíže k lgoritmu priori má kompletní úloh. Úkolem je nlézt všechny vzthy (implikce i dvojité implikce), které splňují zdné numerické chrkteristiky mximální délk celého hledného vzthu, minimální četnost celého hledného vzthu (min počet objektů splňujících součsně obě kombince) minimální pltnost vzthu...?. Tto úloh je vhodná, pro první hrubou orientci v neznámých dtech, kdy si kldeme otázku, zd existuje vůbec nějká vzb mezi jednotlivými tributy. V kždém kroku systém vygeneruje kombinci Comb, rozdělí ji n všechny možné dvojice podkombincí Comb 1, Comb 2 tk, že Comb = Comb 1 Comb 2 spočítá hodnoty zákldních implikcí i zákldní dvojité implikce: Comb 1 Comb 2 Comb 2 Comb 1 Comb 1 Comb 2 Při generování kombincí Comb se v kombinční nlýze postupuje podle četností. Algoritmus generování kombincí je uveden n Obr. 7. Generování je řízeno dvěm prmetry; mximální poždovnou délkou kombince l mx minimální poždovnou četností kombince n min. Prodlužují se pouze ty kombince, které jsou krtší než mximální poždovná délk. Do OPEN se zřzují pouze kombince, které mjí četnost větší ( smozřejmě nenulovou), než je minimální poždovná četnost. Generování podle četností byl dán přednost, protože: dříve generuje četnější (čstěji se vyskytující) kombince ( tedy i vzthy), dříve generuje spíše krtší kombince ( tedy i vzthy) (přidáním ktegorie do kombince se zpřísní kritérium tedy i sníží počet objektů, které ho splní). Algoritmus generování kombincí Inicilizce 1. vytvoř CAT - seznm ktegorií A(v) uspořádný sestupně dle četnosti n(a(v)) 2. přiřď OPEN := CAT Hlvní cyklus 1. dokud OPEN není prázdný seznm 1.1. vezmi první kombinci ze seznmu OPEN (oznč ji Comb) 1.2. je-li l(comb) < l mx, pk pro kždou ktegorii A(v) ze seznmu CAT tkovou, že: tribut A se nevyskytuje v Comb A(v) je v CAT před všemi ktegoriemi z Comb - tedy pltí, že četnost n(a(v)) je větší nebo rovn četnosti n(comb) generuj novou kombinci CombA = Comb A(v) je-li n(comba) > n min přidej CombA do seznmu OPEN z poslední kombinci Comb tkovou, že n(comb) n(comba) 1.3. odstrň Comb ze seznmu OPEN Obr. 7 Algoritmus generování kombincí 22

23 Porovnáme-li tento lgoritmus generování s dříve uvedeným lgoritmem priori zjistíme, že v obou přípdech se kombince délky k vytváří z krtších kombincí mjících dosttečnou četnost. Algoritmus priori postupuje prostorem kombincí do šířky: použije k-1 kombincí délky k-1 lišících se od sebe vždy v jedné ktegorii. Při kombinční nlýze se postupuje prostorem kombincí heuristicky: použije se jedn dosttečně četná kombince Comb délky k-1 jedn kombince délky 1; tto jednočlenná kombince (ktegorie A(v)) má přitom větší (nebo stejnou) četnost než je n(comb). Pro nše dt z Tb. 2 můžeme použít nlýzu příčin pro nlezení všech implikcí s pevně zdným závěrem Úvěr(no). Pro prmetry: mx. délk ntecedentu 4, min. četnost ntecedentu 1, min. pltnost (spolehlivost) implikcí 0.9 nlezneme 46 implikcí 33. Všchny nlezené implikce mjí pltnost 1. Tb. 17 ukzuje výpis těchto implikcí uspořádný podle četnosti ntecedentu (tedy v pořdí v jkém je ntecedent generován). Výpis je, podobně jko výpis generování kombincí (Obr. 1, Obr. 2, Obr. 3), ve zkrácené podobě: ktegorie je kódován číslem tributu prvním písmenem hodnoty. Tedy první implikce 1v 5 znmená Příjem(vysoký) Úvěr(no). č. n(ant) Implikce v => v => v4n => v3z => z4n => v3m => n2v => v3m => v3z => v4 => v4n => v2v => s4n => v2n => v3m4n => v3z4n => n2v4 => v2v4n => v4 => v2s => n2v3m => n2v3z => v3m4 => v3z4 => v3m4n => v3z4n => v2v3m => v2v3z => n2s4n => s3m4n => s3z4n => v2n3m => v2n3z => v2n4 => v2n4n => v2v3m4n => v2v3z4n => v3z4 => v2s3z => v2s4n => n2v3m4 => n2v3z4 => n2s3m4n => v2n3z4 => v2n3m4n => v2s3z4n => 5 Tb. 17 Implikce.. Úvěr(no) Kombinční nlýz dt byl původně nvržen implementován jko smosttný systém KAD ([Ivánek, Stejskl, 1984]). V součsnosti je součástí systému KEX [Berk, 1993] Stejné výsledky bychom dostli i použitím procedury 4FT-Miner s odpovídjícími prmetry. 23

24 Chybějící hodnoty Běžným způsobem, jk se vypořádt s chybějícími údji v dtbázi je jejich ošetření ve fázi příprvy předzprcování dt. O tomto přístupu je již zmínk v kpitole o rozhodovcích stromech. N tomto místě zmiňme zjímvý přístup ošetření chybějících hodnot během generování prvidel, tk, jk to umožňuje GUHA 4FT-Miner [Ruch,1998b]. Chrkteristiky konkrétního prvidl Ant ~ Suc / Cond (hodnoty funkce F(,b,c,d) definující nějký kvntifikátor) se počítjí z odpovídjící (čtyřpolní) kontingenční tbulky uvedené Tb. 1. V přípdě, že v dtech nechybí žádná hodnot, je počet objektů v dtech n roven +b+c+d. V přípdě, že chybí hodnot některého tributu, který se vyskytuje v prvidle (v ntecedentu nebo v sukcedentu), musíme místo čtyřpolní tbulky uvžovt tbulku devítípolní (Tb. 18) 34. S?S S A i b r?a o m p A c j d s k l n Tb. 18 (Devítipolní) kontingenční tbulk Ošetření chybějících hodnot spočívá v tom, že se pro konkrétní prvidlo jeho devítípolní tbulk převede n čtyřpolní teprve z této tbulky se počítjí příslušné hodnoty. GUHA ( 4FT-Miner) nbízí tři možnosti tohoto převodu ( tedy tři způsoby práce s chybějícími hodnotmi): konzervtivní, optimistický zbezpečený. Přitom se bere do úvhy typ použitého kvntifikátoru, převod devítipolní tbulky n čtyřpolní tedy bude různý pro různé kvntifikátory. Při konzervtivním způsobu se objekty, u kterých chybí nějký údj, ignorují. Tedy Tto úprv je stejná pro všechny kvntifikárory. =, b=b, c=c, d=d. Při optimistickém způsobu předpokládáme, že chybějící hodnoty podporují uvžovný vzth mezi ntecedentem sukcedentem. V přípdě npř. implikčních kvntifikátorů budeme tedy posilovt hodnotu : = +i+o+m, b=b, v přípdě ekvivlenčních kvntifikátorů budeme posilovt hlvní digonálu = +i+o+m, b=b, c=c, d=d +j+p. Při zbezpečeném způsobu předpokládáme, že chybějící hodnoty jsou v rozporu s uvžovným vzthem mezi ntecedentem sukcedentem. V přípdě implikčních kvntifikátorů budeme tedy posilovt hodnotu b: 34 Řádek?A odpovídá příkldům u kterých nevíme, zd jsou pokryty předpokldem (ntecedenem), sloupec?s odpovídá příkldům u kterých nevíme, zd jsou pokryty závěrem (sukcedentem). 24

25 =, b=b +i+m+p, v přípdě ekvivlenčních kvntifikátorů budeme posilovt vedlejší digonálu =, b=b +i+p+m, c=c +j+o, d=d. Optimistický převod je (z hledisk uvžovného kvntifikátoru) nejlepší možný, zbezpečený převod je nejhorší možný. Skutečná tbulk (kdybychom znli všechny chybějící hodnoty) bude někde mezi těmito extrémy ~ zb (,b,c,d) ~ skut (,b,c,d) ~ opt (,b,c,d). Můžeme tedy i z neúplných dt spočítt, v jkých mezích se bude pohybovt hodnot kvntifikátoru pro dt bez chybějících hodnot. Litertrur: [Agrwl kol., 1993] Agrwl,R. - Imielinski,T. Swmi,A.: Mining ssocitions between sets of items in mssive dtbses. In: Proc. of the ACM-SIGMOD 1993 Int Conference on Mngement of Dt, Wshington D.C., My 1993, [Agrwl, Sriknt, 1995] Agrwl,R. - Sriknt,R.: Mining sequentil ptterns. In: Proc. Int. Conf. On Dt Engineering ICDE 95, Tiwn, [Agrwl kol., 1996] Agrwl,R. - Mnnil,H. - Sriknt,R. Toivonen,H. Verkmo, A.I.: Fst discovery of ssocition rules. In: (Fyyd, Pitetsky-Shpiro, Smyth, Uthurusmy, eds.) Advnces in Knowledge Discovery nd Dt Mining, AAAI/MIT Press, 1996, ISBN [Berk, 1993] Berk,P.: Vybrné znlostní systémy, SAK, SAZE, KEX. Skript VŠE, Prh [Bruh, 1994] Bruh,I.: Combining rule qulities in covering lerning lgorithm. In: (Nkheizdeh, Tylor) Proc: Mchine Lerning nd Sttistics, ECML 94 Mlnet Fmiliriztion Workshop, Ctni, [Chung, Lui, 2000] Chung,F. Lui,Ch.: A post-nlysis frmework for mining generlized ssocition rules with multiple minimum supports. In: Proc. KDD-2000 Wshop on Post-Processing in Mchine Lerning nd Dt Mining. [Hájek, Hvránek, 1978] Hájek,P. Hvránek,T.: Mechnising Hypothesis Formtion Mthemticl Foundtions for Generl Theory. Springer, [Hájek kol.,1983] Hájek,P. Hvránek,T. Chytil,M.K.: Metod GUHA. Automtická tvorb hypotéz. Acdemi, [Hájek, Ruch, 1999] Hájek,P. Ruch,J.: Logic nd sttistic for ssocition rules nd beyond. In: (Zytkow, Ruch eds.) Proc. 3 rd Europen Conf. on Principles nd Prctice of KDD PKDD 99, Springer LNAI,1999, [Holzheimer, Siebes, 1994] Holzheimer, M. Siebes,A.: The serch for knowledge in dtbses. Tech.Rep. CS- R9406, CWI, Amsterdm, [Honzíková, 1999] Honzíková,Z.: GUHA+- user s guide, UI AV ČR, [Ivánek, 1999] Ivánek,J.: On the correspondence between clsses of implictionl nd equivlence quntifiers.. In: (Zytkow, Ruch eds.) Proc. 3 rd Europen Conf. on Principles nd Prctice of KDD PKDD 99, Springer LNAI [Ivánek, Stejskl, 1984] Ivánek,J. - Stejskl,B.: Combintionl dt nlysis. In: Proc. COMPSTAT'84, Prgue, 1984, s