vybrat (nebo vytvořit) z dostupných dat ty údaje, které jsou relevantní pro zvolenou úlohu dobývání znalostí,

Transkript

1 7. Příprava dat Příprava (předzpracováí) dat je ejobtížější a časově ejáročější krok ceého procesu dobýváí zaostí z databází. Současě je to ae krok, který má kíčový výzam pro úspěch daé apikace. Je to ta část práce, která (spou s krokem porozuměí probému) vyžaduje ejvětší podí spoupráce s expertem z daé apikačí obasti. Skoro ze říci, že probémy se získáím těch správých dat pro učící se systémy jsou podobé probémům se získáváím zaostí u systémů expertích. Cí předzpracováí je obvyke dvojí: vybrat (ebo vytvořit) z dostupých dat ty údaje, které jsou reevatí pro zvoeou úohu dobýváí zaostí, reprezetovat tyto údaje v podobě, která je vhodá pro zpracováí zvoeým agoritmem. Zatímco prví cí úzce souvisí s porozuměím probému i s porozuměím datům (a je tedy závisý a apikačí obasti), druhý cí (přizpůsobit data uvažovaému agoritmu) je reativě apikačě ezávisý. Tato kapitoa se z pochopiteých důvodů zaměřuje a druhý cí, tedy a otázku, jak uzpůsobit data pro jedotivé aaytické procedury. Z tohoto důvodu je kapitoa zařazea (v rozporu s časovým sedem procesu KDD) až za popis jedotivých agoritmů. Při předzpracováí potřebujeme zát (a tedy z hediska kihy popsat) požadavky jedotivých metod a podobu vstupích dat. Často může podoba dat vést k vobě metody. Přidržíme se přitom podoby, která je spoečá většiě dříve popsaých agoritmů; reprezetaci dat pomocí jedé datové tabuky, zachycující hodoty atributů objektů. To bude tedy cíový stav, ke kterému se budeme propracovávat při řešeí dáe uvedeých probémů. Prostředkem k dosažeí tohoto cíe budou růzé metody trasformace, seekce a tvorby atributů a objektů. Některé z díčích postupů předzpracováí jsme měi možost již pozat; to jsou ty postupy, které jsou itegrováy do aaytických agoritmů. Zde se k im vrátíme v širších souvisostech ceé fáze předzpracováí dat. 7.1 Jiá ež reačí data Kromě dat uchovávaých v reačích tabukách, u kterých ezáeží a pořadí objektů (objekty jsou avzájem ezávisé) můžeme v řadě obastí arazit a data s určitou strukturou. K takovým datům patří časová data (apř. časové řady kurzů akcií) prostorová data (apř. geografické iformačí systémy) strukturáí data (apř. chemické součeiy) Na opačé straě stojí aopak data estrukturovaá, apříkad texty. Probematice textů se věuje samostatá kapitoa. 1

2 Časová data jsou obvyke tvořea hodotami téže veičiy (ebo více veiči) zazameávaých v růzých okamžicích. Veičiou (typicky umerickou) může být kurz cey akcií, spotřeba eektrické eergie, výsedek aboratorího testu v emocici, trasakce a účtu v bace ebo sekvece avštíveých webových stráek (tzv. cickstream). Údaje tedy mohou být zazameáváy jak v ekvidistatích časových itervaech (deí kurzy akcií 1 ) ebo v ibovoých okamžicích (ávštěvy u ékaře). Obvykou úohou pro časová data je predikce budoucí hodoty veičiy (apř. kurzu akcií) a zákadě hodot zjištěých v miuosti. Tomu odpovídá i způsob předzpracováí který jsme již viděi v kapitoe o euroových sítích 2. Z časové řady (Obr. 1) se postupě vybírá úsek daé déky tak, že jeho začátek představuje hodoty vstupích atributů a jeho koec hodoty cíového atributu (Obr. 2). Jiým příkadem použití (a předzpracováí) časově závisých dat je situace, kdy tato data představují je díčí iformace popisující sožitější objekt. Příkadem může být úoha diagostikováí choroby mimo jié (ae ikoiv pouze) a zákadě opakovaých vyšetřeí. Pak se sekvece výsedků téhož aboratorího testu chápe (ve vztahu k pacietovi) jako reace :1 (viz dáe). y(t) t 0 t 1 t 2 t 3 t 4 t 5 t 6 t 7... t Obr. 1 Původí časová řada vstupy výstup y(t 0 ) y(t 1 ) y(t 2 ) y(t 3 ) y(t 4 ) y(t 1 ) y(t 2 ) y(t 3 ) y(t 4 ) y(t 5 ) y(t 2 ) y(t 3 ) y(t 4 ) y(t 5 ) y(t 6 )... Obr. 2 Časová řada po trasformaci V případě prostorových dat hraje mezi jedotivými objekty roi impicití reace sousedosti. Obvyke předpokádáme že hodoty atributů u sousedích objektů ebudou příiš odišé. Většia aaytických metod edokáže tuto vazbu mezi objekty vzít do úvahy. Spíše se tedy použije při iterpretaci, ebo jako dodatečé požadavky a aezeé zaosti. 1 Moderější přístup zazameáváí dat z burzy jsou tzv. ticková (vysokofrekvečí) data. Tato data jsou zazameáváa eekvidistatě, v okamžiku, kdy dojde k ějaké výrazější změě. Příkad aaýzy takových dat ze aézt v [Pece a ko, 1994]. 2 Jié způsoby trasformace časových řad jako apř. Fourierova trasformace (reprezetace časové řady ve frekvečí obasti) ebo waveetová trasformace (reprezetace časové řady pomocí skokových fukcí) přesahují rámec této kihy. 2

3 Příkad strukturáích dat můžeme aézt v souvisosti s predikcí karciogeích chemických átek 3. Pro reprezetaci orgaických součei se používá ěkoik způsobů. Jedá-i se apř. o součeiu de Obr. 3, můžeme jí zapsat pomocí tzv. SMILE kódů CC(C)C ebo jako soubor faktů v Proogu (Obr. 4). Druhá reprezetace přímo apovídá použít metody iduktivího ogického programováí, je ae samozřejmě možý i její převod a hodoty atributů (pak jde o probém kostrukce ových atributů a probém více vzájemě propojeých tabuek). C C C H C Obr. 3 Příkad chemické součeiy atom('tr000','tr000_1'). eemet('tr000_1',c). atom('tr000','tr000_2'). eemet('tr000_2',c). atom('tr000','tr000_3'). eemet('tr000_3',c). atom('tr000','tr000_4'). eemet('tr000_4',c). atom('tr000','tr000_5'). eemet('tr000_5',h). bod('tr000','tr000_1_2'). coected('tr000_1','tr000_2','tr000_1_2'). coected('tr000_2','tr000_1','tr000_1_2'). bod_type('tr000_1_2',-). bod('tr000','tr000_2_3'). coected('tr000_2','tr000_3','tr000_2_3'). coected('tr000_3','tr000_2','tr000_2_3'). bod_type('tr000_2_3',-). bod('tr000','tr000_2_4'). coected('tr000_2','tr000_4','tr000_2_4'). coected('tr000_4','tr000_2','tr000_2_4'). bod_type('tr000_2_4',-). bod('tr000','tr000_2_5'). coected('tr000_2','tr000_5','tr000_2_5'). coected('tr000_5','tr000_2','tr000_2_5'). bod_type('tr000_2_5',-). Obr. 4 Reprezetace chemické součeiy v Proogu 3 Jedá se o úohu avržeou pro Discovery Chaege ECML Šo o kasifikaci átek do 4 tříd (úroví karciogeity) a zákadě jejich struktury. Podrobější iformace byy k dispozici a Jié příkady ze aézt ve sboríku [Suzuki, 2000]. Zde šo mimo jié o hedáí vztahů mezi podstrukturami metodami vycházejícími z agoritmu apriori. 3

4 7.2 Více vzájemě propojeých tabuek S výjimkou metod iduktivího ogického programováí (ILP) potřebujeme pracovat s jedou datovou tabukou. Operace, která umoží z jedé ebo více reací (tabuek) vytvořit reaci (tabuku) ovou se v reačí agebře azývá spojeí (joi). Tato operace musí brát do úvahy růzý typ vztahů mezi etitami ve spojovaých tabukách. Zákadími typy vztahů z hediska kardiaity jsou vztah 1:1, vztah 1: (:1) a vztah :m. Vztah 1:1 zameá, že jeda etita prví reace je svázáa s jedou etitou druhé reace. Příkadem může být reace kiet(id_kieta, příjmeí, jméo) a reace trvaé_bydiště(id_bydiště, id_kieta, uice, město). Spojeí těchto dvou reací do jedé je veice jedoduché, ová reace bude obsahovat soupce (atributy) z obou původích reací, počet řádků bude (pro uvedeé reace) odpovídat počtu řádků v prví reaci 4. Vztah 1: (resp. :1) zameá, že jeda etita jedé reace je svázáa s více etitami druhé reace. Příkadem může být dvojce reací účet(id_účtu, datum_zaožeí, četost_výpisů), trvaé_ příkazy(id_příkazu, id_účtu, částka, bakoví_spojeí), ebo dvojce reací účet(id_účtu, datum_zaožeí, četost_výpisů), trasakce(id_trasakce, id_účtu, datum, částka, typ_ trasakce). V tomto případě bude ová tabuka obsahovat ové atributy pro agregovaé hodoty získaé z opakováí údajů (trvaých příkazů, trasakcí), vztahujících se k etitě a straě 1 (účtu) vztahu mezi reacemi Těmito agregovaými hodotami (atributy) bývají (pode typu původích atributů): pro umerické atributy (apř. částka): součet, miimum, maximum, průměr, pro kategoriáí atributy (apř. typ_trasakce): počet růzých hodot, výskyt kokrétí hodoty, majorití hodota, Počet řádků v ové tabuce pak bude odpovídat počtu řádků v reaci a straě 1 (tedy apř. počtu účtů). Vztah :m zameá že ěkoika etitám z prví reace odpovídá jeda etita z druhé reace a současě ěkoika etitám druhé reace odpovídá jeda etita prví reace. Příkadem může být reace kiet a reace účet; jede kiet může mít přístup k více účtům, k jedomu účtu může mít přístup více kietů. Vztah :m se obvyke vyjadřuje pomocí daší reace (pro áš případ reace dispozičí_práva) která je s původími reacemi svázáa vztahem 1: resp 1:m. Při spojováí těchto tabuek budeme opět vytvářet ové atributy pro agregovaé hodoty. Typ agregovaých hodot i počet řádků ve výsedé tabuce ae bude záviset a vobě úohy. Pode toho, zda chceme zkoumat kiety ebo účty zvoíme jedu reaci za haví (primárí) a spojeí budeme provádět vzhedem k í. Převedeme tedy vztah :m pode úohy a vztah 1:m ebo : Odvozeé atributy Z atributů přítomých v původích datech ze samozřejmě vytvářet odvozeé atributy. Někdy tvorbu ových atributů vyžaduje způsob předzpracováí (apř. atributy pro agregovaé hodoty při spojováí reací), jidy tvorba atributů pye z doméových zaostí (apř. převod rodého čísa kieta a věk a pohaví). Opět se tedy jedá o operaci, kdy je třeba úzce spoupracovat s expertem. 4 Pokud k ěkterému kietovi eexistují údaje o adrese, bude ová reace obsahovat chybějící hodoty. 4

5 7.4 Příiš moho objektů V reáých úohách se setkáváme s databázemi, které obsahují desítky a stovky tisíc objektů, zváštostí ejsou ai ještě větší počty. V případě agoritmů pracujících v ikremetáím režimu žádý probém evziká. Jié je to v případě agoritmů pracujících v dávkovém režimu, které předpokádají zpracováí ceých (tréovacích) dat aráz v operačí paměti. Pro řešeí tohoto probému se abízí: použít je určitý vzorek (sampe) vybraý z ceých dat 5, použít takový způsob uožeí dat, který by umoži přístup ke všem objektům, aiž by je ceé ukáda do operačí paměti, vytvořit více modeů a zákadě podmoži objektů a modey poté zkombiovat. Při výběru určitého vzorku se opět vyořuje otázka reprezetativosti dat. Požadujeme totiž, aby vybraé objekty co ejépe vystihovay ceá data 6. Shodu vzorku s ceými daty můžeme vyhodocovat apř. a zákadě shody rozděeí hodot atributů ve vybraém vzorku i v ceých datech. V praxi se často spokojíme s tím, že tuto shodu zjišťujeme pouze pro cíový atribut určující zařazeí objektů do tříd. Pak je a místě dostatečě veiký áhodý výběr. Výjimku z tohoto požadavku představuje situace, kdy jsou třídy v původích datech evyvážeé. Je-i apř. v ceých datech podí objektů jedé třídy 95% a objektů druhé třídy 5%, bude mít většia aaytických agoritmů tedeci preferovat majorití třídu. Naezeé zaosti by tedy měy podobu defautu každý objekt patří do majorití třídy. Často ás ae zajímají zaosti týkající se té druhé třídy. V takovém případě musíme buď vzít do úvahy růzé cey za růzý typ chybého rozhodutí 7, ebo musíme upravit tréovací data do takové podoby, kdy jeda třída ebude domiovat té druhé. Ve druhém případu budeme tedy vybírat příkady růzých tříd s růzou pravděpodobostí (resp. vážit příkady růzých tříd růzými vahami) 8. Při výběru objektů do tréovací možiy se samozřejmě můžeme řídit i dašími dodatečými iformacemi: můžeme apř. vybírat typické příkady, ebo aopak atypické příkady, pouze příkady bez chybějících hodot apod. Jistou variatou vzorkováí je i křížová vaidace, při které se z dat opakovaě vybere je určitá část pro tréováí a jiá část pro testováí (viz kapitoa o evauaci). Zde můžeme teto pricip použít tak, že vytvoříme růzé modey a zákadě růzých vzorků, a pro vastí kasifikaci použijeme mode ejepší. Příkad efektivějšího uožeí rozsáhých dat ajdeme apř. v systému SPRINT pro paraeizaci vytvářeí rozhodovacích stromů z rozsáhých databází [Shafer a ko, 1996]. Teto systém pracuje se samostatým souborem pro každý atribut. Zázam v souboru j je tvoře trojicí [idex_objektu, hodota_atributu_j, hodota_cíového_atributu], zázamy jsou avíc uspořádáy pode hodoty atributu j. Tato reprezetace umoží sado aézt ejvhodější větvící atribut, případě provést biarizaci atributu. Jiým příkadem je metoda GUHA, která používá tzv. karty veiči, což jsou bitové řetězce kódující zda objekt spňuje ějaký cedet [Hájek a ko.,1983]. Kombiováí kasifikátorů jako způsob, jak vyřešit probém s vekým počtem objektů uvádí Cha a Stofo [Cha, Stofo, 1995]. Tréovací možiu ze áhodě rozděit a N vzájemě disjuktích podmoži. Z každé podmožiy se vytvoří samostatý mode (v uvedeém případě) rozhodovací strom. Jedotivé stromy pak hasují o zařazeí ezámého příkadu. 5 Tato operace se v reačí agebře azývá seekce. 6 Pro úpé pokrytí prostoru atributů bychom pro biárích atributů potřebovai 2 růzých objektů. 7 Podstatě horší chybou (chybou s větší ceou) bude chybé zařazeí mioritího příkadu do majorití třídy. 8 Extrémí variatou tohoto přístupu je použít všechy příkady miorití třídy a dopit je áhodě vybraými příkady majorití třídy tak, aby podí obou tříd ve tréovacích datech by stejý. 5

6 7.5 Příiš moho atributů V reáých úohách se setkáváme s databázemi, které obsahují desítky a stovky atributů. Ne všechy z ich jsou samozřejmě reevatí pro zamýšeou aaýzu, takže stojíme před otázkou redukce tohoto počtu. Odpověď ze hedat u experta (který může vědět, které atributy jsou pro daou úohu reevatí), ebo v automatických metodách, které abízejí ásedující dva způsoby: trasformaci, kdy z existujících atributů vytvoříme meší počet atributů ových, seekci, kdy z existujících atributů vybereme je ty ejdůežitější 9. Otázka redukce dimezioaity je dobře záma z obasti rozpozáváí obrazů 10. Pro trasformaci atributů se zde používá apř. Karhoue Loevův rozvoj, faktorová aaýza ebo aaýza havích kompoet. Tyto metody předpokádají použití výhradě umerických atributů. Zákadem všech uvedeých metod je reprezetace objektů pomocí hodot ových atributů, které vzikou jako ieárí kombiace atributů původích. Jistou evýhodou těchto metod tedy je skutečost, že potřebujeme zát (měřit) hodoty všech původích atributů. Nové, trasformovaé atributy avíc emusí mít srozumiteou iterpretaci, což může být v kokrétí úoze a závadu. Při (automatizovaé) seekci atributů obvyke hedáme ty atributy, které ejépe přispějí ke kasifikaci objektů do tříd. K tomuto probému můžeme přistoupit dvojím způsobem. Buď pro každý atribut spočítat ějakou charakteristiku vyjadřující vhodost atributu pro kasifikaci (teto přístup bývá azývá metoda fitru fiter approach), ebo použít ějaký agoritmus strojového učeí pro vytvořeí modeu z (pod)možiy atributů a vyhodotit mode (teto přístup bývá azývá metoda obáky wrapper approach). Pro metodu fitru ze použít kritéria používaá pro vobu atributu pro větveí rozhodovacího stromu (etropii ebo iformačí zisk), vzájemou iformaci ebo χ 2 test. Tato kritéria vycházejí z kotigečí tabuky. Podobu tabuky pro (vstupí) atribut A a cíový atribut C ukazuje Obr. 5. C(v 1 ) C(v 2 ). C(v S ) A(v 1 ) a 11 a 12. a 1S r 1 A(v 2 ) a 21 a 22. a 2S r 2 : : : : : : : : : : A(v R ) a R1 a R2. a RS r R s 1 s 2. s S Obr. 5 Kotigečí tabuka pro atribut A a třídu C kde a k je četost (frekvece) kombiace (A(v k ) (C(v )) 9 V agicky psaé iteratuře se požívá termí feature seectio. V reačí agebře se teto typ operace azývá projekce. 10 Rozpozáváí obrazů (patter recogitio) je reativě samostatá obast uměé iteigece, řešící úohy kasifikace tak jak jsou popsáy v této kize: Na zákadě tréovací možiy se hedá obecý popis tříd. Každý objekt je reprezetová umerickým vektorem přízaků (feature vector), modey používaé pro kasifikaci tedy reprezetují zaosti o třídách v podobě diskrimiačích fukcí ebo etaoů. 6

7 a S r k = ak, =1 R s = ak, a R S = ak. k=1 k=1 =1 Uvedeé četosti ze použít pro odhad pravděpodobostí: P(A(v k ) C(v )) = a k, P(A(v k)) = r k a P(C(v )) = s Přísušá kritéria jsou pak 1. χ 2 (čím větší hodota, tím épe) χ 2 = R S k= 1 = 1 ( a e ) k e k k 2 = R S k= 1 = 1 a k rk s r s k 2 2. etropie H(A) (čím meší hodota, tím épe) R rk H(A) = H(A(v k )), kde k=1 H(A(v k )) = - S =1 a r k a og r k 3. iformačí míra závisosti ID(A,C) (čím větší hodota, tím épe) ID(A, C)= kde vzájemá iformace MI(A,C) je MI(A, C) = R k=1 S =1 P(A(v k ) C(v MI(A, C) H(C) )) og MI(A, C) =, S s s - og =1 P(A(v ) C(v )) P(A(v k k a )) P(C(v R S k = 1 a k og. k=1 =1 rk s ) = R k=1 S =1 a k og a r s k k = Atributy ze uspořádat pode hodoty kritéria; pak můžeme vybrat je určitý počet těch ejepších. Lze postupovat zdoa ahoru tedy přidáváím atributů, ebo shora doů tedy odstraňováím atributů z původí možiy všech atributů. Nevýhodou uvedeého způsobu seekce je, že posuzuje každý atribut zvášť a ezachycuje současý viv více atributů a správost kasifikace. Vhodější 11, ae výpočetě áročější je místo pro jede atribut (tedy pro všechy hodoty tohoto atributu) počítat hodotu kritéria pro možiu atributů (tedy pro všechy kombiace hodot těchto atributů). Agoritmus pro seekci atributů pak bude vytvářet možiy atributů a počítat pro ě hodoty kriteria. Podobě jako v případě idividuáího posuzováí 11 Neí totiž pravda, že atributy, které jsou samy o sobě ejepší (ve smysu uvažovaého kriteria) vytvoří i ejepší možiu. 7

8 jedotivých atributů A i při posuzováí moži atributů ze tyto možiy vytvářet v zásadě dvojím způsobem: shora doů (odstraňováím atributů; tzv. zpětá seekce), ebo zdoa ahoru (přidáím atributů; tzv. přímá seekce). Jádrem agoritmu seekce je tedy prohedáváí prostoru všech podmoži původí možiy atributů. Voba prohedávací strategie může být dopěa o určeí počtu atributů, které se odstraí resp. přidají v daém kroku (jede atribut, pevý počet atributů, proměý počet atributů). Obšírě je tato probematika popsáa v [Pudi, 2001] resp. [Pudi a ko., 1994]. Pudi uvádí růzé metody výběru možiy atributů: přímá seekce s pevým počtem atributů, zpětá seekce s pevým počtem atributů, kombiovaá přímá a zpětá seekce s pevým počtem atributů, přímá seekce s proměým počtem atributů, zpětá seekce s proměým počtem atributů, adaptiví přímá seekce, adaptiví zpětá seekce. Ve všech případech používá jako kritérium pro hodoceí aktuáí možiy iformačí míru závisosti. Pro možiu d atributů má toto kritérium podobu kde MI((A,..., A a 1 d ), C)= S s s H(C) = - og. =1 (A1... Ad ) C MI((A 1,..., A d ), C) ID((A 1,..., A d ), C) =, H(C) P(A 1 (v 1k )... A d (v dk P(A 1(v ) C(v )) og P(A (v 1 1k 1k )... A )... A d d (v (v dk dk ) C(v )) P(C(v )) )) Je-i seekce atributů zaožea a přidáváí atributů, v daém kroku se k již vybraé možiě atributů A 1 přidá taková možia atributů A 2, že 12 ID((A 1 A 2 ),C) = max x ID((A 1 A x 2),C). Je-i seekce atributů zaožea a odstraňováí atributů, v daém kroku se z uvažovaé možiy atributů A 1 odstraí taková možia atributů A 2, že ID((A 1 \ A 2 ),C) = max x ID((A 1 \ A x 2),C). Jiým příkadem, jak vybírat možiy atributů, je metoda obáky, která využívá (hrubé) výpočetí síy současých počítačů [Joh a ko, 1994]. Z možiy všech použiteých atributů se opakovaě vybírá určitá část a ta se pak použije pro popis objektů v tréovací i testovací možiě. Pro každou tréovací možiu se vytvoří jede mode, který bude otestová a testovacích datech téže struktury atributů. Z takto vytvořeých modeů se pak použije te ejepší 13 voba modeu zároveň určí reevatí atributy. Metodu obáky ze použít zdoa ahorů (začít od modeů vytvořeých pro jedotivé atributy a atributy postupě přidávat), shora doů (začít od modeu vtvořeého pro původí možiu atributů a atributy postupě odstraňovat), ebo pro áhodý způsob výběru podmožiy atributů. 12 Místo iformačí míry závísosti je možé použít i jié dříve uvedeé kritérium. 13 Kritériem kvaity modeu je správost kasifikace a testovacích datech. 8

9 7.6 Numerické atributy Jako jisté omezeí ěkterých agoritmů dobýváí zaostí se může jevit to, že pracují pouze s kategoriáími daty. Numerické atributy tedy ejprve musíme diskretizovat (rozděit a itervay). Někdy se diskretizace provádí v průběhu práce agoritmu 14, jidy se provádí ve fázi předzpracováí dat. Diskretizace často závisí a povaze řešeého probému; a zaostech, které teprve hedáme. Je-i k dispozici expert, je épe mu tuto diskretizaci přeechat. Existují ae i metody umožňující provádět diskretizaci automaticky. K ejjedodušším metodám patří diskretizace a předem zadaý počet ekvidistatích ebo ekvifrekvetích itervaů. V prvím případě se obor hodot umerického atributu rozděí a stejě douhé itervay (Obr. 6); stačí tedy zát je rozsah hodot. Ve druhém případě se obor hodot rozděí a itervay, které obsahují (zhruba) stejý počet objektů (Obr. 7); tady už potřebujeme zát počty výskytu jedotivých hodot. V obou případech se ae umerický atribut diskretizuje bez využití iformací o hodotách jiých atributů. Jié metody využívají při diskretizaci iformací o přísušosti objektů k růzým třídám 15 (Obr. 8). K ejzámějším patří agoritmus Fayyada a Iraiho [Fayyad, Irai, 1993]. Jejich přístup zobecňuje biarizaci (rozděeí hodot umerického atributu A do dvou itervaů) používaou systémy CART ebo ID3 16 a diskretizaci do více itervaů. Schéma agoritmu je uvedeo a Obr. 9. Agoritmus rekursivě (postupem shora doů) biarizuje aktuáí iterva tak, že bere do úvahy jedotivé děící body 17 a staovuje: zda se má iterva dáe rozděit, pokud ao, tak který děící bod použít Kritérium pro toto rozhodutí vychází z etropie. Podobě jako při tvorbě rozhodovacích stromů se zjišťuje iformačí zisk, v tomto případě tedy příos rozděeí daého itervau It pro kasifikaci: Zisk(A It,θ ) = H(A(It)) - H(A θ ) Etropie H(A(It)) se tetokrát vztahuje k itervau před biarizací, etropie H(A θ ) se vztahuje k itervau po biarizaci, tedy H(A(It)) = T t ( A(It)) t ( A(It)) - og, (A(It)) (A(It)) t=1 H(A θ ) = (A(<θ)) (A(>θ)) (A(It)) H(A(<θ)) + (A(It)) H(A(v>θ)) přičemž (A(It)) je počet příkadů, které mají hodotu atributu A z itervau It (případý idex t ozačuje příkady třídy t ) a (A(<θ)) (resp. (A>θ)) ) je počet příkadů, jejichž hodota atributu A je z itervau It a je meší (resp. větší) ež θ. H(A(<θ)) (resp. H(A>θ))) je pak etropie pro příkady jejichž hodota atributu A je z itervau It a je meší (resp. větší) ež θ. 14 Práci s umerickými atributy v tomto smysu jsme se věovai v kapitoách o rozhodovacích stromech i rozhodovacích pravidech. 15 To se samozřejmě týká kasifikačích úoh, kdy je tato iformace dostupá. 16 Jde o agoritmy pro tvorbu rozhodovacích stromů popsaé a jiém místě. 17 Děící bod je obecě hodota, ežící mezi dvěma po sobě ásedujícími hodotami umerického atributu, které jsou obsažey v datech. Pro růzých hodot atributu A tedy existuje -1 děících bodů. Oba autoři ae ukázai, že stačí brát do úvahy pouze takové děící body (tzv. hraičí), které od sebe odděují objekty patřící do růzých tříd. 9

10 Obr. 6 Ekvidistatí itervay Obr. 7 Ekvifrekvečí itervay Obr. 8 Diskretizace vzhedem k třídám Iterva It ze obvyke biarizovat pode více děících bodů. Výše uvedeé kritérium iformačího zisku umožňuje aézt te ejvhodější. O tom, zda se iterva pode tohoto děícího bodu skutečě rozděí pak rozhoduje kritérium, které autoři odvodii s použitím pricipu miimáí deskripčí déky (MDL). K biarizaci aktuáího itervau It dojde, jestiže kde Zisk(A It,θ ) > og 2((A(It))-1) (A(It)) + A(It, θ) (A(It)), A (It, θ) = og 2 (3 k 2) (k H(A(It)) k 1 H(A(<θ)) k 2 H(A(>θ)), 10

11 přičemž k je počet růzých tříd pro objekty spadající do itervau It, k 1 je počet růzých tříd pro objekty v itervau It <θ a k 2 je počet růzých tříd pro iterva It >θ [Fayyad, Irai, 1993]. Agoritmus Fayyad, Irai 1. uspořádej tréovací data vzestupě pode hodoty diskretizovaého atributu 2. rekurzivě biarizuj aktuáí iterva It tak, že 2.1. ajdi ejvhodější děící bod θ a urči pro ěj Zisk(A It,θ ) 2.2. je-i Zisk(A It,θ ) > og 2(-1) + A (It, θ) rozdě iterva It a itervay It <θ a It >θ pokračuj v rekurzi Obr. 9 Agoritmus Fayyada a Iraiho Jiý způsob diskretizace je popsá v [Lee, Shi, 1994]. Tetokrát se jedá o diskretizaci zdoa ahoru zaožeou a postupém spojováí hodot umerického atributu do předem zadaého počtu výsedých itervaů. Autoři se opět ispirovai v teorii iformace; při posuzováí itervaů se měří (pomocí tzv. Heigerovy divergece) rozdí mezi možstvím iformace v ceých datech a možstvím iformace v itervau: E(It) = [ t ( p(cass t ) - p(cass t It) ) 2 ] 1/2 Podobě se vyhodocuje iformace spojeá s děícím bodem θ, odděujícím dva itervay: V obou vzorcích E(θ) = [ t ( p(cass t A(<θ)) - p(cass t A(>θ)) ) 2 ] 1/2 p(cass t ) = t a p(cass t It) = t(it) (It) Na rozdí od předcházejícího agoritmu se tetokrát daty prochází opakovaě. Při každém průchodu se spojí dvojice itervaů odděeých od sebe děícím bodem s ejmeší hodotou E(θ) (Obr. 10).. Agoritmus Lee, Shi Iiciaizace 1. uspořádej tréovací data vzestupě pode hodoty diskretizovaého atributu 2. pro každý děící bod θ i = (a i + a i+1 )/ vytvoř iterva It i = [θ i, θ i+1 ] 2.2. spočítej E(It i ) a E(θ i ) Haví cykus 1. dokud eí dosaže požadovaý počet itervaů 1.1. ajdi θ mi takové, že E(θ mi ) = mi i E(θ i ) 1.2. vytvoř iterva It mi = [θ mi-1, θ mi ] [θ mi, θ mi+1 ] 1.3. spočítej E(It mi ), E(θ mi-1 ) a E(θ mi+1 ) Obr. 10 Agoritmus Leeho a Shia 11

12 Možost diskretizovat umerické atributy abízí i systém KEX [Berka, 1993]. Agoritmus pro diskretizaci je zde úzce spoje s agoritmem pro tvorbu báze zaostí. Numerický atribut se diskretizuje s přihédutím k tomu, jak se do báze zaostí zařazují jedotivá pravida. Cíem je diskretizace, která povede k vytvořeí pravide A(It) Cass Budeme se tedy sažit vytvářet takové itervay A(It), aby se P(Cass A(It)) sigifikatě išio od P(Cass). Každý iterva A(It) je dá svou doí a horí mezí DMez a HMez. Agoritmus je uvede a Obr. 11. Opět se jedá o postup zdoa ahoru (spojováím), tetokrát se ae předem ezadává počet itervaů. Diskretizace pro KEX Haví cykus: 1. vytvoř uspořádaý sezam hodot uvažovaého atributu; 2. pro každou hodotu 2.1. spočítej četosti výskytu objektů s touto hodotou pro jedotivé třídy; 2.2. přiřaď kód třídy každé hodotě procedurou ASSIGN; 3. vytvoř itervay hodot procedurou INTERVAL; ASSIGN: pokud pro daou hodotu všechy objekty patří do stejé třídy, pak přiřaď hodotě kód této třídy; jiak pokud pro daou hodotu veičiy se rozděeí objektů do tříd sigifikatě iší (a zákadě χ 2 testu) od apriorího rozděeí tříd, pak přiřaď hodotě kód ejčetější třídy, jiak přiřaď hodotě kód "?"; INTERVAL: 3.1. pokud sekvece hodot má stejý kód třídy, pak vytvoř iterva z těchto hodot; 3.2. pro každý iterva INT i pokud iterva INT i patří do třídy "?" pak pokud jeho sousedí itervay INT i-1, INT i+1 patří do téže třídy vytvoř iterva spojeím INT i-1 INT i INT i jiak vytvoř iterva buď spojeím INT i-1 INT i ebo spojeím INT i INT i+1 pode výsedku χ 2 testu 3.3. vytvoř spojité pokrytí defiičího itervau veičiy DMEZ i := HMEZ i-1 Obr. 11 Agoritmus diskretizace v systému KEX Čiost agoritmu si ukážeme a ásedujícím příkadu diskretizace atributu umber of years workig at curret compay z dat o půjčkách 18. Apriorí rozděeí cíových tříd je uvedeo v Tab. 1. Při diskretizaci se tedy bude brát do úvahy apriorí pravděpodobost P(+)=0.68. třída abs. četost re. četost půjčka(+) půjčka(-) Tab. 1 Apriorí rozděeí tříd 18 Jedá se o data Japa Credit z koekce datových souborů používaých pro testováí agoritmů strojového učeí. Tato koekce je uožea a Kaiforské uiversitě v Irvie (UCI ) a je přístupá po Iteretu [Murphy, Aha, 1994]. 12

13 Nejprve je vytvoře uspořádaý sezam hodot veiči a každé hodotě je procedurou ASSIGN přiřaze kód cíové třídy a zákadě četostí objektů s touto hodotou pro jedotivé třídy (Tab. 2); v případě sporých hodot se použije χ 2 test. Procedurou INTERVAL jsou pak vytvořey itervay spojeím sekvecí hodot téže třídy (krok 3.1 viz. Tab. 3). V ásedujícím kroku 3.2 se zařazují sporé případy; je-i iterva třídy? uzavře mezi stejými itervay, přiřadí se do tohoto itervau (krok Tab. 4), je-i iterva třídy? uzavře mezi růzými itervay, přiřadí se k jedomu z ich pode hodoty χ 2 (krok Tab. 5). Hodota (půjčka( +)) (půjčka( -)) třída ? ? ? ? ? Tab. 2 Třída pro jedotivé hodoty DMez HMez (půjčka( +)) (půjčka( -)) třída ? ? ? ? ? Tab. 3 Itervay ze sekvecí hodot téže třídy 13

14 DMez HMez (půjčka( +)) (půjčka( -)) třída ? Tab. 4 Zařazeí vořeých sporých itervaů DMez HMez (půjčka( +)) (půjčka( -)) třída Tab. 5 Zařazeí "hraičích" sporých itervaů Na závěr jsou vytvořey výsedé itervay, které pokryjí ceý defiičí obor veičiy: hodota =< 3.00, 3.00 < hodota Uvedeý způsob diskretizace může vést k vytvořeí začě vekého počtu kategorií v případě, že se pro po sobě jdoucí hodoty střídají přiřazeí objektů ke třídám. Proto se v kroku 3.1 zařazují máo četé itervay do třídy "?" 19. Agoritmus má zajímavou modifikaci umožňující vytvářet fuzzy itervay [Bruha, Berka, 2000]. Na rozdí od ostrých hraic děících bodů jsou v případě fuzzy itervaů hraice eostré. V agoritmu diskretizace pro systém KEX to zameá ovou proceduru INTERVAL (Obr. 12). Největší změa je v kroku a 3.3, kde je vytvářea hraice mezi itervay. INTERVAL: 3.2. pokud má sekvece hodot stejý kód třídy, pak vytvoř iterva z těchto hodot (s charakteristickou fukcí rovou 1 v ceém itervau) 3.3. pro každý iterva INT i pokud iterva INT i patří do třídy "?" pak pokud jeho sousedí itervay INT i-1, INT i+1 patří do téže třídy vytvoř iterva spojeím INT i-1 INT i INT i+1 (s charakteristickou fukcí rovou 1 v ceém itervau) jiak vytvoř jede iterva spojeím INT i-1 INT i tak, že charakteristická fukce je rova 1 v iterau [DMez i-1, HMez i-1 ] x - DMezi a rova HMezi - pro x v itervau [DMez i,hmez i ] DMezi a druhý iterva spojeím INT i INT i+1 tak, že charakteristická fukce je rova 1 v iterau [DMez i+1, HMez i+1 ] DMezi - x a rova HMezi - pro x v itervau [DMez i,hmez i ] DMezi 3.4. vytvoř spojité pokrytí defiičího itervau veičiy shodě s krokem (mezery mezi itervay jsou chápáy jako iterva třídy "?") Obr. 12 Fuzzy diskretizace 19 Miimáí počet objektů v itervau je jede ze vstupích parametrů agoritmu. 14

15 Obr. 13 Fuzzy itervay Budeme-i postupovat pode uvedeé modifikace, můžeme z jedé umerické hodoty získat dvě diskretizovaé hodoty tak, že součet odpovídajících charakteristických fukcí bude rový jedé. To ve svých důsedcích vede ke vziku částečých objektů, které mají váhu (vyjadřující jejich zastoupeí v datech) meší ež 1. Obr. 13 ukazuje tuto situaci a příkadu atributu tepota, který (pro hodotu 36.9 o C) vede k vytvořeí dvou objektů [Bruha, Berka, 2000]: [... vasy = čeré, tepota = 36.9,... ] [... vasy = čeré, tepota = ízká,...] [... vasy = čeré, tepota = vysoká,...] µ(tepota) = 0.8 µ(tepota) = 0.2 Váha částečého objektu je dáa součiem hodot charakteristických fukcí všech atributů 20 : w(obj) = i µ(x i ) Součet vah všech částečých objektů, které odpovídají témuž objektu v původích datech je rove 1. Provedeím diskretizace umerického atributu samozřejmě ztrácíme ějakou iformaci. Objekty, které měy původě růzé hodoty umerického atributu, mohou mít stejé hodoty diskretizovaého atributu. V krajím případě mohou v důsedku diskretizace dva původě růzé objekty spyout do jedoho. Pokud oba původě růzé objekty patří do růzých tříd, po diskretizaci mezi imi systém ebude umět rozišit, zařadí je tedy do téže třídy a tím se dopustí chyby. Zhorší se tedy maximáí možá správost kasifikace 21. Takto vyjádřeou ztrátu způsobeou diskretizací můžeme předem odhadout. Můžeme vyjít z maximáí možé úspěšosti predikce pode diskretizovaého atributu před a po diskretizaci. Lze zjistit počet kotradikcí 22 daých (pouze) ediskretizovaým atributem a počet kotradikcí daých atributem po diskretizaci. Dříve uvedeý vztah ám pak umoží spočítat miimáí počet chyb při kasifikaci a tím i maximáí možou správost kasifikace. 20 V případě kategoriáího atributu x i je charakteristická fukce µ(x i ) = A pravděpodobě i správost skutečá. 22 Kotradikcí mysíme situaci, kdy objekty se stejými hodotami vstupích atributů patří do růzých tříd. 15

16 Pro áš ukázkový příkad diskretizace atributu umber of years workig atcurret compay je miimáí chyba při kasifikaci pode tohoto atributu před diskretizací a miimáí chyba při kasifikaci pode diskretizovaého atributu = = 26.4% = = 22.4% Maximáí možá správost kasifikace je pak 77.6% pro umerický atribut a 73.6% pro atribut diskretizovaý. Ztrátu způsobeou diskretizací ze tedy v ašem případě vyjádřit jako zhoršeí maximáí možé správosti kasifikace pode diskretizovaého atributu o 4% ve srováí s kasifikací pode atributu ediskretizovaého. Obdobě je možo rověž zjistit maximáí možou správost pro ceá data před a po diskretizaci. Pro áš případ kreditích dat je v obou případech max. možá správost rova 100%. Tedy, v tomto případě diskretizace ezpůsobia žádou ztrátu iformace potřebé pro tvorbu modeu. Experimety prováděé a daších datech 23 ukazují, že ztráta způsobeá diskretizací je obvyke vemi maá (Tab. 6). Vedejším důsedkem diskretizace je sížeí počtu růzých objektů. Řada dříve rozdíých hodot totiž pade do stejého itervau. To dokumetuje rověž Tab. 6 ([Berka, Bruha, 1998a]). Diskretizace umerických atributů tedy může přispět k objeveí jistých pravideostí v datech. Původí data Diskretizovaá data data počet objektů max. úspěšost počet objektů max. úspěšost japa credit % % austraia credit % % iris % 35 98% pima idia diabetes % % Tab. 6 Viv diskretizace a počet objektů a maximáí možou správost kasifikace 7.7 Kategoriáí atributy Chceme-i použít agoritmy, které používají umerické vstupy (apř. euroové sítě), musíme hodoty kategoriáích atributů zakódovat pomocí číse. V případě biárích atributů to mohou být apř. hodoty 0, 1 ebo 1, 1, v případě ordiáích atributů to může být pořadové číso hodoty, v případě omiáích atributů pak v zásadě ibovoé číso. V případě agoritmů, které pracují přímo s kategoriáími atributy (apř. symboické metody), žádé úpravy obvyke eprovádíme. Výjimku tvoří případ, kdy kategoriáí atribut abývá příiš vekého počtu hodot 24. Pak přichází a řadu seskupováí hodot. Opět ze vyjít z doméových zaostí experta 25, ebo ze hodoty seskupovat a zákadě charakteristik spočítaých v rámci tréovacích dat. 23 Opět se jedao o data z UCI. 24 Příkadem takovéhoto atributu může být apříkad ozačeí zboží (při aaýze ákupího košíku), ebo kód profese v sociodemografické databázi. 25 Může se apř. jedat o hierarchii hodot, tak jak je uvedeo v kapitoe o asociačích pravidech a v kapitoe o rozhodovacích pravidech. 16

17 Takovéto seskupováí ze provádět při tvorbě modeu (viz apř. agoritmus CHAID pro tvorbu rozhodovacích stromů), ebo v rámci předzpracováí dat. Jako příkad předzpracováí uvedeme agoritmus seskupováí hodot svázaý se systémem KEX [Berka, Bruha, 1998b]. Agoritmus pro seskupováí je odvoze z výše uvedeého agoritmu pro diskretizaci. Cíem je tedy vytvořit skupiy A(Grp) takové, aby se P(Cass A(Grp)) sigifikatě išio od P(Cass). Agoritmus seskupováí hodot je uvede a. Na rozdí od agoritmu diskretizace (Obr. 11) se při seskupováí vytvoří toik skupi, koik je růzých tříd pus jeda skupia avíc, ozačeá "?" (Obr. 14). Seskupováí pro KEX Haví cykus: 1. vytvoř uspořádaý sezam hodot uvažovaého atributu 2. pro každou hodotu 2.1. spočítej četosti výskytu objektů s touto hodotou pro jedotivé třídy 2.2. přiřaď kód třídy každé hodotě procedurou ASSIGN 3. vytvoř itervay hodot procedurou GROUP ASSIGN: pokud pro daou hodotu všechy objekty patří do stejé třídy, pak přiřaď hodotě kód této třídy jiak pokud se pro daou hodotu veičiy rozděeí objektů do tříd sigifikatě iší (a zákadě χ 2 testu) od apriorího rozděeí tříd pak přiřaď hodotě kód ejčetější třídy, jiak přiřaď hodotě kód "?" GROUP: vytvoř skupiu z těch hodot, které mají přiřaze kód stejé třídy Obr. 14 Agoritmus seskupováí v systému KEX 7.8 Chybějící hodoty Otázkou práce s chybějícími hodotami jsme se již zabývai. Připomeňme tedy již dříve uvedeé způsoby: 1) igorovat objekt s ějakou chybějící hodotou, 2) ahradit chybějící hodotu ovou hodotou evím, 3) ahradit chybějící hodotu ěkterou z existujících hodot atributu a sice: a) ejčetější hodotou, b) proporcioáím podíem všech hodot, c) ibovoou hodotou. Zajímavou aterativou je použít pro dopěí chybějící hodoty ěkterý z agoritmů pro modeováí; atribut s chybějícími hodotami se považuje za cíový atribut, pro tréováí a testováí se použijí objekty se zámou hodotou tohoto atributu a chybějící hodoty se dopí a zákadě modeu. 17

18 7.9 Závěr S příchodem reáých apikací metod strojového učeí se postupě začíá přesouvat pozorost odboríků a dobýváí zaostí od agoritmů pro modeováí k agoritmům pro předzpracováí a přípravu dat. Dokadem této skutečosti může být i výzkumý projekt 5. rámcového programu EU MiigMart (IST ), který si kade za cí vytvořit uživatesky přívětivé prostředí pro používáí agoritmů z této obasti [Saitta a ko., 2000]. Literatrura: [Berka, 1993] Berka,P.: Discretizatio of umerica attributes for Kowedge EXporer. Výzkumá zpráva, Praha, LISP-93-03, 1993, 11s. [Berka, Bruha, 1998a] Berka,P. - Bruha,I.: Empirica compariso of various discretizatio procedures. It. J. of Patter Recogitio ad Artificia Iteigece Vo. 12 No. 7 (1998) [Berka, Bruha, 1998b] Berka,P. - Bruha,I.: Discretizatio ad Groupig: Preprocessig Steps for Data Miig. I: (Zytkow, Quafafou eds.) Proc. Pricipes of Data Miig ad Kowedge Discovery PKDD'98, LNAI 1510, Spriger, 1998, [Bruha, Berka, 2000] Bruha,I. - Berka,P.: Discretizatio ad Fuzzificatio of Numerica Attributes i Attribute- Based Learig. I: Szcepaiak,P.S. - Lisboa,P.J.G. - Kacprzyk,J.: Fuzzy Systems i Medicie. Spriger ISBN [Bruha, Kočková, 1994] Bruha,I. Kočková,S.: A support for decisio makig: Cost-sesitive earig system. Artificia Iteigece i Medicie, 6 (1994), [Dietterich, 1997] Dietterich T.: Machie-earig research: four curret directios. AI Magazie, witer 1997, [Fayyad, Irai, 1993] [Fayyad,U. - Irai,K.: Muti-iterva discretizatio of cotiuous-vaued attributes for cassificatio earig. I: Proc. 13 th Joit Cof. of Artificia Iteigece IJCAI 93, 1993, [Hájek a ko.,1983] Hájek,P. Havráek,T. Chyti,M.K.: Metoda GUHA. Automatická tvorba hypotéz. Academia, [Cha, Stofo, 1995] Cha,P.K. Stofo,S.J.: Learig arbiter ad combier trees from partitioed data for scaig machie earig. I: Proc. 1 st It. Cof. o Kowedge Discovery ad Data Miig. AAAI Press, [Joh a ko, 1994] Joh,G. Kohavi,R. Pfeger,K.: Irreevat features ad the subset seectio probem. I: Proc. 11 th It. Cof. o Machie Learig, Morga Kaufma, 1994, [Kietz a ko., 2000] Kietz,J.U. - Zücker,R. - Vaduva,A.: Miig Mart: Combiig Case-Based-Reasoig ad Muti-Strategy Learig ito a Framework to reuse KDD-Appicatio. I: Proc. 5 th It. Workshop o Mutistrategy Learig MSL2000, [Lee, Shi, 1994] Lee,C. Shi,D.: A cotext-sesitive discretizatio of umeric attributes for cassificatio earig. I: (Coh, ed.) Proc: 11 th Europea Cof. o Artificia Iteigece ECAI 94, Joh Wiey, 1994, [Murphy, Aha, 1994] Murphy,P. - Aha,D.: UCI Repository of Machie Learig Databases. Uiversity of Caiforia Irvie, Dept. Of Iformatio ad Computer Sciece, [Pece a ko., 1994] Pece,L. - Peiká,E. Bera,H.: Short-term foreig exchage rate forecastig from high frequecy data. I: Proc. Iteratioa Workshop o Neura Networks i the Capita Markets, Pasadea, CALTECH, USA, [Pudi, 2001] Pudi,P.: Methodoogy ad Advaces i Feature Seectio for Statistica Patter Recogitio, Disertace DrSc, UTIA AV ČR, Praha,

19 [Pudi a ko., 1994] Pudi,P. Novovičová,J. Kitter,J.: Foatig search methods i feature seectio. Patter Recogitio Letters, 15, 1994, [Saitta a ko., 2000] Saitta,L. -Kietz,J.U. - Beccari,G.: Specificatio of Pre-Processig Operators Requiremets. Deiverabe, D1.1, IST Project MiigMart, IST , [Shafer a ko, 1996] Shafer,J. Agrawa,R. Mehta,M.: SPRINT: a scaabe parae cassifier for data miig. I: Proc. 22 th Very Large Databases Coferece VLDB, Morga Kaufma, 1996, [Suzuki, 2000] Suzuki,E. (editor): Proc. It. Wshop of KDD Chaege o Rea-word Data. 4 th Pacific-Asia Coferece o Kowedge Discovery ad Data Miig PAKDD-2000, Kyoto,