4. Stroové učeí 4. Základí pomy Důležtou vlastostí žvých orgasmů e schopost přzpůsobovat se měícím se podmíkám (adaptovat se), evetuálě se učt a základě vlastích zkušeostí. Schopost učt se bývá ěkdy dokoce považováa za defc telgece. Je proto přrozeé, že vybavt touto vlastostí systémy techcké e edím z cílů umělé telgece. Navíc v řadě praktckých případů, kdy eí dostatek aprorích zalostí o řešeém problému, a ak postupovat elze. Prvky učeí můžeme pod růzým ázvy alézt v řadě vědích dscpl; ve statstce se obevuí eploračí aalýza dat (eploratory data aalyss) ebo telgetí aalýza dat (tellget data aalyss), v umělé telgec se hovoří o metodách rozpozáváí obrazů (patter recogto), stroového učeí (mache learg) ebo automatzovaého získáváí zalostí (automated kowledge acqusto), v (kyberetcké) teor řízeí ademe adaptví a učící se systémy, v souvslost se získáváím zalostí z databází (kowledge dscovery databases) se používá termí dolováí z dat (data mg). V růzých dscplíách se k problematce učeí přstupue z růzých pohledů, používá se rozdílá termologe, růzé metody reprezetace zalostí růzé algortmy pro získáváí zalostí č ech využíváí. Přesto e možé alézt akés společé ádro, které se pokusíme popsat v této část. Uvádíme zde tedy e akýs souhrý pohled, edotlvé metody budou podrobě popsáy v ásleduících podkaptolách. V zásadě lze rozlšt dva typy učeí: učeí se zalostem (kowledge acqusto) a učeí se dovedostem (skll refemet). Prví typ hledá kocepty, obecé zákotost apod. (apř. ak rozpozat defraudata) u druhého typu de o to zdokoalt své schopost a základě procvčováí ěaké čost (apř. ak alézt cestu v bludšt). U učících se systémů e většou časově oddělea fáze učeí od fáze používáí zalostí v další čost systému (vz Obr. ). Během učeí s systém vytvoří obecou reprezetac edotlvých typů chováí resp. tříd (apř. obecý pops spolehlvých a espolehlvých kletů baky). Pokud chceme alezeé zalost používat ručě, můžeme tímto krokem skočt. Př automatzovaém používáí těchto zalostí se aučeému systému předkládaí ové případy a systém se sám rozhodue (apř. klasfkue ové klety baky ako spolehlvé ebo espolehlvé). Obr. Obecé schéma učícího se systému
Podíváme-l se a růzé metody učeí z hledska úslí, které e třeba vyaložt a získáí ových zalostí resp. dovedostí, lze rozlšovat mez [Mchalsk a kol., 983]:. učeí zapamatováím (rote learg ebol bflováí) - systém pouze zazameává data ebo dílčí zalost dodaé eterím zdroem; eprovádí se žádá trasformace, 2. učeí se z strukcí (learg from structo, learg by beg told) - systém získává zalost z eterího zdroe a tegrue e se zalostm ž získaým; provádí se trasformace zalostí ze vstupího azyka do vtří reprezetace, 3. učeí se z aaloge (learg by aalogy, stace-based learg, lazy learg) - získáváí zalostí e založeo a zapamatováí s případů resp. stuací podobých těm, které bude třeba v budoucu řešt, 4. učeí a základě vysvětleí (eplaato-based learg) - př učeí se využívá ěkolk málo příkladů a rozsáhlé zalost z daé oblast (backgroud kowledge), 5. učeí se z příkladů (learg from eamples) - zde se využívá velké možství příkladů (a protpříkladů) koceptu, který se má systém aučt, role backgroud kowledge aopak ustupue do pozadí; používaou metodou e dukce, 6. učeí se z pozorováí a obevováím (learg from observato ad dscovery) - opět se pracue s velkým možstvím dat (tedy za využtí dukce); systém s ale často sám musí vytvářet kocepty které se pak pokouší popsovat, avíc data získaá pozorováím emusí být tak hezká ako přklady poskytuté učtelem. Prcpy používaé v systémech pro získáváí zalostí (stroové učeí) byly převzaty z řady dscpl: statstcké metody - pro získáváí zalostí se používaí regresí metody, dskrmačí aalýza, shluková aalýza, ebo bayesovské metody. Tyto metody hledaí popsy koceptů v podobě matematckých fukcí, vektorů ebo podmíěých pravděpodobostí, symbolcké metody umělé telgece - dukce rozhodovacích stromů a pravdel ebo prcpy případového usuzováí (Case-Based Reasog, CBR) umožňue získat zalost v podobě srozumtelé pro užvatele. Symbolcké metody mohou pomoc užvatel př vyhledáváí zaímavých vztahů v datech (databázích) a př odhalováí ech struktury. Podstaté e, že se tyto metody oretuí spíše a vztahy logckého typu ež a matematcké formule a tím poskytuí (a rozdíl od klasckých metod statstcké aalýzy dat) koceptuálí, ldem blžší závěry. Zalost získaé symbolckým metodam lze také použít v tzv. tradčí umělé telgec (apř. v epertích systémech), subsymbolcké metody umělé telgece - pro získáváí zalostí se používaí euroové sítě, bayesovské sítě ebo geetcké algortmy. Reprezetace alezeých zalostí opět eí (podobě ako u statstckých metod) pro užvatele přílš srozumtelá (apř. váhy vazeb mez euroy v euroové sít). Jedou z klíčových otázek stroového učeí e, akou formac o tom, že se učí správě, má systém k dspozc. Tato formace může mít podobu. příkladů zařazeých do tříd (koceptů), které se má systém aučt - v této stuac mluvíme o učeí s učtelem (supervsed learg); učtel poskytue systému eplctí formac o požadovaém chováí, 2. odmě za správé chováí a trestů za chováí esprávé - teto způsob se používá, pokud cílem systému e aučt se ěakou čost ebo chováí (apř. pohyb robota v bludšt); mluvíme o reforcemet learg,
3. epřímých ázaků - systém pozorue učtele a z eho chováí usuzue, co e příklad a co protpříklad hledaého koceptu (apř. telgetí vyhledávací systém v prostředí Iteretu z toho, které alezeé odkazy užvatel aktvoval dedukue, které WWW stráky sou relevatí a představuí tedy příklady koceptu popsaého užvatelovým dotazem). Tomuto způsobu učeí můžeme říkat učeí se apodobováím resp. zaučováím (v orgále appretceshp learg, appretce zameá učeň) - systém pozorue učtele a z eho akcí získává mplctí formac o požadovaém chováí, 4. systém emá k dspozc žádou doplňkovou formac, pracue pouze s příklady a zaímavé kocepty s vytváří sám - teto způsob se azývá učeí bez učtele (usupervsed learg) a e typcký pro učeí se obevováím. Další rozlšeí metod získáváí zalostí může být podle: způsobu reprezetace příkladů použtých v procesu učeí. atrbuty - vlastost obektů reprezetovaých řádky v datové tabulce, apř. barva_vlasu vyska vousy vzdela : : : : cera 80 ao VS atrbuty mohou být v zásadě dvou typů: kategorálí (dskrétí) a umercké (spoté). Toto čleěí e postačuící pro většu algortmů stroového učeí, růzě se totž zpracovávaí kategorálí a umercká data. Kategorálí atrbuty lze dále rozdělt a bárí (abývaící pouze hodot ao ebo e - vz atrbut vousy), omálí (abývaící edé z koečého počtu hodot, které esou avzáem uspořádáy - vz atrbut barva_vlasu) a ordálí (abývaící edé z koečého počtu avzáem uspořádaých hodot - vz atrbut vzdela). 2. relace - řada avzáem provázaých relací mez obekty a atrbuty, apř. otec(a_lucembursky, karel_iv) Větša systémů používá atrbuty, ty ale eposkytuí tak slé prostředky pro reprezetac zalostí ako relace (použtí atrbutů e aalogcké reprezetac zalostí za použtí výrokové logky, použtí relací e aalogcké predkátové logce). způsobu zpracováí příkladů. dávkové - př dávkovém zpracováí se pracue se všem příklady aedou, zalost se tedy vytvářeí od uly, 2. kremetálí - př kremetálím zpracováí se příklady zpracovávaí postupě; dílčí zalost získaé a základě dříve předložeých příkladů se modfkuí a základě příkladů dalších. Větša systémů pracue v dávkovém režmu, v případě potřeby doučt systém a základě ových příkladů ebo přeučt systém (pokud hledaý kocept e promělvý v čase) e ale vhoděší použít kremetálí způsob učeí. formy učeí. emprcké učeí - z velkého možství příkladů a z malého (často žádého) možství zalostí se metodam duktví ferece získá obecý pops daého koceptu; používá se př učeí se z příkladů, z pozorováí a obevováím, 2. aalytcké učeí - zobecěí se provádí a základě edého (ebo taky žádého) příkladu a rozsáhlého možství zalostí z daé oblast (apř. to že se emá sahat a rozpáleá kama se každé dítě aučí a základě evýše edoho pokusu); používá se př učeí a základě vysvětlováí. 3
Na tomto místě e třeba zdůrazt, že umělé metody učeí edosahuí možostí metod přrozeých : formalzmus použtý pro pops stuací ebo koceptů, které se má systém aučt e poměrě edoduchý, kocepty, které se systém učí často odpovídaí pouze edé úrov abstrakce zatímco člověk e schope své kocepty uspořádávat do herarchí, větša metod spoléhá a učtele, který dohlíží a celý výukový proces, větša metod předpokládá, vše všecha potřebá data sou k dspozc před začátkem učeí; člověk e schope a základě další zkušeost průběžě aktualzovat své zalost. Přesto se umělé metody učeí studuí (a úspěšě používaí) řadu let. V současé době procházeí zvýšeým zámem především v souvslost se získáváím zalostí z databází. V cetru aší pozorost budou emprcké metody učeí se koceptům a základě příkladů rozhodutí resp. a základě pozorováí a obevováí. Použtým přístupem bude duktví ferece kdy a základě koečého počtu příkladů budeme hledat obecý pops koceptu (ať už daého učtelem ebo vytvořeého systémem). Emprcké metody učeí vycházeí z předpokladu, že edotlvé obekty (příklady, pozorováí) lze popsat pomocí charakterstk takových, že obekty patřící k témuž koceptu maí podobé charakterstky (tyto metody bývaí ěkdy azýváy učeí a základě podobost - smlarty-based learg). Pokud sou obekty popsáy hodotam atrbutů, lze e reprezetovat ako body v mohorozměrém prostoru, ehož dmeze e dáa počtem těchto atrbutů. Učeí a základě podobost pak vychází z představy, že obekty představuící příklady téhož koceptu vytvářeí shluky v tomto prostoru. Cílem učeí e tedy alézt vhodý pops těchto shluků. Hlavím problémem př použtí výše uvedeého přístupu e alezeí oěch vhodých charakterstk. Z hledska procesu dobýváí zalostí z databází e toto úkolem kroků předzpracováí dat. Ovšem a ve chvíl, kdy máme alezey vhodé charakterstky, eí eště vyhráo. Otázkou zůstává dostatečé možství dostatečě reprezetatvích dat. Teto problém e lustrová a obrázcích Obr. 2 a Obr. 3. V obou případech se sažíme a základě výše přímu a výše kota v bace alézt pops kletů, kterým baka půčí (klet +) a kterým epůčí (klet -). Na základě ěkolka příkladů kletů se zdá, že shluky odpovídaící kletům obou skup sou zachycey a Obr. 2. Další příklady spolehlvých kletů ás ale přesvědčí o ašem omylu (příklady v šedém oválu a Obr. 3). Pops koceptu, který byl aleze a základě použtých příkladů tedy emusí odpovídat ým (dosud ezpracovaým) příkladům téhož koceptu. Z tohoto důvodu se obvykle data použtá př duktvím získáváí zalostí rozděluí a část tréovací a část testovací. Tréovací data se použí ve fáz učeí, testovací data pak představuí příklady, které slouží k prověřeí získaých zalostí. V ěkterých případech se používaí dokoce tř soubory dat: data tréovací, data valdačí (používaá pro evetuelí modfkac zalostí získaých a základě tréovacích dat) a data testovací. Atrbutům se ěkdy říká přízaky (features), odtud aglcký ázev tohoto prostoru feature space.
Obr. 2 Málo dat Obr. 3 Více dat Pokusme se výše uvedeé úvahy formalzovat. Isprací ám bude formalzace úlohy učeí s učtelem uvedeá v [Kotek a kol., 980]. Aalyzovaá data sou uložea v tabulce D, tvořeé řádky a m sloupc. D = : 2 2 2 2 : 2......... m 2 m : m 5
Řádky tabulky reprezetuí sledovaé obekty. Někdy se místo termíu obekt používaí termíy zázam (v databáz), příklad, případ, pozorováí apod. -tý obekt e tedy řádek.. = [ 2... m ] Sloupce datové tabulky odpovídaí atrbutům. Podobě ako v případě obektů, zde se používaí další termíy velča, proměá, zak. -tý atrbut (-tý sloupec) ozačíme symbolem A. A : 2 : V tuto chvíl ebudeme rozlšovat, zda se edá o atrbuty kategorálí (symbolcké, dskrétí) ebo atrbuty umercké (spoté). Tato formace bude důležtá až pro edotlvé typy metod. U klasfkačích úloh předpokládáme, že estue atrbut, který obsahue formac o zařazeí obektů do tříd (v případě klasfkace v užším smyslu) ebo který obsahue predkovaou hodotu (v případě predkce). Říkeme tomuto atrbutu cílový a ozačme ho symbolem C. C : y y 2 : y Ostatím, ecílovým atrbutům A budeme říkat vstupí atrbuty. Opět můžeme v lteratuře alézt řadu dalších ázvů: cílovému atrbutu se ěkdy říká závslá proměá, závslá velča ebo vysvětlovaá velča, vstupím atrbutům se ěkdy říká ezávslé proměé, ezávslé velčy ebo vysvětluící velčy. Přdáme-l cílový atrbut do datové tabulky, získáme data vhodá pro použtí ěkteré metody učeí s učtelem. Cílem těchto metod e a základě dat tvořeých hodotam vstupích atrbutů cílového atrbutu odvodt zalost použtelé pro klasfkac ových obektů. Datům používaým k tomuto účelu se obvykle říká tréovací data (tréovací příklady). Příslušou datovou tabulku budeme začt D D = : 2 2 2 2 : 2......... m 2 m : m y y 2 : y Obekt (tréovací příklad) z této tabulky budeme začt o = [, y ] Předpokládeme, že pro každý obekt o záme všechy hodoty hodotu y.
V drtvé většě stuací předpokládáme, že ezáleží a pořadí obektů v datové tabulce 2. Budeme tedy data považovat za možu obektů D =, =,.., { o } Klasfkačí úlohu můžeme chápat ako úlohu alézt takové zalost (reprezetovaé rozhodovací fukcí f), které by umožňovaly k hodotám vstupích atrbutů ěakého obektu přřadt vhodou hodotu atrbutu cílového f: y. Rozhodovací fukc f přtom chápeme v dost šrokém výzamu. Je-l klasfkace založea a algortmu používaícím rozhodovací stromy, e tato fukce (a tedy hledaé zalost) reprezetováa edím kokrétím rozhodovacím stromem. Je-l klasfkace založea a euroové sít, e tato fukce (a tedy hledaé zalost) reprezetováa topologí kokrétí sítě a váham vazeb mez euroy. V průběhu klasfkace se tedy pro hodoty vstupích atrbutů ěakého obektu o odvodí hodota cílového atrbutu. Ozačme tuto odvozeou hodotu ŷ. ŷ = f (). Odvozeá hodota ŷ se pro obekty z tréovacích dat může lšt od skutečé hodoty y. Můžeme tedy pro každý obekt o D vyčíslt chybu klasfkace Q f (o, ŷ ). V případě umerckého atrbutu C může být touto chybou apříklad čtverec rozdílu skutečé a odvozeé hodoty cílového atrbutu Q (, y ) = (y - y ) 2 f o v případě kategorálího atrbutu C může být touto chybou formace o tom že se odvozeá a skutečá hodota vzáemě lší, pro y y Q f( o, y ) = 0 pro y = y Pro celou tréovací možu D pak můžeme vyčíslt souhrou chybu Err(f,D ), apříklad ako středí chybu Err(f,D = ) Q f ( o, y ). Cílem učeí e alézt takové zalost f*, které by mmalzovaly tuto chybu = Err(f*,D ) = m Err(f, D ). V příadě, že tréovací data eobsahuí kotradkce, tedy že platí f o, o 2 D : = 2 y = y 2 lze teoretcky alézt takovou reprezetac koceptů f*, že Err(f*,D ) = 0. Můžeme tedy alézt zalost bezchybě klasfkuící příklady v tréovací možě. Naším cílem e ale samozřemě alézt zalost obecěší, použtelé pro klasfkac obektů ových. Ne vždy e ulová chyba Err(f*,D ) dosažeá a tréovacích datech zárukou kvalty alezeých zalostí. Přílšá oretace a tréovací 2 Výmku tvoří prostorová data (apř. data z geografckých formačích systémů), ebo časová data (apř. vývo ce akcí), kdy uspořádáí mez obekty vyplývá z povahy těchto dat. 7
data může vést k přeučeí systému (overfttg); získaé zalost pak ereflektuí obecěší zákotost, ale pouze kopíruí strukturu použtých příkladů (vz Obr. 2 a Obr. 3). Důraz tedy klademe a to, že v průběhu učeí zobecňueme použté příklady a celou aplkačí oblast. Schopost alezeých zalostí geeralzovat se obvykle ověřue epermetálě a tzv. testovacích datech D TST ; tedy pomocí chyby Err(f*,D TST ). Testovací data maí steou strukturu atrbutů, ako data tréovací, obsahuí tedy cílový atrbut. Jedá se ale o obekty, které abyly použty v průběhu učeí. 4.2 Učeí ako prohledáváí Předpokládeme, že ak vstupí atrbuty tak cílový atrbut sou kategorálí. Obor hodot -tého atrbutu ozačme V a počet hodot -tého atrbut ozačme K. Zápsem A (v k ) kde v k V budeme začt k-tou hodotu -tého atrbutu. Hodotě atrbutu budeme říkat kategore. Kategor můžeme chápat dvoím způsobem:. Z pohledu predkátové logky se edá o atomckou formul vyadřuící vlastost obektu (apř. kategore pohlaví(muž) vyadřue vlastost být mužem). O každém obektu můžeme rozhodout, zda má ebo emá uvedeou vlastost (splňue ebo esplňue uvedeou formul): o : A (v k )( o ) = 0 pro pro = v v k k 2. Z možového pohledu defue kategore možu obektů maících daou vlastost: { A (v )} { o : = } k = v k Spoováím kategorí logckou spokou budeme vytvářet kombace. Ozačme s Comb = [ A (v ), A (v ),..., A (v )] = A (v ) A (v )... A k 2 k 2 l k l k 2 k 2 l k l (v ). Kombac tedy můžeme chápat ako sezam (možu) kategorí ebo ako koukc kategorí. Počet kategorí v kombac Comb budeme azývat délkou kombace a začt l(comb) 3. Vždy budeme předpokládat, že v kombac se evyskytuí dvě kategore téhož atrbutu. Lbovolou kombac Comb budeme opět terpretovat buď ako logckou formul o pro = v = v... = v : Comb( ) = k 2 k 2 l k l 0 ak o ebo ako možu obektů { Comb } { : = v = v... = } = o. k 2 k 2 l k l v Počet prvků možy {Comb} azveme četost kombace Comb a ozačíme (Comb). Platí-l Comb(o ) =, říkáme, že kombace Comb pokrývá obekt o. Moža {Comb} e tedy moža obektů pokrytých kombací Comb. 3 Kategore e tedy kombace délky.
Jak ž bylo řečeo, kombace se vytvářeí z kategorí. Přdáváím kategorí ke kombac vzkaí eí adkombace, odebráím kategorí z kombace vzkaí eí podkombace. Jsou-l Comb, Comb 2 dvě růzé kombace takové, že A ( v ) : A ( v ) Comb A ( v ) Comb, k k k 2 e kombace Comb podkombací kombace Comb 2 a kombace Comb 2 adkombací kombace Comb. Pomocí pomu podkombace můžeme defovat částečé uspořádáí mez kombacem 4. Je-l kombace Comb podkombací kombace Comb 2, potom říkáme, že kombace Comb e obecěší ež kombace Comb 2 a že kombace Comb 2 e specálěší ež kombace Comb a zapsueme Comb Comb 2 Je-l kombace Comb obecěší ež kombace Comb 2, potom Comb pokrývá alespoň všechy ty obekty, které pokrývá Comb 2. Pro takové dvě kombace tedy platí resp. a tedy o : Comb 2 ( o ) = Comb( o ) = { Comb 2 } { Comb } (Comb 2 ) (Comb ). Je-l kombace Comb obecěší ež kombace Comb 2, pak e délka kombace Comb meší ež délka kombace Comb 2 l(comb ) < l(comb 2 ). Počet možých kombací všech možých délek závsí a počtu vstupích atrbutů a a počtu hodot edotlvých atrbutů. Je-l m počet vstupích atrbutů a K počet hodot -tého atrbutu, e počet všech kombací, které lze vytvořt. m ( K + ) = Všechy kombace lze uspořádat podle obecost do tzv. prostoru kombací. Prostor kombací má podobu oretovaého grafu, kde uzly sou kombace a každá hraa směřue z ěaké kombace délky l do eí adkombace délky l+. Hray tedy vyadřuí relac být obecěší (resp. být specálěší ) vz Obr. 4. 4 Pro dvě kombace Comb, Comb 2 totž emusí platt a Comb Comb 2 a Comb 2 Comb. 9
Obr. 4 Prostor kombací V případě učeí s učtelem se v datech vyskytue cílový atrbut C. Kategore cílového atrbutu budeme začt C(v t ). Každá kategore bude reprezetovat příklady ěaké třídy (koceptu). Ozačme t počet příkladů třídy t (tedy t =(C(v t )) ) a T počet tříd. Pro obektů v tréovacích datech D tedy platí = T t t= Velce často budeme řešt úlohu, kdy cílový atrbut má pouze dvě přípusté hodoty. V takovém případě budeme edu z hodot považovat za kocept, ehož pops se chceme aučt (budeme začt +). Kategore (moža) poztvích příkladů koceptu pak bude {C(+)} = { o : y = +} = D a kategore (moža) egatvích příkladů (resp. protpříkladů) tohoto koceptu pak bude {C(-)} = { o : y +} = D + - Data D tedy budou rozdělea do dvou tříd. D = D + D - V případě učeí s učtelem budeme hledat zalost použtelé pro klasfkac obektů do tříd. Zalost budou reprezetováy kombacem, které budeme chápat ako hypotézy vyadřuící vazbu mez hodotam vstupích atrbutů a edé straě a hodotou cílového atrbutu a straě druhé. Budou ás zaímat především tzv. kozstetí kombace. Kombace Comb e kozstetí, právě když pokrývá pouze příklady edé třídy: C(v ) o D : Comb( o ) = y = v t Ozačme a t = t (Comb) počet příkladů třídy t pokrytých kombací Comb. Potom (Comb) = T t= T ( Comb) = Pro kozstetí kombace pak estue třída C(v t ) taková, že (Comb) = a t. t t= a t t
V případě klasfkace do dvou tříd ás budou zaímat především kombace kozstetí s poztvím příklady koceptu. o D : Comb( o ) = y = + Dalším požadavkem bude, aby alezeé zalost pokrývaly všechy použté tréovací příklady. Nedá se samozřemě očekávat, že tuto vlastost bude mít edá kombace. Zalost tedy budou tvořey možou kombací. Ozačme tuto možu Desc. Pokud platí, že každý obekt z tréovací možy e pokryt ěakou kombací z možy Desc řekeme, že moža Desc e úplá. o D Comb Desc : Comb( o ) = Cílem učeí tedy bude alézt úplou možu kombací, které sou kozstetí s tréovacím daty. Dalším požadavkem může být, aby tato moža byla co emeší 5. Kombace budeme hledat v dříve zmíěém prostoru kombací. Teto prostor můžeme procházet (prohledávat) v zásadě dvěma způsoby: od obecěší kombace ke specálěší (krok specalzace), od specálěší kombace k obecěší (krok geeralzace). V kroku specalzace přdáme ke kombac ěakou kategor, v kroku geeralzace ěakou kategor z kombace odstraíme. Př specalzac resp. geeralzac tedy dvěma růzým směry procházíme prostor kombací. Postup od obecěších kombací ke specálěším se ěkdy azývá postup shora dolů (top dow), postup od specálěších kombací k obecěším se ěkdy azývá postup zdola ahoru (bottom up). Pro prohledáváí prostoru kombací se abízí řada strategí dobře zámých z ých oblastí umělé telgece [Wsto, 992]. Jeda z možostí e systematcky prohledat celý prostor kombací. Prohledávat můžeme do šířky (breath-frst), do hloubky (depth-frst), podle ěaké heurstky (apříklad podle četostí kombací), ebo áhodě. Uvedeé stratege můžeme alézt v algortmech pro hledáí asocačích pravdel, bude tedy o ch eště zmíka v příslušé kaptole. Jou možostí e proít e část prostoru opět áhodě ebo řízeě. Př řízeém prohledáváí to obvykle zameá důsledě s pro každý krok vybrat e tu elepší možost (tedy apříklad pro specalzac daé kombace e tu eperspektvěší kategor). Jedá se tedy v zásadě o gradetí strateg (podrobě o gradetích metodách v ásleduící podkaptole), v kotetu symbolckých metod stroového učeí azývaou best-frst ebo hll clmbg. Tyto stratege alezeme apříklad př tvorbě rozhodovacích pravdel ebo rozhodovacích stromů. Někde mez systematckým a gradetím strategem leží tzv. paprskové prohledáváí (beam search); př této strateg s pro každý krok evybereme pouze edou možost, ale paralelě sledueme určtý počet elepších možostí de tedy o omezeé prohledáváí do šířky. 5 Z tohoto požadavku plye, že by alezeé kombace měly být co eobecěší, aby eda kombace pokryla co evíce příkladů. Úplou možou kozstetích kombací totž může být taková moža, ve které ke každému obektu estue kombace délky m - tedy vlastě tréovací moža D + zapsaá ako kombace.
Ilustrume s předcházeící úvahy a edoduché úloze klasfkace kletů baky z hledska rzkovost poskytutí úvěru. Budeme hledat zalost, které ám a základě hodot atrbutů příem, koto, pohlaví, ezaměstaý, auto a bydleí umoží rozhodout, zda vyhovět žádost o úvěr. Tréovací data budou tvořea čtyřm obekty (Tab. ). Jedá se modfkovaý příklad uvedeý v [Mtchell, 997]. příem koto pohlaví ezaměstaý auto bydleí úvěr vysoký vysoké žea e ao vlastí + vysoký vysoké muž e ao vlastí + zký ízké muž e ao áemí - vysoký vysoké muž e e áemí + Tab. Tréovací data Zalost, které hledáme, budou tvořey kombacem kategorí. Ve shodě s Mtchellem zavedeme pro kozstetí kombac poem hypotéza. V ašem případě tedy hypotéza umožňue zařadt ěaký obekt do třídy úvěr(+) (tedy hypotéza reprezetue kocept úvěr(+)). Všechy hypotézy e možo grafcky zázort v tzv. prostoru hypotéz (hypothess space) H. Vzhledem k tomu, že sme hypotézy defoval ako kozstetí kombace, e teto prostor pouze částí prostoru kombací. Část prostoru hypotéz pro data z Tab. ukazue Obr. 5. Neobecěší hypotézou, která pokrývá všechy příklady e hypotéza délky 0, reprezetovaá prázdou kombací [ ]. Nespecálěším hypotézam sou hypotézy délky m, které reprezetuí edotlvé poztví příklady. Hypotézy zapsueme dříve zavedeým způsobem, tedy apř. Koto(vysoké)] 6. Příkladem algortmu, který postupue od specálěšího popsu k obecěšímu e Fd-S [Mtchell, 997] 7. Algortmus Fd-S hledá especálěší hypotézu, která e kosstetí se všem příklady hledaého koceptu. Algortmus postupě prochází poztví příklady a hledá ech společý pops. Negatví příklady emaí a učeí vlv (vz Obr. 6). V ašem příkladu algortmus postupě uvažue hypotézy Koto(vysoké),Pohlaví(žea),Nezaměstaý(e),Auto(ao),Bydleí(vlastí)] Koto(vysoké),Nezaměstaý(e),Auto(ao),Bydleí(vlastí)] Koto(vysoké),Nezaměstaý(e)] (vz.obr. 7). Př prohledáváí prostoru hypotéz tedy postupueme zdola ahoru. 6 Mtchell sám používá poěkud ý záps hypotéz. Obor hodot každého vstupího atrbutu doplňue o symbol? vyadřuící, že a hodotě atrbutu ezáleží (tedy že atrbut e relevatí). Kategore A(?) pokrývá všechy obekty; eí přdáí k ěaké kombac Comb tedy emá vlv a a logcké a a možové chápáí kombace Comb. Zavedeí hodoty? má čstě formálí důvody. Umožňue totž pracovat pouze s kombacem tvořeým kategorem všech vstupích atrbutů (tedy s kombacem délky m). Takové kombace Mtchell zapsue ako sezam hodot všech atrbutů. Tedy apř. záps [vysoký, vysoké,?,?,?,?] vyadřue kombac Koto(vysoké)]. Pro každý atrbut A přtom platí A(?) A(v k ). Neobecěší hypotéza e tedy zapsáa ako [?,?,?,?,?,?]. V této reprezetac hypotéz e krok geeralzace realzová ako áhrada ěkteré hodoty A(v k ) hodotou A(?) a krok specalzace realzová ako áhrada ěkteré hodoty A(?) hodotou A(v k ). Z Mtchellova přístupu e sado vdět, proč e počet všech kombací dá vzorcem (K + ). Vzorec počítá všechy kombace délky m, kde obor hodot každého atrbutu e rozšíře o hodotu?. 7 V původím Mtchellově algortmu má krok geeralzace (krok 2. algortmu) podobu: pro každý atrbut A f kategore A (v k ) epokrývá příklad o the ahraď tuto kategor eblžší obecěší kategor A (v g ) která pokrývá o
[ ]... [Pohlaví(žea)] [Příem(vysoký)] [Koto(vysoké)] [Bydleí(vlastí)]... Nezam(e)] Koto(vysoké)] [Koto(vysoké), Nezam(e)] Koto(vysoké), Nezam(e)] Koto(vysoké), Nezam(e), Auto(ao)] Koto(vysoké), Nezam(e), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e)] Koto(vysoké), Nezam(e), Auto(ao), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e), Bydleí(vlastí)] Koto(vysoké), Pohlaví(žea), Nezam(e), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e), Auto(ao)] Koto(vysoké), Pohlaví(muž), Nezam(e), Auto(e)] Koto(vysoké), Pohlaví(žea), Nezam(e), Auto(ao), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e), Auto(ao), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e), Auto(e), Bydleí(áemí)] Obr. 5 Prostor hypotéz Fd-S algortmus. přřaď do h especálěší hypotézu z H 2. pro každý poztví příklad o 2.. pro každou kategor A (v k ) z hypotézy h 2... pokud kategore A (v k ) epokrývá příklad o, potom odstraň tuto kategor z hypotézy h 3. vyde h Obr. 6 Algortmus Fd-S 3
S: Koto(vysoké), Nezam(e)] Koto(vysoké), Nezam(e), Auto(ao)] Koto(vysoké), Nezam(e), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e)] Koto(vysoké), Nezam(e), Auto(ao), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e), Auto(e)] Koto(vysoké), Pohlaví(žea), Nezam(e), Auto(ao), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e), Auto(ao), Bydleí(vlastí)] Koto(vysoké), Pohlaví(muž), Nezam(e), Auto(e), Bydleí(áemí)] Obr. 7 Prostor hypotéz prohledaý algortmem Fd-S Jým algortmem e Caddate-Elmato opět popsaý v [Mtchell, 997]. Na rozdíl od algortmu Fd-S budeme yí hledat všechy hypotézy, které sou kozstetí s tréovacím příklady. Tuto podmožu hypotéz, azývaou prostor řešeí (verso space), lze reprezetovat obecou hrací (geeral boudary G - especálěší obecá hypotéza) a specálí hrací (specfc boudary S - eobecěší specálí hypotéza). Algortmus hledá tyto hrace z obou koců prostoru hypotéz (Obr. 8). Pro poztví příklad se geeralzue specálí hypotéza tak, aby teto příklad pokrývala (hledá se specálí hrace), pro egatví příklad se specalzue obecá hypotéza tak, aby teto příklad epokrývala (hledá se obecá hrace). Pro aše data z Tab. povedou prví dva (poztví příklady) k alezeí S = { Koto(vysoké), Nezaměstaý(e),Auto(ao),Bydleí(vlastí)]} a G = {[]}, třetí (egatví) příklad povede ke změě G a {[Příem(vysoký)], [Koto(vysoké)], [Bydleí(vlastí)]}. Čtvrtý, poztví příklad povede ke změě S a { Koto(vysoké), Nezaměstaý(e)]} a ke změě G a {[Příem(vysoký)], [Koto(vysoké)]}. Výsledý prostor řešeí po zpracováí všech příkladů e uvede a Obr. 9.
Caddate-Elmato algortmus. přřaď do G možu eobecěších hypotéz z H 2. přřaď od S možu especálěších hypotéz z H 3. pro každý příklad o 3.. pokud o e poztví příklad, potom 3... odstraň z G všechy hypotézy, které epokrývaí příklad o 3..2. pro každou hypotézu s z S, která epokrývá příklad o 3..2.. odstraň s z S 3..2.2. přde do S emeší geeralzac h hypotézy s takovou, že h pokrývá příklad o a že v G e hypotéza obecěší ež h 3..3. odstraň z S hypotézy, které sou obecěší ež é hypotézy v S 3.2. pokud o e egatví příklad, potom 3.2.. odstraň z S všechy hypotézy, které pokrývaí příklad o 3.2.2. pro každou hypotézu g z G, která pokrývá příklad o 3.2.2.. odstraň g z G 3.2.2.2. přde do G emeší specalzac h hypotézy g takovou, že h epokrývá příklad o a že v S e hypotéza specálěší ež h 3.2.3. odstraň z G všechy hypotézy, které sou specálěší ež é hypotézy v G 4. vyde možy G a S Obr. 8 Algortmus Caddate-Elmato Obr. 9 Prostor řešeí Praktcké použtí obou uvedeých algortmů e omezeo skutečostí, že dobře fuguí pouze pro data bez kotradkcí. V dalších kaptolách se budeme podrobě zabývat symbolckým algortmy, které se dokáží s tímto omezeím vyrovat. Na závěr této podkaptoly eda pozámka. Učeí ako prohledáváí zde bylo chápáo ako prohledáváí prostoru kombací. Jak uvdíme pozdě, teto způsob odpovídá algortmům pro tvorbu pravdel. Jako prohledáváí prostoru řešeí (prostoru hypotéz) lze ale chápat é symbolcké metody stroového učeí. Prostor hypotéz by pak byl příslušě modfková; apříklad do podoby prostoru rozhodovacích stromů. 5
4.3 Učeí ako apromace fukcí Opět vycházíme z (ž dříve uvedeé) představy, že obekty téže třídy tvoří shluky v prostoru atrbutů. Jedotlvé shluky lze od sebe oddělt hrací kterou můžeme popsat ako fukc hodot edotlvých atrbutů. Př učeí se tedy sažíme a základě příkladů obektů edotlvých tříd alézt tuto fukc. Př apromac ěaké fukce se a základě hodot této fukce v koečém počtu bodů sažíme zrekostruovat eí obecou podobu (často vyádřeou aalytcky). Na rozdíl od terpolace epožadueme, aby alezeá fukce procházela zámým body. Cílem e alézt takovou fukc, která by co možá elépe vysthovala fukčí hodoty v bodech, které emáme k dspozc. Hledáí takového popsu e založeo a vyhodoceí odchylky mez skutečou fukčí hodotou ve zámém bodě a mez fukčí hodotou v tomto bodě, která vychází z hledaého popsu fukce. Naším cílem e mmalzovat celkovou odchylku ve všech zámých bodech ( Obr. 0). Obr. 0 Leárí terpolace vs. leárí apromace Př apromováí fukcí se obvykle používá metoda emeších čtverců popsaá v kaptole věovaé statstckým metodám. Přpomeňme zde tedy e to, že př použtí této metody mmalzueme součet druhých moc odchylek mez skutečou hodotou y a vypočítaou hodotou ŷ. Př výpočtu hodoty y přtom předpokládáme určtý typ fukčí závslost y = f() specfkovaý pouze svým parametry (ozačme e symbolem q), a metodou emeších čtverců hledáme tyto parametry. Hledáí mma celkové odchylky m Err(f, D ) = m (y - y ) 2 f f = se pak převádí a řešeí rovce d dq ( ) = y - f( ) 2 = 0 V případě aalytckého vyádřeí hledaé fukce f() (to e případ regresí ebo dskrmačí aalýzy kdy se volí typ fukce) lze z výše uvedeé rovce spočítat a základě příkladů o = [, y ] eí parametry q.
V případě, že tvar hledaé fukce ezáme, e třeba použít umercké metody. Mmum fukce se pak hledá teračím gradetím metodam. Tyto metody sou založey a tom, že z daého místa (aktuálí hodoty fukce) se př hledáí mma pohybueme ve směru evětšího spádu (gradetu) Err(q) = Err Err Err,,...,. q 0 q q Q Modfkace zalostí q = [q 0, q,..., q Q ] pak probíhá podle algortmu kde q q + q q Err = - η q a η e parametr vyadřuící velkost kroku kterým se přblžueme k mmu fukce Err. Je-l apř. chybová fukce Err(f, D = (y - y ) ) = (y - f`( )) 2 2 a předpokládaá fukce f leárí kombací vstupů f() = q, můžeme odvodt gradet fukce Err ako Err q = 2 q = q 2 2 2 ( ) 2( y -y ) ( y -y ) = ( y -y ) ( y - q ) = ( y -y )( - ) y -y = 2 = = = = = q a tedy ( ) q = η y - y = Gradetí metody se používaí př učeí euroových sítí ebo př evolučím programováí. Na rozdíl od prvího případu (aalytcké vyádřeí hledaé fukce), kdy alezeme globálí mmum celkové odchylky, gradetí metody dokoverguí do eblžšího mma, které bývá často pouze mmem lokálím. Gradetí metody tak můžeme přrovat k pohybu kulčky v hrbolatém teréu (Obr. ). Výsledek (parametry hledaé fukce) slě závsí a počátečím stavu, ze kterého mmum začíáme hledat. Ze stavu S dokovergueme do mma M, ze stavu S 2 dokovergueme do mma M 2. Jedou z cest ak se s tímto problémem vypořádat e tzv. smulovaé žíháí (smulated aealg). Myšleka smulovaého žíháí vychází z aaloge s metalurgí. Zde se žíháím azývá opětové zahřátí kovu během eho chladutí. Výsledkem tohoto procesu e pevěší materál, atomy kovu se lépe uspořádaí. Smulovaým žíháím (v souvslost s gradetím metodam) se myslí drobá změa parametrů fukce v okamžku, kdy algortmus dokovergoval do mma. Změou parametrů se samozřemě z mma vychýlíme. Př opakovaém použtí gradetí metody e pak stá šace, že algortmus dokovergue do mma hlubšího; vychýleí ám totž může umožt přeskočeí baréry 7
v okolí prvího alezeého mma. Gradetí metodou dokovergueme ze stavu S do mma M, s pomocí smulovaého žíháí bychom ale mohl alézt mmum M 2. Obr. Gradetí metody Pozorý čteář s stě všml, že výklad v této podkaptole se ápadě shodue s popsem regresích metod z kaptoly předcházeící. Tato podobost eí áhodá. Učeí ako apromace fukcí e výrazě ovlvěo statstckým metodam to se týká především euroových sítí. Nevětší rozdíly sou tedy spíše v oblast termologcké. Tab. 2 uvádí základí odlšost v používaých pomech. stroové učeí statstka učeí odhadováí parametrů tréovací data vzorek dat příklad (z tréovací možy) pozorováí cílový atrbut závslá velča vstupí atrbut ezávslá velča chyba resduál váha (u euroových sítí) regresí koefcet Tab. 2 Termologcké rozdíly mez stroovým učeím a statstkou Lteratura: [Bruha, 993] Bruha,I.: Mache learg: Emprcal Methods. I Proc: Softwarový semář SOFSEM 9, 99 [Bruha, Berka, 2000] Bruha,I. - Berka,P.: Dscretzato ad Fuzzfcato of Numercal Attrbutes Attrbute- Based Learg. I: Szcepaak,P.S. - Lsboa,P.J.G. - Kacprzyk,J.: Fuzzy Systems Medce. Sprger. 2000. ISBN 3-7908-263-3. [Klosge, Zytkow, 997] Klosge,W. - Zytkow,J.: Kowledge Dscovery ad Data Mg. Tutoral Notes. PKDD 97. Trodhem. [Kotek a kol., 980] Kotek,Z. - Chalupa,V. - Brůha,I. - Jelíek,J.: Adaptví a učící se systémy. SNTL, Praha, 980. [Mchalsk a kol., 983] Mchalsk,R. Carboell,J. Mtchell,T.: Mache Learg: A Artfcal Itellgece Approach. Toga Publ., 983. [Mtchell, 997] Mtchell,T.: Mache Learg. McGraw-Hll. 997. ISBN 0-07-042807-7 [Wsto, 992] Wsto,P.H.: Artfcal Itellgece. Addso Wesley. 992. ISBN 0-20-53377-4