NÁVRH ALGORITMŮ NA BÁZI UMĚLÝCH IMUNITNÍCH SYSTÉMŮ PRO ÚLOHY KLASIFIKACE

NÁVRH ALGORITMŮ NA BÁZI UMĚLÝCH IMUNITNÍCH SYSTÉMŮ PRO ÚLOHY KLASIFIKACE Luděk Kopáček, Vladmír Ole Unverzta Pardubce, Fakulta ekonomcko-správní, Ústav systémového nženýrství a nformatky Abstract: The paper presents artfcal mmune systems as a novel approach to classfcaton task. The work s focused on algorthm Immunos-99, CLONALG and CLONCLAS. For algorthm Immunos-99 s desgned new verson wth parameterzed dynamcal tresholdng. These algorthms are used for muncpal credtworthness modellng and benchmark dataset Irs plant. Fnally the comparson wth results of another algorthm s presented. Keywords: Artfcal mmune system, Immunos-99, CLONALG, CLONCLAS, muncpal credtworthness modellng. 1. Úvod Umělé muntní systémy (Artfcal Immune Systems, AIS) představuí novou oblast výpočtové ntelgence. Tyto systémy sou nsprovány prncpy a mechanzmy přrozených muntních systémů. Jech základním úkolem e rozlšovat mez buňkam vlastního organzmu a czorodým materály. Látky, které e muntní systém schopen rozeznat, se nazývaí antgeny. Pro umělé muntní systémy se využívá prncpů tzv. specfcké munty, která se vyvíí na základě zkušeností organzmu s czorodým látkam (tzv. naučená munta). Základním aktéry specfcké munty sou T-lymfocyty, B-lymfocyty a protlátky. Pro umělé muntní systémy se často nerozlšuí a používaí se pouze protlátky. Na základě použtých prncpů se umělé muntní systémy dělí [9] na systémy založené na populacích, systémy založené na prncpech muntní auto-tolerance a systémy založené na teor muntních sítí. Teore muntních sítí pohlíží na muntní systém ako na síť efektorových buněk, které vzáemně nteraguí. Imuntní auto-tolerance defnue mechanzmy, které zašťuí, že muntní systém nepůsobí prot buňkám vlastního organzmu. Umělé muntní systémy založené na populacích využívaí prncpů klonální selekce a afntní maturace pro vývo populace protlátek. Pro úlohu klasfkace sou využívány umělé muntní systémy založené na populacích, které se během generací vyvíí. Vývo této populace prvků e řízen afntou mez protlátkam a antgeny, které reprezentuí vněší prostředí. Nevíce stmulované protlátky (s nevyšší hodnotou afnty) sou dále klonovány a podstupuí proces afntní maturace, který e také řízen afntou mez příslušnou protlátkou a prezentovaným antgenem. Vývo populace e dán způsobem reprezentace ednotlvých prvků a ech vzáemného působení prostřednctvím afnty. Prvním představtelem umělých muntních systémů, založeným na prncpech klonální selekce, použtým pro úlohu klasfkace e algortmus CLONALG (Clonal Selecton Algorthm) [5], [9], [10], [14]. V [31] byla na základě tohoto algortmu navržena nová verze nazvaná CLONCLAS (Clonal Classfcaton). Dalším představtelem AIS, založeným na populacích, e algortmus AIRS (Artfcal Immune Recognton System) [27]. Tento algortmu e založen na prncpu tzv. RB nebo ARB (Recognton Ball nebo Artfcal Recognton Ball), které by bylo možné označt ako oblast rozpoznání nebo umělá oblast rozpoznání. Další skupnou algortmů určených pro úlohu klasfkace sou algortmy Immunos. Prvním představtelem této skupny populačně založených algortmů e 64

algortmus Immunos-81 [8], na základě kterého byly v [6] navrženy varanty Immunos-1, Immunos-2 a Immunos-99. V této prác budou použty algortmy Immunos-99, CLONALG a CLONCLAS na klasfkační úlohu modelování bonty obcí a na klasfkac standardního datového souboru Irs plant. 2. Algortmus Immunos-99 Algortmus Immunos-99 [6] patří do skupny algortmů Immunos. Prvním představtelem této skupny populačně založených algortmů e algortmus Immunos-81 [8]. Dle autora bylo cílem Immunos-81 vytvořt algortmus s ednoduchou nterní reprezentací, schopností zobecnt vstupní data s nomnálním, spotým proměnným a schopností pracovat s velkým množstvím vzorů. Mez vlastnost tohoto algortmu lze také zahrnout predkovatelnou dobu učení a možnost průběžného učení. Vzhledem k nedostačuícímu popsu tohoto algortmu byly v [6] vytvořeny algortmy Immunos-1 a Immunos-2, které byly založeny na stených prncpech s cílem reprodukovat výsledky algortmu Immunos-81. V [6] byl dále navržen algortmus Immunos-99, který rozšřue vlastnost předchozích verzí. V článku bude pro úlohu klasfkace použta právě varanta Immunos-99. Vstupní množna s trénovacím daty se v rámc termnologe používané př popsu AIS označue ako množna antgenů Ag Ag { ag ag = ag, ag,, ag,, ag ), ag S } l = (, 1,2, K, l K, (1) kde ag e -tý antgen množny Ag, l e počet atrbutů popsuících daný antgen a ag, e -tý atrbut -tého antgenu ag. Analogcky k množně antgenů Ag lze defnovat množnu protlátek Ab Ab ab ab = ab, ab, K, ab,, ab ), ab S l, (2) { } = (, 1,2, K, l kde ab e -tá protlátka Ab, l e počet atrbutů popsuících danou protlátku a ab, e -tý atrbut protlátky ab. Dále e defnována množna tříd Cl ako Cl = { 1,2, K, }, (3) n class kde n class e počet tříd pro danou úlohu. Pro další pops se defnue funkce class ako zobrazení ze stavového prostoru S l do množny tříd Cl class : S l Cl. (4) Funkce class tedy pro každý antgen ag Ag nebo protlátku ab Ab vrátí třídu c Cl, do které patří. Množny Ab a Ag lze pak defnovat ako Ab ab ab Ab; class ab =, (5) { ( ) } = c { ag Ag class( ag ) } Ag ag ; =. (6) = c Pops fáze učení algortmu Immunos-99 pomocí pseudo-kódu e uveden na obr. 1. Prvním krokem v rámc fáze učení algortmu Immunos-99 e ncalzace (funkce IntImmunos99 na obr. 1), která spočívá v rozdělení množny antgenů Ag na ednotlvé podmnožny Ag dle (6). Dále e ncalzována množna protlátek Ab tak, že z množny Ag sou náhodně vybírány antgeny a pro každý z nch e klonováním vytvořena právě edna protlátka, která e zařazena do množny této množny Ab. Velkost množny Ab e ve vztahu k velkost Ag dána vstupním parametrem n nt fáze učení tohoto algortmu 65

n nt Ab = Ag. (7) [Ab m ] := Functon Immunos99Tran (Ag, n nt, n gen, t) Begn Ab = IntImmunos99(Ag, n nt ); For gen := 1 to n gen do For each Ab do For each ab Ab do ft = countftness (ab,ag); [Ab, n pc ]= performprunng(ft, Ab, t); Ab = performclonngandmutaton(ab ); Ab = nsertrandomantgens(ab, n pc ); For each Ab do For each ab Ab do ft = countfnalftness (ab, Ag); Ab m, = performprunng(ft, Ab, t); return Ab m ; End; Obr. 1: Pops fáze učení algortmu Immunos 99 pomocí pseudo-kódu Množna protlátek Ab e dále také rozdělena na podmnožny Ab dle (5). V každé generac e pro každou protlátku ab z množny protlátek Ab vypočtena hodnotící metrka, která označue ak dobře daná protlátka ab rozpoznává antgeny z množny Ag, které patří do stené třídy. Na obr. 1 e tento koefcent označen ako ft, který e výsledkem volání funkce countftness(ab,ag). Hodnota ft pro každou protlátku ab z dané množny protlátek Ab e dána ako ( Ag) correct ft = ftness ab, =, (8) ncorrect correct = ncorrect = agx Ag class( agx ) = class ( ab ) ( ) score ab, ag x, (9) agx Ag class( agx ) class ( ) score ab, ag x. (10 ( ab ) ) Hodnota score(ab,ag x ) se stanoví na základě výpočtu metrky D(ab,ag x ) mez protlátkou ab a antgenem ag x l (, agx ) = ( ab, ag x, ) D ab. (11) = 1 2 66

Hodnota score(ab,ag x ) e pak dána ( ag x ) = Ab ndex score ab,, (12) kde ndex e pořadové číslo protlátky ab Ab v seznamu setříděném podle hodnoty D(ab,ag x ) v rostoucím pořadí (číslováno od nuly) a Ab e počet protlátek v množně Ab. Pro protlátku ab s nemenší hodnotou D(ab,ag x ) (nevíce podobný antgen ag x a protlátka ab ) e hodnota score(ab,ag x ) = Ab (nevětší), pro protlátku ab k s nevětší hodnotou D(ab,ag x ) (neméně podobný antgen ag x a protlátka ab ) e hodnota score(ab,ag x ) = 1. Do výpočtu hodnoty ft se tak nepromítá absolutní velkost hodnoty D(ab,ag x ), ale pouze ech vzáemný vztah. Výpočtem hodnoty ft pro všechny protlátky ab z množny Ab e dán vektor ohodnocení této množny ako ( ft, ft, 2 K, ft,, ft ) ft =. (13) 1 K Funkce performprunng(ft,ab,t) odstraní z množny protlátek Ab nekvaltní ednce. Z množny Ab sou odstraněny protlátky ab x, echž hodnota ft x e menší než defnovaný práh t, který e vstupním parametrem fáze učení tohoto algortmu. Množna Ab e tedy po elmnac vyádřena takto Ab { Ab ft t} ' Ab = ab ;. (14) ab > Hodnoty ft se př nerovnoměrném rozložení protlátek mez množnam Ab mohou řádově lšt. Proto e absolutní nastavení prahu v tomto případě problematcké. Jedna hodnota prahu t může úplně potlačt protlátky v edné množně Ab. Pokud e hodnota t = -1, e ako práh použta průměrná hodnota prvků vektoru ft dané množny protlátek Ab. Množna Ab e v tomto případě po elmnac vyádřena následuícím způsobem { Ab ft mn( ft,1) } Ab ab >, (15) ' = ab ; avg kde ft avg e průměrná hodnota atrbutů vektoru ft. Tento způsob, který neumožňue ovlvnt úroveň potlačení, bude dále nazýván ako dynamcké prahování bez parametru. Z tohoto důvodu e v tomto článku navržen nový způsob prahování nazvaný dynamcké prahování s parametrem, které využívá výhod obou uvedených způsobů. Množna Ab e pak dána ' Ab = { ab ab Ab ; ft > mn( t ftavg,1) }. (16) Dynamcké prahování s parametrem umožňue ovlvnt úroveň potlačení protlátek a zároveň respektue rozsah hodnot ft pro danou množnu Ab. Počet potlačených protlátek n pc e dán rozdílem velkostí obou populací n pc = Ab Ab. (17) ' Funkce performclonngandmutaton(ab ) doplní množnu protlátek o nové protlátky, které byly vytvořeny klonováním a mutací stávaící množny protlátek Ab Ab = Ab Ab, (18) ' clone ( ) Ab = U =1 Ab clone Ab clone ab, (19) 67

kde Ab clone (ab ) e množna dentckých klonů vytvořených z protlátky ab. Pro každou protlátku ab Ab e vytvořeno n clone (ab ) dentckých klonů r( ab) nclone( ab ) = Ag + 0,5, (20) r( abk ) ab k Ab ndex r ( ab ) =, (21) Ab kde ndex e pořadové číslo ab Ab v seznamu setříděném podle hodnoty ft v rostoucím pořadí a Ab e počet protlátek v množně Ab. Pro protlátku ab s nemenší hodnotou ft e hodnota ndex = 1, pro protlátku ab k s nevětší hodnotou ft k e hodnota ndex k = Ab. Všechny protlátky ab k z množny Ab clone (ab ) (t. všechny klony ab k, které vznkly z protlátky ab ) následně podstoupí mutac. Mutace e nepřímo úměrná hodnotě r(ab ) vypočtené dle (21). Mutace probíhá pro každý atrbut protlátky ab k Ab clone (ab ) odděleně. Funkce nsertrandomantgens(ab,n pc ) přpoí do dané množny Ab náhodně vybrané antgeny z Ag echž počet e dán hodnotou parametru n pc (17), který defnue počet potlačených protlátek v rámc kroku realzovaného funkcí performprunng(ft, Ab,t). Funkce countfnalftness(ab,ag) vypočítá hodnotu ftness steným způsobem ako funkce countftness(ab,ag), t. dle vztahu (8), pouze ným výpočtem hodnoty score(ab,ag x ) 1 pro ab = arg mn( D( abk, agx )) score ( ) = Ab fnal ab, ab ag k x. (22) 0 nak Výsledkem fáze učení algortmu Immunos-99 e množna paměťových protlátek Ab m, které představue vntřní reprezentac trénovací množny a e dána ako n U class Ab m = Ab m,, (23) = 1 kde Ab m, e množna paměťových protlátek odpovídaící třídě c. Fáze klasfkace spočívá v nalezení správné třídy c pro neznámý antgen ag x. Proces přřazení neznámého antgenu k edné populac paměťových protlátek Ab m, e založen na výpočtu avdty [6] mez neznámým antgenem a všem populacem paměťových protlátek Ab m, pomocí vztahu Abm, avdty1 ( agx, Abm, ) =, D( ag, ab ) (24) ab Ab m, kde Ab m, e počet protlátek v množně Ab m, a D(ag x,ab ) e metrka stanovená dle (11). Neznámý antgen ag x e zařazen do třídy reprezentované populací protlátek Ab m,, pro kterou dosahue avdta (24) nevětší hodnoty cx = arg max( avdty1 ( agx, Abm, )). (25) V rámc popsu fáze učení algortmu Immunos-99 byly uvedeny tyto parametry, které ovlvňuí chování algortmu: x 68

Parametr n nt [%] Defnue počáteční velkost množn protlátek Ab. Určue, kolk procent ednců ze vstupní množny bude tvořt počáteční populac. Rozsah hodnot n nt = (0%; 100%>. Parametr n gen Defnue počet generací pro fáz učení. Parametr t defnue práh pro krok elmnace. 3. CLONALG Algortmus CLONALG [5], [9], [10], [14] využívá prncpů klonální selekce a afntní maturace. Ucelený hstorcký přehled vývoe algortmu CLONALG lze nalézt v [4]. V [11] byly publkovány dvě verze základního algortmu označené ako CLONALG1 a CLONALG2, které se lší způsobem formování populace mez ednotlvým generacem. V [28] byl publkován algortmus CLONALG, kde populace byla zpracovávána paralelně na několka procesorech. Navržený algortmus byl použt na úlohu rozpoznávání vzorů uvedenou v [10]. Uvedená varanta paralelního algortmu CLONALG demonstrue, že paralelní technky lze efektvně použít pro umělé muntní systémy. Pops fáze učení algortmu CLONALG pomocí pseudo-kódu e uveden na obr. 2. Vstupem fáze učení sou parametry: množna protlátek Ag, počet generací pro fáz učení n gen, velkost populace protlátek n Ab, velkost populace paměťových protlátek n m, počet protlátek pro fáz selekce n s, klonální faktor β, počet náhodně vygenerovaných protlátek pro udržení dverzty populace během učení n d. [Ab m ] := Functon ClonalgTran (Ag, n gen, n Ab, n m, n S, β, n d ) Begn [Ab m, Ab r ] = ntclonalg(ag, n Ab, n m ); Ab = Ab m Ab r ; For := 1 to n gen do For each ag Ag do af = affnty(ag, Ab); Ab s = select(ab, af, n s ); C = clone(ab s,, af); C = mutateclones(c, af); af = affnty(ag, C ); ab c = select(c, af, 1); Ab m = nsert(ab m, ab c ); Ab r = replace(ab r, n d, af); return Ab m ; End; Obr. 2: Pops fáze učení algortmu CLONALG pomocí pseudo-kódu V rámc ncalzace (funkce ntclonalg na obr. 2) e náhodně vytvořena množna paměťových protlátek Ab m a množna ostatních protlátek Ab r, pro které platí Ab m = n Ab, (26) n = Ab = n n. (27) r r Ab m 69

Incalzace množn Ab m a Ab r probíhá tak, že tyto množny maí stené rozložení protlátek mez třídam ako e rozložení antgenů mez třídam v množně Ag. Množna protlátek Ab pro fáz učení e pak dána ako sednocení množny paměťových protlátek Ab m a ostatních protlátek Ab r. V rámc každé generace e stanovena afnta mez aktuálně vybraným antgenem ag a populací protlátek Ab. V [10] e pro výpočet afnty použta metrka dle (11). Výsledkem e vektor af, kde ednotlvé složky vektoru af sou dány ako ( af, af2, K, af,, ) af = 1 K af nab, (28) ( ) af = D ag,. (29) ab Vzhledem ke způsobu stanovení afnty v rámc algortmu CLONALG e nutné v dalším popsu tohoto algortmu počítat s tím, že malá hodnota afnty af dle (29) znamená velkou míru podobnost antgenu ag a protlátky ab, a opačně. Na základě vypočteného vektoru af e vytvořena množna Ab s výběrem n s nelepších protlátek (s nemenší hodnotou af ) z Ab ve vztahu k danému antgenu ag. Pro každou vybranou protlátku ab Ab s sou vytvořeny klony, echž počet e dán vztahem nc = β n Ab, (30) kde e ndex v seznamu protlátek z množny Ab s setříděný dle af od nelepší po nehorší. Pro nelepší protlátku z množny Ab s e tedy vygenerováno nevíce klonů. Výsledkem funkce clone (vz obr. 2) e množna všech klonů C, která e následně podstoupena mutac. Mutace tedy probíhá pro ednotlvé množny klonů C, které odpovídaí protlátce ab s hodnotou afnty af. Klony, které vznkly z protlátky s malou hodnotou af, maí malou míru mutace (sou pozměněny pouze nepatrně), na rozdíl od klonů vznknuvších z protlátky s velkou hodnotou af, které sou mutací ovlvněny více. Kvaltní ednc sou tedy procesem mutace ovlvněn en nepatrně, na rozdíl od méně kvaltních ednců, které mutace změní více. Úroveň mutace e dána hodnotou proměnné α, která e vypočtena na základě hodnoty afnty af ako af max af α = exp, (31) kde af e hodnota afnty odpovídaící protlátky ab dle (29), ze které byl mutovaný klon vytvářen a af max e maxmální hodnota afnty pro celou množnu protlátek Ab. Z výsledné množny C se pomocí funkce affnty(ag,c ) (vz obr. 2) vypočítá hodnota afnty pro všechny nově vytvořené protlátky ab k C. Výsledkem e vektor af, kde ednotlvé složky vektoru af představuí hodnotu afnty mez antgenem ag a protlátkou ab k C ' ' ' ' ' af = af1, af2, K, af, K, af ', (32) C kde hodnota af e dána vztahem (29), kde ako argumenty sou použty antgen ag a protlátka ab k C. Následně e z množny C vybrána protlátka ab c s nelepší hodnotou afnty stanovenou v předchozím kroku. Pokud e hodnota afnty protlátky ab c C ve vztahu 70

k antgenu ag lepší než hodnota afnty nelepší paměťové protlátky ab best Ab m, dode k eímu nahrazení protlátkou ab c (funkcí replace na obr. 2). Na závěr každého cyklu pro antgen ag e v rámc funkce replace (vz obr. 2) vyměněno n d protlátek z množny Ab r s nehorší hodnotou afnty ve vztahu k antgenu ag za náhodně vygenerované protlátky ab y S l. Fáze učení e ovlvněna nastavením počtu generací n gen, velkostí populace protlátek n Ab, velkostí populace paměťových protlátek n m, počtem protlátek pro fáz selekce n s, klonálním faktorem, početem náhodně vygenerovaných protlátek n d. Výsledkem e množna paměťových protlátek Ab m. V rámc klasfkace e neznámý antgen ag x zařazen do třídy c x, která odpovídá paměťové protlátce ab best Ab m s nelepší hodnotou afnty ve vztahu k antgenu ag x. 4. CLONCLAS V [31] byla navržena nová verze algortmu CLONALG nazvaná CLONCLAS (Clonal Classfcaton). Pops fáze učení algortmu CLONCLAS pomocí pseudo-kódu e uveden na obr. 3. Vstupem fáze učení sou stené parametry ako pro algortmus CLONALG. [Ab m ] := Functon ClonclasTran (Ag, n gen, n Ab, n m, n S, β, n d ) Begn [Ab m, Ab r ] = ntclonalg(ag, n Ab, n m ); Ab = Ab m Ab r ; For each ag Ag do For := 1 to n gen do af = affnty(ag, Ab); Ab s = select(ab, af, n s ); C = clone(ab s,, af); C = mutateclones(c, af); af = affnty(ag, C ); ab c = select(c, af, 1); Ab m = nsert(ab m, ab c ); Ab r = copypopulaton(c ); Ab r = replace(ab r, n d, af); return Ab m ; End; Obr. 3: Pops fáze učení algortmu CLONCLAS pomocí pseudo-kódu Prot algortmu CLONALG e v tomto případě změněno pořadí provádění ednotlvých cyklů. V případě algortmu CLONALG se v rámc každé generace prode celá množna antgenů. V tomto případě se množna antgenů prochází pouze ednou (vněší cyklus), ale každý antgen ag Ag nterague s množnou protlátek Ab v daném počtu generací n gen. Zbývaící část obou algortmů e shodná. Algortmus CLONCLAS obsahue navíc funkc copypopulaton, která realzue částečnou nebo úplnou náhradu množny Ab r protlátkam z množny C. Zdal dode k úplné nebo částečné náhradě se řídí vzáemnou velkostí obou množn: Pokud pro velkost obou množn platí vztah C > Ab r = n r, e množna Ab r plně nahrazena n r nelepším protlátkam z množny C podle hodnoty afnty ve vztahu k aktuálnímu antgenu ag. 71

Pokud pro velkost obou množn platí vztah C = Ab r, e množna Ab r plně nahrazena množnou C. Pokud pro velkost obou množn platí vztah C = nc < Ab r, e v množně Ab r nahrazeno nc nehorších protlátek (podle hodnoty afnty ve vztahu k aktuálnímu antgenu ag ) protlátkam z množny C. Fáze klasfkace a pops parametrů ovlvňuících chování tohoto algortmu e stený ako pro algortmus CLONALG. 5. Návrh expermentů Vyhodnocení popsaných algortmů Immunos-99, CLONALG a CLONCLAS bude provedeno na dvou klasfkačních úlohách. První úlohou bude modelování bonty obcí, kde na základě známého ohodnocení trénovací skupny obcí budou klasfkovány obce z testovací množny. Třídy představuí ednotlvé bontní ohodnocení. Druhou úlohou bude klascká klasfkační úloha na datovém souboru Irs plant. Oba datové soubory budou rozděleny na trénovací a testovací množnu tak, že obě množny maí stené rozložení vzorů v ednotlvých třídách [21]. Trénovací data budou použta pro nastavení použtého algortmu, který s pomocí těchto dat vytvoří vntřní reprezentac, kterou následně využe pro klasfkac neznámých vzorů. Testovací data budou sloužt k ověření klasfkátoru a eho nterní reprezentac dat. Vzory z trénovací množny budou ohodnoceny klasfkátorem a výsledná klasfkace bude porovnána se správným přřazením ke třídě. Klasfkační úlohu lze defnovat ako zobrazení nad dvěma množnam [21]. Každý vzor e popsán vektorem parametrů x X a e přřazen právě do edné třídy c Cl, kde X e množna vzorů a Cl e množna tříd. Klasfkační pravdlo lze defnovat ako zobrazení z množny vzorů X do množny tříd Cl λ : X Cl, (33) c = λ( x ). (34) Zobrazení tak představue rozklad množny X na n c vzáemně dsunktních podmnožn, kde n c e počet tříd. Cílem klasfkátoru e nalézt na základě trénovací množny takový rozklad, resp. zobrazení, které nelépe odpovídá zobrazení. Navržený model e znázorněn na obr. 4. Obr. 4: Modelování bonty obcí pomocí AIS Vzhledem k náhodné složce algortmů Immunos-99, CLONALG a CLONCLAS bude v rámc každého expermentu provedeno n pok = 10 pokusů pro dané nastavení parametrů. Úspěšnost klasfkace -tého pokusu Acc e dána tvarem 72

Acc n cor, =, (35) ntest kde n cor, e počet správně klasfkovaných vzorů z testovací množny a n test e počet vzorů v testovací množně. Každý experment tak bude vyhodnocen průměrnou úspěšností klasfkace Acc avg a maxmální hodnotou úspěšnost klasfkace Acc max dosaženou na trénovací množně s daným nastavením. Expermenty pro algortmy Immunos-99 a CLONALG byly realzovány v rámc prostředí WEKA [32] s využtím Weka Classfcaton Algorthms [7]. První úlohou použtou pro vyhodnocení uvedených algortmů e modelování bonty obcí. Bonta znamená schopnost a ochotu obce splácet svů dluh. Použtý datový soubor obsahue hodnocení bonty obcí Pardubckého krae [15], [16], [18], [24] a e tvořen 12 popsným proměnným [15], [24], které popsuí 452 obcí Pardubckého krae. Hodnoty proměnných odpovídaí stavu z roku 2004 a zahrnuí dluhové, fnanční a demografcké ukazatele obcí. Trénovací množna reprezentue hstorcké ohodnocení bonty obcí a na eím základě e vytvořen vntřní model, podle kterého e stanovena bonta pro nově hodnocenou obec z testovací množny. Vlastní analýza pro stanovení bonty hodnocené obce e poměrně náročný proces a výsledné hodnocení e fnančně náročné. Proto e motvace vytvořt alespoň částečně automatzovanou metodu hodnocení obcí, která vytvoří první náhled na bontu obce s menší časovou a odbornou náročností a tím s menším náklady. V lteratuře lze nalézt různé modely na báz neuronových sítí, fuzzy množn nebo expertních systémů pro predkování a vysvětlení ratngu [2], [3], [22], [23], [25], [33]. Druhým použtým datovým souborem e Irs plant [1], který obsahue 150 vzorů popsuících ednotlvé kosatce. Každý vzor e popsán pomocí 4 reálných atrbutů. Jednotlvé vzory sou rozděleny do tří tříd. Každá třída reprezentue eden druh kosatce. Jedna třída e lneárně separablní od ostatních vzorů, ale zbylé dvě třídy ž nesou lneárně separablní. 6. Analýza výsledků Kaptola obsahue úspěšnost klasfkace získané ednotlvým algortmy pro modelování bonty obcí a pro datový soubor Irs plant. V tab. 1 e uvedena průměrná a maxmální hodnota úspěšnost klasfkace pro algortmus Immunos-99 př modelování bonty obcí. Př navrženém způsobu dynamckého prahování s parametrem bylo dosaženo lepších výsledků ak z hledska průměrné úspěšnost klasfkace, tak z hledska ech maxmálních hodnot. Pro dosažení uvedených výsledků bylo př dynamckém prahování s parametrem potřeba menší počet generací, než v případě orgnální verze bez parametru. Tab. 1: Výsledky klasfkace pro modelování bonty obcí pomocí algortmu Immunos-99 Verze alg. Immunos-99 t n gen n nt [%] Acc avg [%] Acc max [%] dynamcké prah. bez parametru -1 40 90 89.76 90.27 1.06 dynamcké prah. s parametrem -0.9 25 90 90.00 91.15 1.12 Výsledky získané pomocí algortmů CLONALG a CLONCLAS sou uvedeny v tab. 2. Algortmus CLONALG dosáhl vyšší hodnoty maxmální úspěšnost klasfkace Acc max = 92.04%. Na druhou stranu algortmus CLONCLAS dosáhl větší hodnoty průměrné úspěšnost klasfkace Acc avg = 89.20%. Nastavení parametrů bylo v obou případech srovnatelné. Pouze v případě algortmu CLONCLAS byly dosažené výsledky získány s vyšší hodnotou parametru n s. 73

Tab. 2: Výsledky klasfkace pro modelování bonty obcí získané algortmem CLONALG a CLONCLAS Algortmus n gen n Ab n m n s n d Acc avg [%] Acc max [%] CLONALG 10 425 340 42 0.2 60 88.41 92.04 2.52 CLONCLAS 10 465 372 139 0.1 70 89.20 91.15 1.36 V tab. 3 [17] e uvedeno srovnání dosažených průměrných výsledků algortmu Immunos-99 (dynamcké prahování bez parametru a navržená verze dynamckého prahování s parametrem), CLONALG a CLONCLAS s výsledky získaným pomocí ných algortmů. Výsledky ostatních uvedených algortmů byly převzaty z [17]. Z použtých algortmů byly nelepší průměrné výsledky úspěšnost klasfkace dosaženy pomocí algortmu Immunos-99 s navrženým dynamckým prahováním s parametrem. Použté algortmy lze použít pro modelování bonty obcí, ale dosažené výsledky otevíraí možnost ech další optmalzace. Tab. 3: Srovnání nelepších výsledků získaných v rámc modelování bonty obcí Algortmus Acc avg [%] Acc max [%] LVQ1 91.33 92.92 0.97 FFNN 90.56 92.04 1.33 OLVQ1 90.44 92.92 1.45 ARTMAP 90.34 93.36 3.81 LVQ3 90.09 92.04 1.45 Immunos-99 dyn. s param. 90.00 91.15 1.12 RBF 89.93 94.69 2.88 LVQ2 89.91 92.04 1.61 SVM 89.76 91.15 1.83 Immunos-99 dyn. bez param. 89.76 90.27 1.06 CLONCLAS 89.20 91.15 3.03 CLONALG 88.41 92.04 2.52 KNN 87.46 90.27 3.38 LNN 84.60 85.84 0.79 PNN 83.34 85.84 1.89 MLRM 81.42 86.73 5.31 Další expermenty byly provedeny pro datový soubor Irs plant. V tab. 4 sou uvedeny výsledky pro datový soubor Irs plant získané pomocí algortmu Immunos-99. V rámc provedených expermentů byla úspěšnost klasfkace alespoň ednoho pokusu Acc = 100%. V prvním řádku sou uvedeny výsledky klasfkace pro dynamcké prahování bez parametru (tomu odpovídá nastavení t = -1). V druhém řádku tab. 4 sou uvedeny výsledky algortmu Immunos-99 s navrženým dynamckým prahováním s parametrem. Př tomto způsobu prahování bylo zapotřebí menšího počtu provedených generací. Z uvedených výsledků plyne, že algortmus Immunos-99 lze úspěšně použít v případě datového souboru Irs plant. Tab. 4: Výsledky klasfkace pro datový soubor Irs plant pomocí algortmu Immunos-99 Verze alg. Immunos-99 t n gen n nt [%] Acc mn [%] Acc avg [%] Acc max [%] dynamcké prah. bez parametru -1 50 70 97.30 98.65 100 1.35 dynamcké prah. s parametrem -0.9 30 80 97.30 98.92 100 1.32 V tab. 5 sou uvedeny úspěšnost klasfkace získané pomocí algortmu CLONALG a CLONCLAS pro datový soubor Irs plant. Dosažené výsledky sou stené ako v případě algortmu Immunos-99 s navrženým dynamckým prahováním s parametrem. 74

Tab. 5: Výsledky klasfkace pro datový soubor Irs plant pomocí algortmů CLONALG a CLONCLAS Algortmus n gen n Ab n m n s n d Acc mn [%] Acc avg [%] Acc max [%] CLONALG 10 175 123 35 0.1 2 97.30 98.92 100 1.32 CLONCLAS 10 165 132 49 0.2 1 97.30 98.92 100 1.32 V tab. 6 e uvedeno srovnání dosažených výsledků pro datový soubor Irs plant s ným algortmy. Tabulka obsahue dosažené výsledky, metodu vyhodnocení a odkaz na zdroovou lteraturu. Úspěšnost klasfkace v závorce znamená maxmální úspěšnost klasfkace v rámc provedených expermentů. Jak e z této tabulky patrné, tak použté algortmy Immunos-99, CLONALG a CLONCLAS dosahuí ve srovnání s ostatním velm dobrých výsledků. Tab. 6: Srovnání dosažených výsledků pro datový soubor "Irs plant" Algortmus Acc[%] Metoda vyhodnocení Zdro Genetcké algortmy + ANN 100 Vyhodnocení na trénovací množně. [12] Groban 100 Vyhodnocení na trénovací množně. [12] CLONALG, CLONCLAS 98.92 (100) Rozdělení na testovací a trénovací množnu. vz výše Immunos-99 dynamcké 98.92 Rozdělení na testovací a trénovací vz prahování s parametrem (100) množnu. výše Immunos-99 dynamcké 98.65 Rozdělení na testovací a trénovací vz prahování bez parametru (100) množnu. výše Clusterng GP (k=3) 97.9 Křížová valdace (10 násobná) [13] AIRS1 96.7 Křížová valdace (10 násobná) [29] ANN (BP) 96.7 Metoda Leave one out [26] AIRS2 96.0 Křížová valdace (10 násobná) [30] DAIS 95.8 Křížová valdace (10 násobná) [19] Nave Bayes, Baggng NB 95.53 Křížová valdace (10 násobná) [20] Bagged C4.5 95 Křížová valdace (10 násobná) [13] Logtboost NB 94.87 Křížová valdace (10 násobná) [20] C4.5 94.1 Křížová valdace (10 násobná) [13] 7. Závěr V [9] lze nalézt aplkace umělých muntních systémů na úlohy optmalzace, datové analýzy, plánování, apod. Tento článek ukazue možnost využtí vybraných zástupců umělých muntních systémů pro úlohu klasfkace. Jedná se o algortmy Immunos-99, CLONALG a CLONCLAS. Pro algortmus Immunos-99 byla v tomto článku navržena verze dynamckého prahování s parametrem, která využívá výhod dynamckého prahování a zároveň umožňue v rámc nastavení parametru ovlvnt úroveň potlačení protlátek ve fáz učení. Uvedené algortmy včetně navržené varanty algortmu Immunos-99 byly použty pro úlohu modelování bonty obcí a pro klasfkac standardního datového souboru Irs plant. Pro úlohu modelování bonty obcí, dosahue algortmus Immunos-99 ve srovnání s algortmy CLONALG a CLONCLAS lepších průměrných hodnot úspěšnost klasfkace Acc avg. Pro úlohu klasfkace datového souboru Irs plant se průměrné hodnoty klasfkace použtých algortmů lší pouze o Acc = 0.27%. Maxmální úspěšnost klasfkace byly v tomto případě stené Acc max = 100%. Algortmy CLONALG a CLONCLAS dosahuí stených nebo lepších výsledků z hledska maxmální úspěšnost klasfkace Acc max. Pro praktcké využtí sou lepší algortmy se 75

stablním výsledky. Algortmus, který s edním nastavením parametrů dosáhne ednou vysoké a podruhé nízké úspěšnost klasfkace e pro praktcké využtí nevhodný. Z tohoto důvodu lze na základě provedených expermentů doporučt algortmus Immunos-99, ehož dosažené průměrné výsledky v rámc provedených expermentů sou ve srovnání s CLONALG a CLONCLAS lepší (zeména př modelování bonty obcí). Pro algortmus Immunos-99 lze doporučt navrženou varantu dynamckého prahování s parametrem, která v případě obou datových souborů dosáhla lepších průměrných výsledků a stených nebo lepších maxmálních hodnot úspěšnost klasfkace. Výsledky získané pro použté algortmy dále ukazuí na možnost ech optmalzací. Pro algortmus Immunos-99 lze pro další vývo doporučt další analýzu chování tohoto algortmu s cílem zvýšt úspěšnost klasfkace. Motvací e využít toho, že tento algortmus dosahue relatvně stablních výsledků. Pro algortmy CLONALG a CLONCLAS lze v rámc dalšího vývoe doporučt analýzu chování s cílem dosáhnout vyšší stablty dosažených výsledků. Pro všechny použté algortmy lze v rámc dalšího vývoe provést analýzu vlvu nastavení ednotlvých parametrů. Ve srovnání s dosaženým výsledky ných algortmů pro použté úlohy lze konstatovat, že algortmy CLONALG, CLONCLAS a zeména Immunos-99 s dynamckým prahováním s parametrem sou dobře použtelné pro úlohu klasfkace. Použtá lteratura: [1] ASUNCION, A., NEWMAN, D. J. UCI Machne Learnng Repostory [database onlne]. Irvne, CA: Unversty of Calforna, School of Informaton and Computer Scence, 2007. [ctováno 2008-09-09]. Dostupné z <http://archve.cs.uc.edu/ml/> <http://mlr.cs.umass.edu/ ml/datasets/>. [2] BRABAZON, A., O'NEILL, M. Credt Classfcaton Usng Grammatcal Evoluton. Informatca, 2006, no. 30, pp. 325-335. [3] BRENNAN, D., BRABAZON, A. Corporate Bond Ratng Usng Neural Networks. In Proceedngs of the Internatonal Conference on Artfcal Intellgence, IC-AI '04, June 21-24, 2004, Las Vegas, Nevada, USA. CSREA Press, 2004, vol. 1, pp. 161-167. [4] BROWLEE, J. Clonal Selecton Algorthms. Techncal Report, no. 070209A, Center for Intellgent Systems and Complex Processes (CISCP), Faculty of Informaton and Communcaton Technologes, Swnburne Unversty of Technology, Australa. February 2007. [5] BROWLEE, J. Clonal Selecton Theory & Clonalg - The Clonal Selecton Classfcaton Algorthm (CSCA). Techncal Report, no. 2-02, Center for Intellgent Systems and Complex Processes (CISCP), Faculty of Informaton and Communcaton Technologes, Swnburne Unversty of Technology, Australa. January 2005. [6] BROWLEE, J. Immunos-81, The Msunderstood Artfcal Immune System. Techncal Report, no. 3-01, Center for Intellgent Systems and Complex Processes (CISCP), Faculty of Informaton and Communcaton Technologes, Swnburne Unversty of Technology, Australa. January 2005. [7] BROWLEE, J. WEKA Classfcaton Algorthms [počítačový program]. Ver. 1.6. Sourceforge.NET, 2006 [ctováno 2008-09-09]. Dostupné z <http://sourceforge.net/proects/ wekaclassalgos>. [8] CARTER, J. H. The Immune System as a Model for Classfcaton and Pattern Recognton. Journal of the Amercan Medcal Informatcs Assocaton, 2000, vol. 7, no. 1, pp. 28-41. [9] CASTRO, L. N., TIMMIS, J. I. Artfcal Immune Systems: A New Computatonal Intellgence Approach, London: Sprnger-Verlag, 2002. 357 p. ISBN 1-85233-594-7. 76

[10] CASTRO, L. N., ZUBEN, F. J. Learnng and Optmzaton Usng the Clonal Selecton Prncple. IEEE Transactons on Evolutonary Computaton, Specal Issue on Artfcal Immune Systems. 2002, vol. 6, no. 3, pp. 239-251. ISSN 1089-778X. [11] CUTELLO, V. et. al. Clonal Selecton Algorthms: A Comparatve Case Study usng effectve Mutaton Potentals, In Proceedngs Artfcal Immune Systems: 4th Internatonal Conference Banff, Alberta, Canada (ICARIS 2005). Berln: Sprnger Verlag, 2005. pp. 13-28. [12] DUCH, W., ADAMCZAK, R., GRABCZEWSKI, K. A New Methodology of Extracton, Optmzaton and Applcaton of Crsp and Fuzzy Logcal Rules. IEEE Transactons on Neural Networks, 2001, vol. 12, pp. 277-306. ISSN 1045-9227. [13] EGGERMONT, J., KOK, J. N., KOSTERS, W. A. Genetc programmng for data classfcaton: Parttonng the search space. In Proceedngs of the 2004 ACM symposum on Appled computng. New York, NY, USA: Assocaton for Computng Machnery ACM, 2004. pp. 1001-1005. ISBN 1-58113-812-1. [14] GARRETT, S. M. How Do We Evaluate Artfcal Immune Systems? Evolutonary Computaton, Summer 2005, vol. 13, no. 2, pp. 145 177. ISSN 1063-6560. [15] HÁJEK, P., OLEJ, V. Herarchcal Structure of Fuzzy Inference Systems Desgn for Muncpal Credtworthness Modelng. WSEAS Transacton on Systems and Control, February 2007, vol. 2, no. 2, pp.162-169. ISSN 1991-8763. [16] HÁJEK, P., OLEJ, V. Modellng Muncpal Ratng by Cluster Analyss and Neural Networks. In Proceedngs of the 7-th WSEAS Internatonal Conference on Neural Networks, NN 2006, Cavtat, Croata, June 12-14. Stevens Pont, Wsconsn, USA: World Scentfc and Engneerng Academy and Socety (WSEAS), 2006, pp.73-78. ISBN 960-8457-46-7. [17] HÁJEK, P., OLEJ, V. Muncpal Credtworthness Modellng by Kohonen s Self- Organzng Feature Maps and LVQ Neural Networks. In Proceedngs of the 9th Eghth Internatonal Conference on Artfcal Intellgence and Soft Computng, ICAISC 08, Lecture Notes n Artfcal Intelgence, Zakopane, Poland, June 22-26, Sprnger Berln Hedelberg New York, 2008, pp. 52-61. ISSN 0302-9743, ISBN 3-540-69572-9. [18] HÁJEK, P., OLEJ, V. Muncpal Credtworthness Modellng by Clusterng Methods. In Proceedngs of the 10 th Internatonal Conference on Engneerng Applcatons of Neural Networks, EANN 2007, Margarts, Illads, Eds.,. Thessalonk, Greece, August 29-31. 2007, pp.168-177, ISBN 978-960-287-093-8. [19] IGAWA, K., OHASHI, H. Dscrmnaton-based Artfcal Immune System: Modelng the Learnng Mechansm of Self and Non-self Dscrmnaton for Classfcaton. Journal of Computer Scence, 2007, vol. 3, no. 4, pp. 204-211. ISSN 1549-3636. [20] KOTSIANTIS, S. B. PINTELAS, P.E. Logtboost of Smple Bayesan Classfer. Informatca. 2005, vol. 29, no. 4, pp. 53-59. ISSN 0350-5596. [21] KVASNIČKA, V. a kol. Úvod do teore Neuronových sítí. Bratslava: IRIS, 1997. ISBN 80-88778-30-1. [22] LIU, X., LIU, W. Credt Ratng Analyss wth AFS Fuzzy Logc. Advances n Natural Computaton, Lecture Notes n Computer Scence, Sprnger-Verlag, 2005, vol. 3612, pp. 1198-1204. ISSN 0302-9743. [23] MAGNI, C.A. Ratng and Rankng Frms wth Fuzzy Expert Systems: The Case of Camuzz. MPRA Paper Unversty Lbrary of Munch, Germany, 2007, vol. 5889. [24] OLEJ, V., HÁJEK, P. Modelng Muncpal Ratng by Unsupervsed Methods. WSEAS Transactons on Systems, July 2006, vol. 5, no. 7, pp.1679-1686, ISSN 1109-2777. [25] ROMANIUK, S.G. Fuzzy Rule Extracton for Determnng Credtworthness of Credt Applcants. Techncal report, No. TR20/92, Natonal Unversty of Sngapore, 1992. 77

[26] SHOLOM, W. M., IOANNIS, K. An Emprcal Comparson of Pattern Recognton, Neural Nets, and Machne Learnng Classfcaton Methods. In Proceedngs of the Eleventh Internatonal Jont Conference on Artfcal Intellgence. New York, NY, USA: Morgan Kaufmann, 1989. pp. 781-787. ISBN 1558600949. [27] WATKINS, A. AIRS: A Resource Lmted Artfcal Immune Classfer. Msssspp State Unversty, MS. USA, 2001. Master's thess. [28] WATKINS, A. Explotng Immunologcal Metaphors n the Development of Seral, Parallel, and Dstrbuted Learnng Algorthms, Unversty of Kent, Canterbury, UK, 2005. PhD dssertaton. [29] WATKINS, A.,BOGGESS, L. A New Classfer Based On Resource Lmted Artfcal Immune Systems. In Proceedngs of Congress on Evolutonary Computaton, Part of the 2002 IEEE World Congress on Computatonal Intellgence held n Honolulu, HI, USA, May 12-17. IEEE Computer Socety Press, 2002. pp. 1546-1551. [30] WATKINS, A., TIMMIS, J., BOOGESS, L. Artfcal Immune Recognton System (AIRS): An Immune Insprated Supervsed Machne Learnng Algorthm. Genetc Programmng and Evolvable Machnes, 2004, vol. 5, no. 3, pp. 291-317. ISSN 1389-2576. [31] WHITE, J., GARRETT, S. M. Improved Pattern Recognton wth Artfcal Clonal Selecton? In Proceedngs Artfcal Immune Systems: Second Internatonal Conference, September 1-3, 2003, Ednburgh, UK, (ICARIS-2003). Berln: Sprnger Verlag, 2003. pp.181-193. [32] WITTEN, I. H., FRANK, E. Data Mnng: Practcal Machne Learnng Tools and Technques. Second Edton. Morgan Kaufmann, 2005. ISBN 0-12-088407-0. [33] ZHOU, X. Y., ZHANG, D. F., JIANG, Y. A New Credt Scorng Method Based on Rough Sets and Decson Tree. Advances n Knowledge Dscovery and Data Mnng, Lecture Notes n Computer Scence, Sprnger-Verlag, 2008, vol. 5012, pp. 1081-1089. ISSN 0302-9743. Kontaktní adresa: Ing. Luděk Kopáček, prof. Ing. Vladmír Ole, CSc. USII/FES Unverzta Pardubce Studentská 84 532 10 Pardubce E-mal: ludek.kopacek@upce.cz vladmr.ole@upce.cz 78