VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY

Transkript

1 VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY FAKULTA INFORMAČNÍCH TECHNOLOGIÍ ÚSTAV POČÍTAČOVÝCH SYSTÉMŮ FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF COMPUTER SYSTEMS OPTIMALIZAČNÍ ÚLOHY NA BÁZI ČÁSTICOVÝCH HEJN (PSO) DIPLOMOVÁ PRÁCE MASTER S THESIS AUTOR PRÁCE AUTHOR BC. FILIP VESELÝ BRNO 2009

2 VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY FAKULTA INFORMAČNÍCH TECHNOLOGIÍ ÚSTAV POČÍTAČOVÝCH SYSTÉMŮ FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF COMPUTER SYSTEMS OPTIMALIZAČNÍ ÚLOHY NA BÁZI ČÁSTICOVÝCH HEJN (PSO) PSO-PARTICLE SWARM OPTIMIZATIONS DIPLOMOVÁ PRÁCE MASTER S THESIS AUTOR PRÁCE AUTHOR VEDOUCÍ PRÁCE SUPERVISOR BC. FILIP VESELÝ DOC. ING. JOSEF SCHWARZ, CSC. BRNO 2009

3 Abstrakt Práce se zabývá ntelgencí roje, přesněj ntelgencí částcových hejn. Stručně popsuje problematku optmalzace a některé optmalzační technky. Částí práce je rešerše varant optmalzačních algortmů na báz částcových hejn. Jednotlvé algortmy jsou matematcky popsány, také jsou uvedeny jejch výhody popřípadě nevýhody oprot klasckému algortmu PSO. Druhá polovna práce popsuje algortmus mqpso a vytvořenou modfkac mqpsopc. V rámc práce jsou na několka testech porovnány výsledky obou algortmů s výsledky dosaženým jným evolučním algortmem. Klíčová slova umělá ntelgence, ntelgence roje, částcové hejno, optmalzace, PSO Abstract Ths work deals wth swarm ntellgence, strctly speakng partcle swarm ntellgence. It shortly descrbes questons of optmzaton and some optmzaton technques. Part of ths work s recherché of varants of partcle swarm optmzaton algorthm. These algorthms are mathematcally descrbed. Ther advantages or dsadvantages n comparson wth the basc PSO algorthm are mentoned. The second part of ths work descrbes mqpso algorthm and created modfcaton mqpsopc. Descrbed algorthms are compared wth each other and wth another evoluton algorthm on several tests. Keywords artfcal ntellgence, swarm ntellgence, partcle swarm, optmzaton, PSO Ctace Veselý Flp: Optmalzační úlohy na báz částcových hejn (PSO). Brno, 2009, dplomová práce, FIT VUT v Brně.

4 Optmalzační úlohy na báz částcových hejn (PSO) Prohlášení Prohlašuj, že jsem tuto dplomovou prác vypracoval samostatně pod vedením doc. Ing. Josefa Schwarze, CSc. Uvedl jsem všechny lterární prameny a publkace, ze kterých jsem čerpal. Flp Veselý Poděkování Děkuj doc. Ing. Josefu Schwarzov, CSc. za poskytnuté studjní materály a rady př zpracovávání této problematky. Flp Veselý, Tato práce vznkla jako školní dílo na Vysokém učení technckém v Brně, Fakultě nformačních technologí. Práce je chráněna autorským zákonem a její užtí bez udělení oprávnění autorem je nezákonné, s výjmkou zákonem defnovaných případů.

5 Obsah Obsah Úvod Optmalzace Optmalzační technky Optmalzace na báz částcových hejn Podobné algortmy Celulární automaty (CA) Optmalzace pomocí mravenčí kolone (ACO) Stochastcké rozptýlené prohledávání (SDS) Umělá včelí kolone (ABC) Základní prncp PSO Topologe Nastavení parametrů Bnární PSO Varanty algortmu PSO Hybrdní PSO Kombnace genetckého algortmu a PSO (GA-PSO) Kombnace evolučního programování a PSO (EPSO) Kombnace dferencální evoluce a PSO Adaptvní PSO PSO v komplkovaném prostředí Víceúčelové PSO (MOPSO) Práce s omezením v PSO PSO v dynamckých úlohách Další varanty PSO Gaussovo PSO (GPSO) Rozptýlené PSO (DPSO) PSO s pasvním shromažďováním (PSOPC) Rozpínavé PSO (SPSO) Spolupracující PSO (CPSO) PSO s úplným učením (CLPSO) Kvantové PSO (QSO) Kombnace PSO a QSO (QPSO) Implementace PSO pro dynamcké úlohy (mqpsopc)

6 5.1 Pops algortmu mqpso Návrh modfkace mqpsopc Struktura programu Ovládání programu Ilustrační Java applety Expermenty Úloha s pohybujícím se vrcholy Nastavení parametrů Úpravy kódu Krtéra optmalty Off-lne chyba Časový průběh ftness funkce Výsledky expermentů Parametr pasvního shromažďování c Konfgurace populace M(N+N q ) Poloměr kvantového mračna r cloud Poloměr exkluze r excl Poloměr ant-kovergence r conv Expermenty s počtem vrcholů testovací funkce Expermenty s počtem dmenzí testovací funkce Závěr...44 Lteratura...45 Seznam symbolů a zkratek...47 Seznam příloh...49 Příloha A: Tabulky s výsledky testů...50 Příloha B: Obsah přloženého CD

7 1 Úvod Pomocí umělé ntelgence se optmalzační úlohy většnou řeší tak, že je na daný problém aplkován určtý postup (algortmus), jehož sekvenční provádění vede k vyřešení úlohy. Jednotlvé kroky tohoto algortmu jsou navrženy tak, aby se výpočetní proces neustále přblžoval k nalezení správného řešení. Rojová ntelgence však pracuje na jném prncpu, který je nsprován chováním společenství zvířat (především hmyzu). Daný problém je řešen pomocí více jednoduchých prvků, které se navzájem buď přímo nebo nepřímo ovlvňují. Chování těchto prvků je navrženo tak, aby bez centrálního řízení umožnlo vznk složtějšího chování. Pokud jsou tyto jednotky správně navrženy, jejch vznklé kolektvní chování převyšuje svým schopnostm pouhé sjednocení schopností jednotlvých prvků. Mez hlavní výhody systémů založených na rojové ntelgenc je jejch robustnost a flexblta. Tedy jsou schopny pokračovat př selhání některých jednotek a jsou schopny pracovat za měnících se podmínek. Další předností je také poměrně snadná mplementace daná jednoduchou archtekturou jednotek. Kaptola 2 popsuje podstatu optmalzace a optmalzačních problémů. Dále uvádí obecný prncp optmalzačních technk. Kaptola 3 představuje samotný algortmus optmalzace na báz částcových hejn. Je zde uveden detalní matematcký pops algortmu PSO a jeho bnární verze. Také je zde popsáno několk podobných algortmů. Kaptola 4 popsuje jednotlvé varanty algortmu PSO. Tyto kaptoly byly převzaty ze semestrálního projektu a doplněny o další nformace. Kaptola 5 je zaměřena na dynamcké optmalzační problémy. Podrobně se zabývá jejch návrhem a mplementací. V 6. kaptole jsou popsány prováděné expermenty a srovnání výsledků těchto expermentů s výsledky vybraných optmalzačních algortmů. Poslední kaptola 7 stručně popsuje přínos celé práce, komentuje dosažené výsledky a uvádí některé náměty pro další možné zkoumání v této oblast. 3

8 2 Optmalzace Úkolem optmalzace je určení hodnot množny parametrů úlohy, tak aby byly splněny podmínky optmálnost řešení [1]. Optmalzace je velm důležtá v mnoha oblastech ldské čnnost, například ve fyzce, chem, ekonom č strojírenství. Vědc využívají optmalzační technky př prác s nelneárním křvkam a aproxmac modelů. Využívá se př maxmalzac produkce, mnmalzac nákladů nebo například pro zásobování a přerozdělování zdrojů. Některé tyto problémy lze popsat lneárním modely, jné však pouze nelneárním modely. Tyto nelneární optmalzační problémy jsou pro řešení velm složté. Nejjednodušej se optmalzační problém vyjadřuje jako mnmalzace (nebo maxmalzace) dané účelové funkce f(x):a R. Úkol mnmalzace funkce f je ekvvalentní maxmalzac funkce f, proto se nadále v textu nerozlšují. 2.1 Optmalzační technky V lteratuře lze nalézt velké množství metod, které za určtých podmínek řeší optmalzační problémy n [2]. Tyto metody rozlšujeme dle prohledávaného prostoru ( A R ) a účelové funkce f. Nejjednodušší technkou je lneární programování, které uvažuje lneární funkc f a množnu A omezenou pouze pomocí lneárních rovnc a nerovnc. Obecně však účelová funkce, omezující funkce nebo obě mají v sobě nelneartu. To zvyšuje důležtost optmalzační technky zvané nelneární programování, která je výzkumníky pro řešení problémů velm využívána. Jelkož je nelneární programování velm rozsáhlá oblast, odborníc jej dělí na několk případů. Poměrně dobře prozkoumanou oblastí je lneárně omezené programování, kde omezující podmínky jsou určeny lneárně. Pokud je navíc účelová funkce kvadratcká, je tento optmalzační problém nazýván kvadratcké programování. Optmalzační úlohy jsou determnstcky defnované se všem známým parametry, ale ve skutečnost téměř vždy některé parametry neznáme. Proto bylo vytvořeno stochastcké programovaní, které do formulace problému zavádí pravděpodobnostní dstrbuční funkce jednotlvých proměnných. Nejobecnější stochastcká technka se nazývá dynamcké programování. Ačkol je matematcky dokázáno, že metoda dynamckého programování najde optmální řešení, má také několk nevýhod. V mnoha případech je totž vyřešení algortmu dynamckého programování nemožné. Dokonce numercké řešení potřebuje ohromující množství výpočetního výkonu, které roste exponencálně s počtem dmenzí problému. Tyto omezující podmínky vedou k tomu, že algortmus má malou schopnost předpověd a nalezené řešení je suboptmální. Navíc stupeň složtost stoupá ještě víc pokud se z rovny konečných problémů přesuneme do rovny nekonečných problémů. 4

9 Řešením těchto problémů by mohly být na ntelgenc založené výpočetní technky, jako např. genetcké algortmy nebo optmalzace na báz částcových hejn (PSO). Genetcký algortmus je vyhledávací technka používaná v nformatce a strojírenství k nalezení přblžného výsledku optmalzačního problému. Genetcké algortmy představují zvláštní třídu evolučních algortmů, které využívají technky nsprované evoluční bologí jako dědčnost, mutac, přrozený výběr a křížení. Ačkol dokáží rychle najít dobré řešení pro velm složté problémy, mají také několk nedostatků. Pokud není ftness funkce dobře defnovaná, může mít genetcký algortmus tendenc konvergovat do lokálního optma namísto globálního. Dále nedokáží dobře pracovat s dynamckým daty a pro některé optmalzační problémy dávají, za stejný výpočetní čas, horší výsledky než jednodušší optmalzační algortmy. 5

10 3 Optmalzace na báz částcových hejn PSO je evoluční výpočetní technka vyvnuta Eberhartem a Kennedym v roce 1995, která je nsprovaná socálním chováním ptačích a rybích hejn. Tato metoda má své kořeny jak v umělé ntelgenc č socální psycholog, tak v počítačových vědách a nženýrství. PSO využívá populace částc, které prolétají prohledávaným prostorem problému určtou rychlostí. V každém kroku algortmu je tato rychlost pro každou částc určena ndvduálně, a to podle nejlepší pozce částce a nejlepší pozce částc v jejím okolí v dosavadním průběhu algortmu. Nejlepší pozce částc se určí za pomocí užvatelem defnované ftness funkce. Pohyb každé částce přrozeně směřuje k optmálnímu řešení nebo k řešení blízkému optmu. V anglčtně používaný výraz swarm ntellgence (ntelgence roje) vychází z nepravdelného pohybu částc v prohledávaném prostoru, přpomínající spíše pohyb komárů než ryb nebo ptáků. PSO je na ntelgenc založená výpočetní technka, která není přílš ovlvňována velkostí nebo nelneartou problému a dokáže konvergovat k optmálnímu řešení tam, kde většna analytckých metod selhává. Navíc má PSO výhody oprot jným podobným optmalzačním technkám, jako např. genetckým algortmům. Je jednodušší na mplementac a nastavuje se u něj méně parametrů smulace. Každá částce s pamatuje svoj předchozí nejlepší hodnotu a nejlepší hodnotu svých sousedů, proto má efektvnější prác s pamětí než genetcký algortmus. Také účnněj udržuje rozmantost v populac, protože částce využívají nformace od nejlepší částce ke svému zlepšení, kdežto u genetckého algortmu nejslabší řešení zankají a pouze ty nejlepší zůstávají do další terace. To vede k populac jednců, kteří jsou velm podobní tomu nejlepšímu. 3.1 Podobné algortmy Celulární automaty (CA) Dá se říc, že ve skutečnost je PSO jstým rozšířením celulárních automatů. Hejno částc lze reprezentovat jako buňky, jejchž stav se mění na mnoho místech najednou. Společné výpočetní atrbuty PSO a celulárních automatů jsou následující. Všechny částce (buňky) jsou aktualzovány paralelně. Každá nová hodnota částce (buňky) závsí pouze na její předchozí hodnotě a na předchozí hodnotě jejích sousedů. Všechny aktualzace se dějí podle stejných pravdel Optmalzace pomocí mravenčí kolone (ACO) Je to jeden z algortmů založených na rojové ntelgenc [3]. Byl vyvnut Marcem Dorgem v roce Je to pravděpodobnostní technka pro řešení výpočetních problémů, které jdou převést na hledání správných cest v grafu. Je nsprovaná chováním mravenců, kteří hledají cestu od mravenště 6

11 k potravě. Ve skutečnost se na počátku mravenc náhodně procházejí. V momentě kdy najdou jídlo, se s ním vrátí do mravenště, přčemž za sebou zanechávají feromonovou stopu. Pokud nějaký mravenec na tuto feromonovou stopu narazí, vydá se raděj podle ní, než aby chodl náhodně. Pokud na ní nalezne jídlo, tak se po ní neustále vrací a tím tuto feromonovou stopu zesluje. Časem se však začne feromonová stopa vypařovat, čímž ztrácí svou atraktvtu. Čím je tedy trasa delší, tím déle trvá mravenc přejít j celou tam zpět a tím pádem je více času na odpaření feromonu. Naopak kratší cesty jsou procházeny rychlej, a protože je nová vrstva feromonu pokládána rychlej než se stačí vypařt, jeho ntenzta zůstává vysoká. Takže když jeden z mravenců nalezne krátkou cestu z mravenště k potravě, tedy dobré řešení, ostatní mravenc toto řešení následují, což teoretcky vede k tomu, že na konc algortmu všchn mravenc chodí po stejné cestě. Vypařování feromonů také pomáhá zabránt tomu, aby řešení konvergovalo k lokálnímu optmu. Pokud by k vypařování vůbec nedocházelo, cesty nalezené prvním mravenc by byly pro ostatní přílš atraktvní. Mravenc by procházely pouze tyto cesty, nevytvářely by nové a tedy by byl prohledávaný prostor řešení omezen. Idea algortmu mravenčí kolone je napodobovat toto chování smulovaným mravenc, kteří se prochází grafem reprezentujícím řešený problém. Tento algortmus má oprot smulovanému žíhání nebo genetckému algortmu výhodu v tom, že graf se může dynamcky měnt. Algortmus mravenčí kolone totž může běžet nepřetržtě, protože se dokáže změnám přzpůsobt v reálném čase Stochastcké rozptýlené prohledávání (SDS) Další z metod rojové ntelgence, která je založena na populac a porovnávání vzorů. Byla představena v roce 1989 Johnem Markem Bshopem. Tato metoda je vhodná pro optmalzační problémy, které lze rozdělt na několk dílčích nezávslých problémů (účelových funkcí) [4]. Populace je tvořena agenty, kde každý agent prosazuje nějakou hypotézu. Ta je teratvně testována výpočtem náhodně zvolené dílčí účelové funkce, které je parametrzována agentovou hypotézou. Informace o úspěšnost hypotéz s agent mez sebou osobně předávají, čímž jsou rozptýleny napříč celou populací. Časem se agent dohodnou na jedné hypotéze, která představuje kvaltní řešení daného problému Umělá včelí kolone (ABC) Algortmus byl představen roku 2005 Dervsem Karabogou [5, 6]. Využívá tří skupn včel, pracujících, dívajících se a zvědů. Možné řešení optmalzovaného problému je reprezentováno jako zdroj potravy, kvalta tohoto řešení (ftness) je dána množstvím nektaru. Náhodná možná řešení problému tvoří populac a jejch počet je roven počtu pracujících včel. Na začátku algortmu každá pracující včela letí ke svému zdroj potravy, prozkoumá jeho okolí a vybere to místo kde je nejvíc nektaru. S touto zapamatovanou pozcí letí zpět do hnízda, kde zatančí. Každá dívající se včela s na základě těchto tanců vybere jeden zdroj potravy a letí k němu. Opuštěné zdroje potravy, kam 7

12 žádná včela neletěla, jsou nahrazeny novým zdroj, které objevl zvěd. Nejlepší zdroj potravy je zaznamenán. To se opakuje dokud tento nejlepší zdroj nesplňuje požadavky na řešení problému. Algortmus umělé včelí kolone kombnuje lokální prohledávací metody (reprezentovány pracujícím včelam) a globální prohledávací metody (zvěd), ve snaze udržet v rovnováze proces vyhledávání a proces využívání. 3.2 Základní prncp PSO Každé možné řešení daného problému lze reprezentovat jako částc, která se pohybuje prohledávaným hyperprostorem. Pozce každé částce je dána vektorem x a její pohyb je dán rychlostí v. r x r r = 1. (3-1) () t x ( t ) + v () t Informace dostupná každé částc je založena na její vlastní zkušenost a znalost chování ostatních částc v jejím okolí. Protože důležtost těchto dvou faktorů se může měnt, je vhodné, aby na každý z nch byla aplkována jná náhodná váha. Rychlost částce se pak určí následovně r v r r r ( ) () t = v ( t ) + c rand ( p x ( t 1) ) + c rand p x ( t 1) r r g kde c 1 a c 2 jsou kladná čísla a rand 1 a rand 2 jsou náhodná čísla v rozmezí 0-1., (3-2) Z rovnce aktualzace rychlost částce (3-2) je patrné, že se skládá ze tří hlavních částí. První r část ( v ( t 1) ) se nazývá setrvačnost. Představuje snahu částce pokračovat v původním směru pohybu. Tento parametr může být násoben nějakou váhou. Další částí rovnce je přtažlvost k nejlepší nalezené pozc dané částce p, hodnota ftness funkce na této pozc se značí p best. Tato přtažlvost je násobena náhodnou váhou c1 rand1 a nazývá se pamětí částce. Poslední třetí částí rovnce je přtažlvost k nejlepší nalezené pozc jakékolv částce p g, odpovídající hodnota ftness funkce se značí g best. Tato přtažlvost je opět násobena náhodnou váhou sdílenou nformací, nebo též společnou znalostí. c2 rand 2 a nazývá se obrázek 3-1: Vektorové znázornění aktualzace pozce částce. 8

13 Samotný algortmus PSO lze shrnout následovně: 1. Incalzace hejna. Každé částc je přřazena náhodná pozce v prohledávaném hyperprostoru. 2. Pro každou částc je vypočítána hodnota ftness funkce. 3. Porovnání současné hodnoty ftness funkce částce s její p best. Pokud je současná hodnota lepší, je označena za p best a do p je uložena současná poloha částce. 4. Nalezení částce s nejlepší ftness funkcí. Tato hodnota je označena za g best a její poloha za p g. 5. Aktualzace pozc a rychlostí částc dle rovnc (3-1) a (3-2). 6. Opakování kroků 2-5 dokud nejsou splněny podmínky ukončení. Tedy dokud není dosažen maxmální počet terací algortmu nebo není nalezena dostatečně dobrá hodnota ftness funkce Topologe PSO může fungovat se dvěma základním druhy sousedství. Je to buď globální sousedství, př kterém jsou částce přtahovány k nejlepšímu nalezenému řešení z celého roje. To s lze představt jako plně propojenou síť, kde má každá částce přístup ke všem nformacím (vz obrázek 3-2(a)). Druhou možností je lokální sousedství, kde jsou částce přtahovány k nejlepšímu řešení vybíraného pouze z jejch bezprostředních sousedů. U tohoto přístupu exstují dvě nejčastější varanty. Jedná se o kruhovou topolog (vz obrázek 3-2(b)), kde je každá částce propojena se dvěma sousedy, nebo o centralzovanou topolog vz (obrázek 3-2(c)). Zde jsou jednotlvé částce od sebe odděleny a veškeré nformace jsou shromažďovány v hlavním jednc. obrázek 3-2: Topologe rojů. Předpokládá se, že plně propojená síť konverguje k řešení rychlej, avšak může uváznout v lokálním optmu. Zatímco přístup s omezeným sousedstvím má větší šanc nalézt optmální řešení ale pomalej. Dále se předpokládá, že nejlepších výsledků by měl dosahovat roj s von Neumannovskou topologí (vz obrázek 3-2(d)). 9

14 3.2.2 Nastavení parametrů Př mplementac PSO je třeba mít na zřetel několk předpokladů, aby byla zajštěna konvergence algortmu a nedošlo k tzv. exploz roje. Mez tyto předpoklady patří maxmální rychlost částc, správné nastavení konstant pro přtažlvost (zrychlení) a nastavení setrvačnost. Př každém kroku algortmu je každé částc vypočítána rychlost pro každý rozměr hyperprostoru řešení. Jelkož je rychlost částce náhodná proměnná, může nabývat jakýchkolv hodnot a částce se tak může pohybovat chaotcky. Aby k tomu nedocházelo je vhodné nastavt dolní a horní lmt rychlost částce. Tyto lmty je nutno nastavovat emprcky v závslost na řešeném problému. Pokud by maxmální povolená rychlost částce byla přílš vysoká, částce by mohly přeskakovat dobrá řešení. Naopak, pokud by byla přílš nízká, byl by pohyb částc omezen, algortmus by konvergoval velm pomalu a nkdy by nemuselo být nalezeno optmální řešení. Výzkum naznačuje, že nejlepším řešením je dynamcky se měnící maxmální rychlost (v max ). v max = ( xmax xmn )/ N, (3-3) kde N je užvatelem zvolený počet ntervalů v daném rozměru, x max a x mn je maxmální a mnmální hodnota souřadnc dosud nalezených částcem. Akcelerační konstanty c 1 a c 2 řídí pohyb částc směrem k nejlepší pozc částce, respektve k nejlepší celkové pozc. Nízké hodnoty těchto konstant omezují pohyb částc, zatímco vysoké hodnoty mohou vést k dvergenc algortmu. Bylo provedeno několk expermentů s jednou částcí v jednorozměrném prostoru. V tomto případě byla akcelerační konstanta uvažovaná jako jedná, protože nejlepší pozce částce celého roje je stejná. Tedy ϕ = c 1 + c 2. Pro nízké hodnoty ϕ měla trajektore charakter snusody. Př vyšších hodnotách se začaly objevovat cyklcké trajektore a př hodnotách vyšších než 4 mířla dráha částce do nekonečna. Po zavedení náhodných vah rand 1 a rand 2, zamezujících cyklckému opakování dráhy částc, lze obecně říc, že vhodná velkost akcelerační konstanty je právě 4. Tedy c 1 + c 2 = 4, nebo-l c 1 = c 2 = 2. Samozřejmě c 1 a c 2 nemusí mít stejnou velkost, opět záleží na řešeném optmalzačním problému. Zkušenost ukázaly, že když jsou maxmální rychlost a akcelerační konstanty správně nastaveny, může tak dojít k exploz roje. V současnost exstují dvě metody snažící se tento problém řešt, omezující faktor a konstanta setrvačnost. První z metod je omezující faktor, což je konstanta, kterou se násobí pravá strana rovnce aktualzace rychlost částce (3-2). Tato konstanta (χ) se používá pokud je nastaveno c 1 + c 2 > 4. Vypočítá se jako: χ = 2 ϕ 2 2 ϕ. (3-4) 4 ϕ 10

15 Výsledná rovnce aktualzace rychlost se pak zapíše: r v r r r r r { ( )} () t = χ v ( t ) + c rand ( p x ( t 1) ) + c rand p x ( t 1) g. (3-5) Obecně omezující faktor zlepšuje konvergenc částc tím, že tlumí osclac částc, jakmle se zaměří na nejlepší pozc v oblast. Nevýhodou je, že částce nkdy nemusí konvergovat, pokud jejch nejlepší pozce p je přílš vzdálena od celkové nejlepší pozce hejna p g. r Druhá metoda pracuje s parametrem, který násobí pouze setrvačnost ( v ( t 1) ) a ne celou pravou stranu jako omezující faktor. Tento parametr se značí ϕ c. A rychlost částce se v tomto případě vypočítá jako: r v r r ( ) () t = ϕ v ( t ) + c rand ( p x ( t 1) ) + c rand p x ( t 1) c r r r g. (3-6) Konstanta setrvačnost může být mplementována jako konstantní, nebo se může měnt v průběhu algortmu. Tento parametr v podstatě kontroluje detalnost prohledávání prostoru optmalzačního problému. Na počátku algortmu je tato konstanta nastavena na vyšší číslo (obvykle 0,9), takže částce se pohybují rychlej a tedy rychlej konvergují ke globálnímu optmu. Jakmle je nalezena optmální oblast, tato váha se nastaví na nžší (obvykle 0,4). Tím je zvětšena detalnost prohledávání což napomáhá nalezení opravdového optma. Nevýhodou je, že jakmle je jednou tato váha snížena, roj ztrácí schopnost prohledávat nové oblast. To může vést k uváznutí v lokálním optmu. 3.3 Bnární PSO V tomto specfckém případě PSO, může každá částce nabývat bnárních hodnot TRUE = 1 nebo FALSE = 0. V souladu se socálním přístupem PSO, lze pravděpodobnost rozhodnutí částce pro 1 nebo 0 zapsat následovně: P ( 1, p, p ) ( X 1) = f X ( t 1 ), V ( t ) d =. (3-7) d d V tomto modelu je pravděpodobnost, že d-tý bt -té částce nabude hodnoty 1, funkcí předchozího stavu tohoto btu a mírou sklonu částce k zvolení s 1 nebo 0. Tento sklon je odvozen od ndvduálního a společného chování částc. Proto pravděpodobnost ( = 1) d gd P nepřímo závsí na p d a p gd. V d s lze představt jako práh pravděpodobnostní funkce, a proto by se jeho hodnota měla pohybovat v rozmezí 0-1. Toho lze dosáhnou díky sgmodální funkc. sg ( V ) d 1 = 1+ exp ( V ) d X d. (3-8) 11

16 Pak namísto klascké rovnce aktualzace pozce částce defnuje pravděpodobnostní rovnc: X d () t jestlže ρ < sg = 0 jnak ( V ) 1 d d, (3-9) kde ρ d je náhodné číslo z rozsahu 0-1. Tato funkce je teratvně vyhodnocena pro všechny dmenze d a všechny částce. Rovnce pro aktualzac rychlost částc v bnárním hejnu je defnována následovně: V d ( ) () t = V ( t ) + c rand ( p X ( t 1) ) + c rand p X ( t 1) d d d 2 2 gd d. (3-10) Tato funkce odpovídá klascké funkc aktualzace rychlost částc (3-2), bez modfkací jako je omezující faktor nebo konstanta setrvačnost. Avšak tyto modfkace, stejně jako většna ostatních, jsou aplkovatelné na bnární PSO. 12

17 4 Varanty algortmu PSO 4.1 Hybrdní PSO Přrozeným vývojem algortmu PSO byly pokusy zkombnovat jej s jným evolučním výpočetním technkam. Mnoho autorů zkouší začlent do PSO algortmu výběr, mutac, křížení a dferencální evoluc. Hlavním cílem je zvýšení pestrost populace, buď pomocí samo přzpůsobujících se parametrů, jako je omezující faktor, akcelerační konstanty nebo konstanta setrvačnost, a nebo tím že zabráníme částcím, aby se pohybovaly přílš blízko u sebe. Výsledkem těchto snah bylo vytvoření následujících algortmů Kombnace genetckého algortmu a PSO (GA-PSO) Tento algortmus kombnuje výhody rojové ntelgence a mechansmů přrozeného výběru, tak že zvyšuje počet dobře hodnocených částc, tím že v každém kroku algortmu snžuje počet špatně ohodnocený částc. Nejen že lze měnt prohledávané oblast za pomoc p best a g best parametrů, ale je možné skákání mez oblastm díky mechansmu výběru. To vede ke zvýšení rychlost konvergence celého algortmu. Jedním z možných přístupů jak vylepšt algortmus PSO je aplkace reprodukce, která u náhodně zvolených částc mění jak pozční vektor, tak vektor rychlost. Například takto: chld chld chld chld 1( x) = p parent1( x) + ( 1 p) parent2 ( x), parent1() v 1() v = ( parent1() v + parent2 () v ), parent1() v + parent2 () v 2 ( x) = p parent2 ( x) + ( 1 p) parent1( x), parent2 () v () ( () ()) () (), 1 v = parent1 v + parent2 v parent v + parent v kde p je náhodné číslo z rozsahu 0-1, parent 1,2 (x) reprezentuje pozční vektor náhodně zvolených částc, parent 1,2 (v) představuje odpovídající vektor rychlostí těchto částc a chld 1,2 (x) a chld 1,2 (v) jsou potomc genetckého procesu. Takto vznklým částcem se pak nahradí částce s nízkou hodnotou ftness funkce Kombnace evolučního programování a PSO (EPSO) Evoluční PSO přdává nejen mechansmus výběru, ale také schopnost parametrů se samo přzpůsobt. Jednou z možností je například zavedení turnajového výběru používaného v evolučním programování. Rovnce aktualzace zůstávají stejné jako v klascké verz PSO. Nejprve se vypočítá 1 2 (4-1) 13

18 hodnota ftness funkce všech částc. Pak je každá částce porovnána s n náhodným částcem a započítá se jí bod pokaždé, když je hodnota její ftness funkce větší. Poté je populace seřazena podle tohoto skóre. Současná pozce a rychlost horší polovny částc je nahrazena hodnotam lepší polovny, avšak není nahrazena jejch nejlepší známá pozce. Tedy v každém kroku algortmu je horší polovna částc přesunuta na pozce lepší polovny s tím, že s zachovají svoj paměť. Rozdíl mez tímto přístupem a původním PSO algortmem je v tom, že je kladen větší důraz na exploatační fáz algortmu. Díky tomu je globální optmum nalezeno mnohem důsledněj. Rámcově lze algortmus EPSO popsat takto: každá částce je r-krát zkopírována každé částc jsou mutací změněny váhy z každá částce je vytvořeno potomstvo, dle rovnce pohybu částce každý potomek je ohodnocen ftness funkcí nalezení nejlepších částc, které přežjí do další generace, turnajem Rovnce pro polohu částc je nezměněna, rovnce pro aktualzac rychlost je: r v w r r ( ), * * * * () t = w v ( t 1) + w rand ( p x ( t 1) ) + w rand p x ( t 1) * k = w k 1 r + τ rand. 2 Celková nejlepší nalezená pozce je také změněna mutací: 1 r r 3 2 g (4-2) p * g = p + τ rand, (4-3) g kde τ a τ jsou učící parametry, které mohou být konstantní nebo se dynamcky měnt a w k jsou strategcké váhy (konstanty zrychlení a setrvačnost) Kombnace dferencální evoluce a PSO Operátor dferencální evoluce lze pro zlepšení původního PSO použít dvojím způsobem. Lze jej aplkovat na nejlepší nalezenou pozc částce, tak aby neuvízla v lokálním optmu (DEPSO), nebo na nalezení optmálních vah algortmu (C-PSO). V předchozích uvedených algortmech se váhy algortmu (ϕ c, c 1, c 2 ) určují systémem pokus omyl. Kompostní PSO (C-PSO) je algortmus, který využívá dferencální evoluc pro řešení tohoto problému nastavení vah. Lze jej popsat následovně: 1. Incalzace proměnné t (aktuální krok algortmu) na 1. Nastavení maxmálního počtu kroků T. Vygenerování náhodného hejna částc, tj. pozc částc x(0) a jejch rychlostí v(0). Vygenerování parametrů X = (ϕ c, c 1, c 2 ), jejchž počet je roven velkost populace. 2. Vypočítání v(t) a x(t) podle vzorců (3-6) a (3-1) pro každé X. Ohodnocení každé částce ftness funkcí. 14

19 3. Aplkace operátorů dferencální evoluce (mutace, křížení a výběru) na X. Nahrazení X nejlepším vytvořeným X *. Tento krok se může několkrát opakovat. 4. Opakování kroků 2 a 3, dokud není dosaženo podmínek zastavení algortmu (dostatečně kvaltní řešení, maxmální počet terací). 4.2 Adaptvní PSO Dalším možným vylepšením algortmu je například aplkace fuzzy logky, Q-learnngu nebo použtí druhého PSO pro nalezení optmálních vah prvního PSO, řešícího daný optmalzační problém. Dalším problémem, který je nutno řešt je nalezení optmální velkost populace hejna a také zvolení vhodné velkost sousedství. Tento problém by měl řešt ndex zlepšení, využívající ftness funkc částce v čase t, f(x (t)): ( x ) ( x ( t0 )) f ( x ( t) ) f ( x ( t )) f δ =. (4-4) 0 Dále je defnovaný práh zlepšení, což je lmt mnmálního přjatelného zlepšení. Exstují tř pravdla adaptvní stratege, pro velkost hejna, pro velkost sousedství a pro setrvačnost. I když částce projevuje dostatečné zlepšení, ale je nejhorší ve svém okolí, je odstraněna. Naopak pokud neprojevuje dostatečné zlepšení, ale je nejlepší ve svém okolí, je vytvořena nová částce. Tím se reguluje velkost hejna. Pokud je částce nejlepší ve svém okolí, ale dostatečně se nezlepšuje, je patrné, že potřebuje více nformací, a proto by se mělo zvětšt její sousedství. Pokud se však zlepšuje dostatečně, nemusí kontrolovat tolk ostatních částc, a proto lze velkost jejího sousedství zmenšt. Čím větší je zlepšení částce, tím menší okolí je potřeba prohledat a tím menší by měla být setrvačnost této částce. Opačně pokud je zlepšení částce nedostatečné, tím větší by měla být její rychlost a tedy setrvačnost. Z tohoto prncpu vychází PSO založené na třídách (SBPSO). V této metodě je populace rozdělena na několk tříd podle podobnost částc. V každé třídě je jedna nejlepší domnantní částce, tzv. semeno. V každém kroku algortmu jsou nalezena tato semena a označena jako nejlepší částce v okolní skupně částc. To na konc algortmu vede k nalezení několka lokálních optm, z kterých je vybráno to nejlepší a označeno za hledané globální optmum. 4.3 PSO v komplkovaném prostředí Víceúčelové PSO (MOPSO) Víceúčelové optmalzační problémy sestávají z více cílů, kterých je nutno dosáhnout současně. Jedním z možných řešení těchto problémů je shrnutí všech cílů do jedné účelové funkce s váham, 15

20 které jsou konstantní nebo dynamcky se měnící. Hlavním problémem tohoto přístupu je, že ne vždy je možné nalézt správně vyváženou funkc. Navíc je někdy nutné nalézt vhodný komproms mez jednotlvým cíl, tedy Pareto optmální řešení. V poslední době bylo představeno několk MOPSO algortmů založených na Paretově optmu. V těchto algortmech je hlavním problémem výběr správných nejlepších ndvduálních hodnot částc (p best ) a hodnotu nejlepší částce (g best ) tak, aby zaručovaly konvergenc algortmu do nejslbnější Paretovy oblast a zároveň byla zachována rozmantost populace. Tento výběr lze provést dvojím způsobem. Buď náhodně nebo podle nějakého algortmu, který nevyužívá náhody, například Paretovy klasfkace, metody sgma nebo podúrovňového stromu. Jednou z metod řešící víceúčelové optmalzační problémy je PSO s dynamckým sousedstvím (DN-PSO). V tomto algortmu se cíle rozdělí do dvou množn, cíl skupny (F 1 ) a optmalzační cíl (F 2 ). Přčemž toto rozdělení je lbovolné. V každém kroku s každá částce defnuje své okolí tak, že s spočítá vzdálenost k ostatním částcím a zvolí s M nejblžších sousedů. Vzdálenost mez částcem je spočítána jako rozdíl v hodnotách ftness funkce první skupny účelových funkcí. Poté je v takovémto sousedství nalezena částce s nejlepší hodnotou ftness funkce druhé skupny účelových funkcí. Další metodou je vektorově ohodnocené PSO (VEPSO), které je založeno na prncpu vektorově ohodnoceného genetckého algortmu (VEGA). V algortmu VEPSO je pro prohledávání prostoru řešení použto dvou a více hejn. Každé hejno je ohodnocováno dle jedné účelové funkce, přčemž s mez sebou vyměňují nformace. Díky nformacím získaným z jných hejn se upravuje trajektore částc. Ty potom směřují k bodu Paretova optma. Rovnce aktualzace rychlost pro M-účelovou funkc pak může být defnována takto: v [ j] [ j] { ( ) + c rand ( p x ( 1) )} [ j] [ j] [ j] [ j] () t χ ϕ v ( t 1) + c rand p x ( t 1) = t c 1 1 (4-5) kde ndex j představuje číslo hejna, ndex odpovídá číslu částce v hejně. Tento algortmus je možno snadno mplementovat na paralelních počítačích, v tom případě se pak algortmus nazývá paralelní VEPSO Práce s omezením v PSO Skutečné optmalzační problémy často obsahují různá omezení, která vymezují prohledávaný prostor řešení na nějakou vhodnou malou oblast. Způsoby jak nakládat s těmto omezením jsou dva. Jednou z možností je zahrnout tato omezení do ftness funkce. Druhou možností je řešt omezení a ftness odděleně. Výhodou druhého přístupu je, že nezavádí do PSO algortmu další proměnné a navíc není počet an formát těchto omezení njak omezen. Základní rovnce pro aktualzac pozce a rychlost zůstávají 2 2 g, 16

21 nezměněny. Poté co je částc vypočítána nová pozce, ověří se, zda tato pozce patří do přípustného prostoru řešení. Pokud ne, tak je částce buď znovu ncalzována, nebo přesunuta na její nejlepší známou pozc p, nebo se počítá dál s tímto nepřípustným řešením, ale neaktualzuje se hodnota p best. Nevýhodou této metody je problém s řešením optmalzačních úloh, které mají velm malou oblast přípustných řešení PSO v dynamckých úlohách Klascký optmalzační algortmus založený na báz částcových hejn se ukázal př řešení statckých optmalzačních úloh jako velm efektvní. Avšak tato metoda už nemusí být tolk efektvní pro řešení dynamckých systémů, kde se optmální hodnota rychle mění. Proto byly vytvořeny přzpůsobvé modfkace PSO algortmu. Tyto modfkace pracují jak s náhodným přenastavením částc, tak s dynamcky se měnícím parametry samotného PSO algortmu. V lteratuře se vyskytují dvě metody pro rozpoznání změny prostředí, měnící se g best hodnota a stálá g best hodnota. První metoda v každém kroku algortmu vypočítá hodnotu ftness funkce pro p g. Pokud p g odpovídá stále stejné částc, ale hodnota ftness funkce se lší od g best, pak lze předpokládat, že se systém dynamcky změnl. Protože však tento předpoklad nemusí nutně platt pro všechny dynamcké systémy, exstuje druhá metoda, která sleduje pozce dvou nejlepších částc hejna. Pokud se totž jejch pozce za určtý počet terací nezmění, algortmus předpokládá, že nalezl optmum. Exstuje řada způsobů, jak se s těmto dynamckým změnam systému vypořádat. Například náhodně přenastavt určtý počet částc (10%, 50%, 100% populace), rencalzovat některé částce, náhodně měnt p g a g best, nebo kombnace předchozích způsobů. Jným algortmem pro dynamcké systémy je PSO s malou velkostí populace (SPPSO). Tento algortmus využívá populace pět a méně částc, které se každých N kroků znovu vygenerují. Všechny částce, kromě nejlepší, jsou nahrazeny. Navíc jsou částcím předány hodnoty p a p best, aby byla zachována paměť algortmu. 4.4 Další varanty PSO Gaussovo PSO (GPSO) Klascký PSO algortmus provádí vyhledávání uprostřed mez globální a lokální nejlepší pozcí. Způsob jakým je toto prohledávání prováděno, stejně jako konvergence hejna do optmální oblast, závsí na tom, jak jsou nastaveny parametry algortmu. Pro odstranění této slabny byla pro řízení pohybu částc do PSO mplementována Gaussova funkce. V této varantě PSO jž není potřebná konstanta setrvačnost. Akcelerační konstanty jsou nahrazeny náhodným číslem z Gaussova rozložení. 17

22 Rovnce aktualzace rychlost je pak defnována jako: v v () t = GRand ( 1 C ) p ( t 1) p ( t 1) () t = GRand ( C2 ) p ( t 1) pg ( t 1) () t = v() t Rand( θ ), v 1 g when when rand > C rand C 1, 1, (4-6) kde p ( t 1) p ( t 1) g je vzdálenost mez globální a lokální nejlepší pozcí, pokud jsou oba body shodné, je nastavena na 1, C 1 je konstanta v rozmezí 0-1. Představuje důvěru v globální nejlepší pozc. C 2 je opět konstanta v rozmezí 0-1. Stanovuje bod mez p g (t) a p (t), který je jejch směrodatnou odchylkou, GRand(y) je náhodné číslo z Gaussova rozložení se směrodatnou odchylkou y, rand je náhodné číslo mez nulou a jednčkou z rovnoměrného rozložení a Rand(θ) je náhodný vektor s velkostí jedna, úhel je mez nulou a 2π. Díky této modfkac je převážně prohledávána oblast mez lokální a globální nejlepší pozcí. Čím jsou s tyto pozce blíže, tím menší je směrodatná odchylka, a tím se prohledávané oblast přblžují Rozptýlené PSO (DPSO) DPSO pro zlepšení algortmu PSO zavádí do modelu zápornou entrop, což vytváří rozptýlené struktury, které zabraňují předčasné stagnac algortmu. Negatvní entrope dává rychlost částce dodatečnou náhodnost takto: If ( rand c ) then v = rand Vmax <, (4-7) v kde c v a rand jsou náhodná čísla v rozmezí 0-1. Stejným způsobem je přdána náhodnost pozce částce If ( rand c ) then x = Rand( l u) l, <, (4-8) kde Rand(l,u) je náhodné číslo v rozmezí daném dolním lmtem l a horním lmtem u. Náhodnost dodaná negatvní entropí zabraňuje algortmu dospět do stavu rovnováhy. Samoorganzace rozptýlených struktur společně s vrozenou nelneární nterakcí částc v hejně vede k trvalému kolísání řešení PSO s pasvním shromažďováním (PSOPC) Pasvní shromažďování je jedna z možností jak zabránt uváznutí algortmu PSO v lokálním optmu a navíc zlepšuje přesnost a rychlost jeho konvergence. Zahrnutím pasvního shromažďování do algortmu PSO se změní rovnce aktualzace rychlost částce na: 18

23 v ( ) () t = ϕ c v ( t 1) + c1 rand1 ( p x ( t 1) ) + c2 rand 2 pg x ( t 1) + c rand ( X x ( t 1) ), 3 3 (4-9) kde c 3 je koefcent pasvního shromažďování a X je náhodně zvolená částce z hejna. obrázek 4-1: Aktualzace pozce částce u algortmu PSOPC. Bohužel zatím není zjštěno nakolk tato metoda zlepšuje chování algortmu, an jaká je vhodná velkost koefcentu pasvního shromažďování Rozpínavé PSO (SPSO) Schopnost konvergence algortmu za přítomnost lokálních optm je jedním z hlavních problémů optmalzačních technk. Může se stát, že řešení uvázne v lokálním optmu, u kterého započalo prohledávání prostoru řešení. Proto bylo vyvnuto rozpínavé PSO, které je zaměřeno na nalezení opravdového globálního optma. Tato metoda přdává do konceptu PSO technky ohybu, rozpínání a odpuzování. První dvě technky provádí transformac účelové funkce tím, že do ní zahrnují jž nalezené optma. Poslední technka zaručuje, že se částce nebudou pohybovat směrem k jž nalezeným optmům. Díky tomu se algortmus dokáže vyhnout jž nalezeným řešením a tedy má větší šanc nalézt globální optmum účelové funkce. ( x) = f ( x) + x x ( sgn( f ( x) f ( x) ) 1) G γ, (4-10) H ( x) = G( x) 1 + ( f ( x) f ( x) ) + 1 ( µ ( G( x) G( x) )) sgn + γ 2, (4-11) tanh kde γ 1, γ 2, a µ jsou náhodně zvolené kladné konstanty. Uvedené rovnce provádí dvoufázovou transformac ftness funkce. První transformace (4-10) mění ftness funkc f(x) na funkc G(x) tím, že elmnuje všechna lokální mnma, která jsou větší než f( x ), kde x představuje právě nalezené lokální mnmum. Druhá transformace (4-11) roztahuje sousedství x a přřazuje větší funkční hodnoty bodům v tomto rozšřujícím se sousedství. 19

24 4.4.5 Spolupracující PSO (CPSO) Tato metoda využívá spoluprác více hejn částc k významnému zlepšení základního PSO algortmu. Každé z používaných hejn optmalzuje jnou část vektoru řešení. Stejně jako u kooperatvního koevolučního genetckého algortmu (CCGA) je prohledávaný prostor jasně rozčleněn rozdělením vektoru řešení na několk menších vektorů. Na tomto prncpu pracují dva algortmy, CPSO-S a CPSO-H. U CPSO-S je hejno n-rozměrných vektorů rozděleno na n hejn jedno-rozměrných vektorů. Každé hejno se pak snaží optmalzovat jednu část vektoru řešení. Pro ohodnocení jednotlvých částc se používá mechansmus důvěrného předání. Výhodou CPSO-S algortmu je, že současně je modfkována pouze jedna část. Tudíž je možno vytvořt mnoho kombnací pomocí různých částc z různých hejn. Tím je zajštěno podrobné prohledávání a přtom zvýšení rozmantost populace. PSO algortmus má větší šanc unknout z lokálního optma zatímco CPSO-S má rychlejší konvergenc. Algortmus CPSO-H kombnuje tyto dva přístupy tak, že nejprve provede jeden krok CPSO-S algortmu a poté jeden krok PSO algortmu. Dalším možným přístupem ve spolupracujících PSO algortmech je konkurenční PSO (CONPSO). Tento algortmus používá dvou hejn, které konkurenčně prohledávají prostor řešení. Tato dvě hejna s však často vyměňují nformac o nejlepší nalezené pozc. Tyto přístupy lze také kombnovat. Například vytvořením algortmu, který používá dvě konkurenční hejna, která prohledávají prostor pomocí algortmu CPSO-S nebo CPSO-H PSO s úplným učením (CLPSO) V této úpravě PSO algortmu [7] je rovnce pro aktualzac rychlost částce změněna na: v d ( ) d d d () t = v ( t ) + ϕ rand pbest x ( t 1) ϕ, (4-12) c 1 1 f( d ) kde d je ndex rozměru a f (d) defnuje které částce p best má částce následovat. obrázek 4-2:Aktualzace pozce částce u algortmu CLPSO. Pro každou dmenz d částce je vygenerováno náhodné číslo. Pokud je toto číslo větší než hodnota pravděpodobnost učení této částce (Pc ), pak bude částce následovat své vlastní p best, vz obrázek 4-2 (a). Jnak bude následovat p best jné částce, vz obrázek 4-2 (b). Tato částce se určí 20

25 turnajem, a to tak, že se nejprve náhodně vyberou dvě částce z hejna a použje se ta částce, jež má větší hodnotu p best. Aby bylo zajštěno, že se částce učí jen z dobrých příkladů a nesměřují špatným směrem, je učení umožněno až po předem daném počtu terací algortmu m. Parametry φ, Pc a m se v algortmu CLPSO musí vyladt. Parametr Pc je vhodné nastavt pro každou částc jnak a tím zajstt, že částce mají různou schopnost detalního prohledávání. Výhodou tohoto přístupu je, že všechny částce jsou potenconálním vůdc hejna. Tím je snížena šance uváznutí v lokálním optmu. Navíc je zvýšena rozmantost populace díky tomu, že v každém rozměru je jako vzor použta jná částce Kvantové PSO (QSO) Kvantová částcová optmalzace vychází z atomového modelu. V tomto modelu jsou však orbty elektronů nahrazeny kvantovým mračnem. Jedná se v podstatě o pravděpodobnostní dstrbuční funkc určující, kde se během měření elektron nalézá. Měření můžeme nazývat evaluací. Kvantové částce se potom náhodně nalézají v hyperkoul o poloměru r cloud, se středem v globálním optmu p g. obrázek 4-3: Aktualzace pozce částce algortmu QSO. Rychlost těchto částc se nebere v úvahu a rovnce aktualzace pozce částce je velm jednoduchá: r x () t B( ) r cloud. (4-13) Tyto částce nejsou odpuzovány od ostatních částc an nejsou nčím přtahovány. Proto se tento algortmus nepoužívá samostatně, ale slouží pro podrobné prohledávání prostoru kolem globálního optma, nalezeného jnou varantou PSO algortmu Kombnace PSO a QSO (QPSO) Jak bylo uvedeno v předchozí podkaptole 4.4.7, kvantová optmalzace na báz částcových hejn se obvykle nepoužívá samostatně, ale jako doplněk jného prohledávacího algortmu PSO. Využtí QSO může být dvojí. Buď lze QSO použít pro podrobné prohledávání okolí nejlepšího řešení nalezeného klasckým PSO, č některou z jeho varant. V této aplkac je nejprve nalezeno hrubé optmum a poté se kolem něj vytvoří kvantové mračno o malém poloměru r cloud, které může optmum nalézt přesněj. 21

26 Druhou možností jeho využtí je sledování optma v dynamckých úlohách [8]. V tomto případě algortmus pracuje tak, že je hejno rozděleno na dvě část (nemusí být stejné velkost). Jedna část je tvořena normálním částcem, tj. částcem chovajícím se dle rovnc (3-5) a (3-1). Druhá část je tvořena kvantovým částcem. Tyto hejna pracují souběžně, normální částce hledají optmum funkce a kvantové částce sledují jeho pohyb v čase. Pokud se optmum pohne o menší vzdálenost než je r cloud, je pravděpodobné, že toto nové řešení bude pokryto kvantovým mračnem. To vede k tomu, že tento algortmus najde nové řešení v dynamckých úlohách rychlej než jné varanty PSO algortmu. obrázek 4-4: Algortmus QPSO, plné kruhy představují kvantové částce, prázdné kružnce představují normální částce. 22

27 5 Implementace PSO pro dynamcké úlohy (mqpsopc) Některé přístupy k řešení dynamckých úloh byly jž zmíněny v podkaptole Jnou možností řešení dynamckých problémů je spolupráce více hejn částc. To může být provedeno buď rozdělením vícedmenzonálního problému na n jednodmenzonálních, kde každé hejno optmalzuje jednu část vektoru řešení (CPSO), nebo všechna hejna optmalzují stejnou úlohu, soutěží mez sebou a vyměňují s nformace (CONPSO). Tyto přístupy jsou popsány v podkaptole Posledním přístupem je vícerojový PSO (mpso), který využívá více rojů k prohledávání a sledování lokálních optm. Toto řešení je podrobněj popsáno v následující kaptole. 5.1 Pops algortmu mqpso Tento algortmus vychází z kvantového PSO [9]. Hlavní deou je rozdělení populace částc na několk menších spolupracujících rojů. Vícerojový přístup spočívá v tom, že jeden roj zůstává v blízkost lokálního optma, zatímco zbytek populace pokračuje v prohledávání prostoru. V deálním případě se pak kolem každého lokálního optma vyskytuje jeden roj a sleduje jeho dynamcký vývoj. Z těchto lokálních optm se pak jednoduše určí optmum globální. Ovšem jednoduché rozdělení hejna na několk menších není efektvní, pokud tato mn hejna spolu nekomunkují. V tomto algortmu jsou zahrnuty dva způsoby spolupráce, exkluze a ant-konvergence. Navíc každé hejno je tvořeno dvěma typy částc, normálním a kvantovým. Každé hejno pak pracuje dle algortmu popsaného v podkaptole Pokud je hejno rozděleno na několk menších, může se stát, že se více hejn usadí kolem jednoho lokálního optma. To je velm nežádoucí, jelkož hlavní deou vícerojového přístupu je, že každý roj prohledává jné optmum. Proto je velm důležtá rozmantost mez jednotlvým hejny. Toho lze dosáhnout pomocí odpuzování mez částcem z různých hejn. Avšak teoretcky by se mohlo stát, že by hejna uvázla v rovnováze kolem optma, vzájemně by se odpuzovala a nkdy by optma nedosáhla. Aby k tomuto nedocházelo, byla zavedena exkluze, tedy jednoduché soutěžení rojů. Pokud se více rojů nachází kolem jednoho lokálního optma, je roj s lepší hodnotou ftness funkce zachován a ostatní roje jsou přencalzovány. Aby se jednoduše určlo, zda-l jsou hejna blízko sebe, je zaveden nový parametr poloměr exkluze r excl. Exkluz lze tedy označt jako lokální nterakc mez hejny a vzdálenost mez těmto hejny by měla být menší než poloměr exkluze. Tedy: 23

28 n 2 ( pgdk pgdl ) r >, (5-1) excl d= 1 kde p g je globální optmum hejna, k a l jsou ndexy částc hejna a n je počet dmenzí. Jelkož exkluze slouží k tomu, aby bylo kolem každého optma pouze jedno hejno je optmální velkost parametru r excl závslá na počtu optm a velkost prohledávaného prostoru. Předpokládaná optmální hodnota se určí na základě vztahu: 1 X =, (5-2) rexcl 1 2 d p kde X je maxmální rozměr jedné dmenze, d je počet dmenzí a p je počet lokálních optm. Pokud je počet hejn menší než počet možných lokálních optm a všechna tato hejna konvergovala, systém ztrácí svou schopnost prohledávání prostoru. Pokud by se totž jedno z lokálních optm, které není sledováno žádným z hejn, dynamcky změnlo v globální optmum, nebo by dokonce vznklo nové lokální optmum, systém by tuto změnu nezaznamenal a globální optmum nenašel. Proto byl zaveden nový operátor ant-konvergence. V případě že všechna hejna zkonvergovala, je hejno s nejhorší hodnotou ftness funkce přencalzováno. Operátor ant-konvergence tak zajšťuje, že exstuje alespoň jedno hejno, které hledá nová řešení. To zda hejno zkonvergovalo se určí pomocí nového parametru poloměr konvergence r conv. Pokud je velkost hejna (tj. největší vzdálenost mez dvěm částcem hejna) větší než tento poloměr, ještě stále konverguje. Velkost hejna S se vypočítá jako: n ( xdk xdl ) S = max, (5-3) kl d= 1 2 kde k a l jsou ndexy částc hejna a n je počet dmenzí. Ant-konvergence je tedy nterakce mez hejny v globálním měřítku, protože nformace o tom zda hejno zkonvergovalo je šířena mez všechna hejna. Samotný algortmus mqpso se, poté co je ncalzován, skládá ze čtyř částí. Nejprve jsou vypočítány lokální a globální maxma, potom jsou provedeny testy exkluze a ant-konvergence a nakonec jsou aktualzovány pozce částc. V závslost na výsledku testů exkluze a ant-konvergence může být tato aktualzace pozc provedena podle rovnc (3-5), (3-1) a (4-13), podle typu částce, nebo rencalzací celého hejna. Z toho vyplívá, že pro aktualzac rychlost částce se využívá operátoru omezující faktor. Ve zkratce se dá algortmus mqpso popsat takto: 1. Incalzace každé částc je přřazena náhodná pozce v prohledávaném prostoru a náhodný vektor rychlost. 2. Ohodnocení pro každou částc v každém hejnu je vypočítána hodnota ftness funkce. 24

29 3. Nalezení p best porovnání současné hodnoty ftness funkce částce s její p best. Pokud je současná hodnota lepší, je označena za p best a do p je uložena současná poloha částce. 4. Nalezení g best nalezení částce s nejlepší ftness funkcí pro každé hejno. Tato hodnota je označena za g best a pozce této hodnoty p g. 5. Test exkluze porovnání g best každých dvou hejn, zda se nenacházejí přlž blízko sebe podle rovnce (5-1). Pokud ano, je horší z nch určeno k rencalzac. 6. Test ant-konvergence provádí se jen pokud není žádné hejno určeno k rencalzac. Pokud všechna hejna zkonvergovala, je hejno, jehož hodnota g best je nejhorší, určeno k rencalzac. 7. Aktualzace pozc částc pokud není hejno určeno k rencalzac jsou normální částce aktualzovány dle rovnc (3-5) a (3-1) a kvantové částce dle rovnce (4-13). 8. Opakování kroků 2-7 dokud nejsou splněny podmínky ukončení. Tedy dokud není dosažen maxmální počet terací algortmu nebo dokud není předčasně ukončen. 5.2 Návrh modfkace mqpsopc Navrhnutá modfkace původního algortmu spočívá ve spojení vícerojového kvantového PSO (mqpso) a PSO s pasvním shromažďováním (PSOPC) na výsledný algortmus mqpsopc. Jak bylo uvedeno v podkaptole algortmus PSOPC zvyšuje dverztu hejna a tím snžuje šanc, že algortmus uvázne v lokálním optmu. Vůč původnímu algortmu PSOPC je modfkována rovnce aktualzace rychlost částce. V souladu s algortmem mqpso byl zachován parametr omezující faktor a vypuštěna setrvačnost. Teoretcky je možné použít obě tyto varanty omezení rychlost částc, ale není to přílš vhodné. V navržené modfkac má rovnce pro aktualzac rychlost částce tvar: r v { r r r ( ) () t = χ v ( t 1) + c1 rand1 ( p x ( t 1) ) + c2 rand 2 pg x ( t 1) + c rand ( X x ( t 1) )}, 3 3 r r konstanta χ se vypočítá podle vztahu (3-4), kde ϕ = c 1 + c 2 + c 3. Tato modfkace byla zvolena vzhledem k tomu, že v dynamckých optmalzačních úlohách je základní rovnce aktualzace rychlost částc nepostačující. Problém spočívá v pamět částc, která přtahuje částce k nejlepším známým řešením. Tato řešení však v dynamcky se měnícím prostředí jž nemusí být ta nejlepší. Částce jsou tak přtahovány do míst, kde už optmum nemusí ležet. Proto byl přdán třetí parametr, přtažlvost k náhodné částc, aby byla tato nevýhoda potlačena. (5-4) 25

30 Jnou možností, jak tento problém řešt, je mazání pamět částc po každé změně prostředí. Ovšem detekce změny prostředí může být v některých úlohách problematcká. Navíc se prostředí může měnt velm často a paměť částc by tak byla naprosto nevyužta Struktura programu Pro mplementace programu DynamcPSO byla jako programovací jazyk zvolena Java a k jeho tvorbě bylo využto vývojové prostředí NetBeans IDE Program se skládá z těchto osm zdrojových souborů: Man.java Toto je soubor vygenerovaný vývojovým prostředím. Pouze se v něm vytváří objekt třídy PSOJFrame. PSOJFrame.java Zde je mplementováno grafcké rozhraní programu. Načítají se zde parametry smulace pomocí metod GetIntPSOValue a GetIntMPValue. Zároveň je v těchto metodách ošetřeno, zda jsou parametry správně zadány a zda jsou jejch hodnoty v dovoleném rozmezí. obrázek 5-1: Užvatelské rozhraní programu. 26

31 MyThread.java Implementace vlákna ve kterém se spouští smulace. Obsahuje metody run a stopp, dále je využívána metoda stop třídy Thread. ResultsWndow.java V tomto souboru je mplementováno okno pro zobrazování výsledků smulace. Jedná se o další část grafckého rozhraní programu. obrázek 5-2: Okno s výsledky smulace. Smulaton.java Tento soubor je hlavním souborem programu. Vytváří se zde pole hejn třídy Swarm a tato hejna jsou ncalzována (metoda SmulatonInt). Hlavně je zde mplementovaný algortmus, který je popsán v podkaptole 5.1 (metoda SmulatonStart). Také jsou odtud posílány hodnoty oknu s výsledky. Swarm.java Implementace samotného hejna. To je složeno z částc tříd NormalPartcle a QuantumPartcle. V tomto souboru je taktéž mplementována nterakce mez částcem hejna a zjštění globálního optma nalezeného hejnem (metoda GBestActualzaton) a také určení zda hejno zkonvergovalo (metoda Converged). NormalPartcle.java Implementace normálních částc algortmu mqpsopc. Obsahuje metody pro aktualzac pozce částce (PostonUpdate) a pro zjštění nejlepší známe pozce částce (ActualzeBestFtnes). 27

32 QuantumPartcle.java Implementace kvantových částc algortmu mqpsopc. Obsahuje stejné metody jako třída NormalPartcle. Pouze rovnce pro aktualzac pozce částce je odlšná Ovládání programu Hlavní okno programu (vz obrázek 5-1) s lze pro jednodušší pops ovládání rozdělt na tř část. První část označená jako DYNAMIC PSO slouží pro zadání parametrů prohledávacího algortmu mqpsopc. Vždy za názvem parametru následuje závorka, ve které je uveden povolený rozsah hodnot. Písmeno n označuje, že daný parametr nemá danou horní hranc. Jsou zde pole pro zadání počtu hejn a pro počet normálních a kvantových částc v jednom hejně. Následují pole pro zadání maxmální rychlost částc, pole pro zadání parametrů c 1, c 2 a c 3. Pro úplnost, parametr c 1 představuje přtažlvost k nejlepší pozc částce, parametr c 2 přtažlvost k nejlepší částc a parametr c 3 přtažlvost k náhodné částc hejna. Dalším nastavtelným parametry jsou omezující faktor, poloměr exkluze, poloměr mračna kvantových částc a poloměr ant-konvergence. Všechny parametry lze zadat jako desetnné číslo v anglckém formátu, tj. oddělené tečkou. Pouze parametry počet hejn, počet normálních a počet kvantových částc vyžadují celé číslo. Druhou částí, která je označena MOVING PEAKS, je zadávání parametrů úlohy s pohybujícím se vrcholy. Těmto parametry jsou počet vrcholů, počet dmenzí funkce, počet evaluací po kterých se funkce změní, maxmální změna pozce vrcholu př změně funkce, mnmální a maxmální šířka, mnmální a maxmální výška, maxmální změna šířky př změně funkce a maxmální změna výšky př změně funkce. Také je zde přepínač pro zadání typu funkce. Opět lze všechny parametry zadat jako desetnné číslo, kromě počtu vrcholů, dmenzí a evaluací, ty vyžadují celočíselnou hodnotu. Poslední část nemá žádné označení, ale lze j nazývat ovládáním smulace. Skládá se ze čtyř tlačítek, pole pro zadání počtu terací programu a volby zda se mají výsledky zobrazovat během smulace nebo až po jejím skončení. Ovládacím tlačítky jsou START, kterým se spustí smulace dle zadaných parametrů. Tlačítkem STEP lze smulac krokovat. Tlačítko STOP slouží k pozastavení smulace. Po jeho stsknutí lze tlačítky START a STEP pokračovat v smulac se starým hodnotam parametrů. Tlačítko RESET slouží k přenastavení parametrů. Je nutné ho stsknout vždy, když chceme spustt smulac s novým hodnotam. Po spuštění smulace se objeví okno s výsledky smulace (vz obrázek 5-2). Výsledky smulace se pak začnou buď hned kontnuálně zobrazovat a nebo se zobrazí až po skončení smulace, v závslost na tom zda je políčko Contnuous results zaškrtnuto nebo ne. Pokud se výsledky nezobrazují, není smulace zdržována jejch překreslováním a proběhne rychlej. V tomto okně se zobrazuje počet proběhlých terací programu, poslední nejlepší hodnota ftness, poslední průměrná hodnota ftness, nejlepší dosažená hodnota ftness a nejlepší dosažená průměrná hodnota ftness. 28

33 Následuje současná hodnota globálního optma a zda-l bylo tohoto optma v průběhu smulace dosaženo. Jako poslední je zobrazována nejdůležtější hodnota, tj. velkost offlne chyby. Po stsku tlačítka RESET toto okno opět zmzí. Klknutím na křížek se ukončí celá aplkace. 5.3 Ilustrační Java applety V rámc této dplomové práce byly namplementovány čtyř lustrační Java applety znázorňující různé varanty PSO algortmu. Př jejch navrhování byla nsprace čerpána z několka jž hotových appletů dostupných na nternetu [10, 11, 12]. obrázek 5-3: Applet znázorňující PSO v dynamckých úlohách. Všechny applety mají podobný vzhled jako znázorňuje obrázek 5-3. První applet lustruje klascký algortmus PSO. Testovací funkcí je kužel, jehož vrstevncové znázornění je zobrazeno oranžovou barvou. Červená barva představuje vrchol kužele, tj. optmum funkce. Částce jsou černé a nejlepší z nch je vykreslena zeleně. U algortmu QPSOPC jsou kvantové částce odlšeny modrou barvou. Ovládání je velm podobné jako u hlavního programu. Tlačítka mají naprosto stejnou funkc. Pouze nastavtelných parametrů algortmu PSO je méně a není zde možnost modfkace 29

34 optmalzované funkce. Ta je tedy stále stejná. Byl pokus optmalzovat jné funkce, např. vlnu nebo Mchalewtzovu funkc [13], avšak jejch zobrazení ve vrstevncích je velm nepřehledné. Druhý applet představuje algortmus PSOPC optmalzující stejnou funkc jako applet první. Do ovládání přbylo pouze pole pro zadání parametru c 3. Z průběhu smulace je patrné, že tato úprava njak výrazně nezlepšuje chování klasckého algortmu PSO ve statckých úlohách. Je možné, že jej naopak zhoršuje. Třetí applet opět lustruje klascký algortmus PSO, který hledá optmum pohybujícího se kužele. Právě na tomto demonstračním appletu je zřetelně vdět, jak parametr přtažlvost k nejlepší pozc částce zhoršuje chování celého PSO algortmu v dynamckých úlohách. Poslední z appletů znázorňuje algortmus QPSOPC hledající optmum stejné dynamcké úlohy jako applet třetí. Jedná se o stejný algortmus jako algortmus, který je hlavním předmětem této práce. Avšak skládá se pouze z jednoho hejna a tudíž odpadá komunkace mez hejny. Důvodem této úpravy je, že ukázková funkce má pouze jeden vrchol. Kdyby zde bylo více hejn, všechny by prohledávaly stejnou oblast, což by vedlo k jejch neustále rencalzac a tímto k zhoršování výsledků algortmu. Na této ukázce je opět patrné, že na rozdíl od statckých úloh, v dynamckých optmalzačních úlohách vede přdání pasvního shromažďování k vylepšení výsledků algortmu PSO. 30

35 6 Expermenty 6.1 Úloha s pohybujícím se vrcholy Jako testovací úloha pro ověření funkčnost algortmů publkovaného mqpso a vytvořeného mqpsopc byla zvolena úloha s pohybujícím se vrcholy (Movng peaks benchmark). Jedná se o úlohu jejíž ftness funkce se v průběhu času mění. Tato úloha sestává z voltelného počtu vrcholů, které mění svou výšku, šířku pozc. Úloha je volně ke stažení na www stránkách [14] a je mplementována jak v jazyce Java, tak v jazyce C. Pro tuto prác byla využta verze mplementovaná v programovacím jazyce Java. Vzhledem k velkému množství voltelným parametrům, reprezentuje vlastně tato úloha celou třídu testovacích úloh. Tento program sestává z 10 souborů. Hlavní třídou je movpeaks.java. V ní je mplementováno několk důležtých metod pro komunkac: eval_movpeaks Vrací hodnotu ftness funkce. dummy_eval Vrací hodnotu ftness funkce, nezapočítává se jako evaluace. Tedy nemá vlv na statstky. change_peaks Provede změnu prostředí. Jnak je změna prostředí prováděna po zadaném počtu evaluací. get_avg_error Vrací průměrnou chybu. get_current_error Vrací současnou chybu. get_offlne_error Vrací offlne chybu. get_number_of_evals Vrací počet provedených evaluací Nastavení parametrů Jednou z hlavních vlastností Movng peaks benchmarku je množství nastavtelných parametrů funkce. Nejdůležtější z nch s zde uvedeme včetně hodnot, které byly nastaveny př všech expermentech. Parametr Hodnota Pops change_frequency 5000 Počet evaluací funkce po kterých dojde k její změně. geno_sze 5 Počet dmenzí funkce. number_of_peaks 5 Počet vrcholů funkce. vlength 1 O kolk se maxmálně pohne vrchol př změně funkce. heght_severty 1 O kolk se maxmálně změní výška vrcholu př změně funkce. wdth_severty 1 O kolk se maxmálně změní šířka vrcholu př změně funkce. mnheght 30 Mnmální výška vrcholu. 31

36 maxheght 70 Maxmální výška vrcholu. standardheght 0 Standardní výška vrcholu. Pokud je nastavena na 0, výška vrcholu bude náhodná hodnota mez mnheght a maxheght. mnwdth 1 Mnmální šířka vrcholu. maxwdth 12 Maxmální šířka vrcholu. standardwdth 0 Standardní šířka vrcholu. Pokud je nastavena na 0, šířka vrcholu bude náhodná hodnota mez mnwdth a maxwdth. Peak_Functon 1 Typ funkce: 0 Standardní funkce, 1 Kužel, 2 - Koule Úpravy kódu Bohužel verze úlohy s pohybujícím se vektory mplementovaná v jazyce Java neobsahuje některé metody nutné pro nastavení všech parametrů. Nejpodstatnějším parametry, které nejdou v původním programu nastavt, jsou mnmální a maxmální výška vrcholu. Proto bylo nutné tyto metody domplementovat. Také byly domplementovány další dvě metody. To ovšem způsobuje nekompatbltu tohoto programu s původním benchmarkem. Do souboru movpeaks.java byly domplementovány tyto metody: SetMaxHeght Nastavení mnmální výšky vrcholu. SetMnHeght Nastavení maxmální výšky vrcholu. SetStdHeght Nastavení standardní výšky vrcholu. GetGlobalMax Vrací současnou hodnotu optma. 6.2 Krtéra optmalty Off-lne chyba Standardním krterem optmalty pro dynamcké úlohy je offlne chyba (error), která je defnovaná jako průměr všech chyb dosažených př T evaluacích/teracích. Jnak řečeno je to průměrná odchylka nejlepšího jednce v populac od optmální hodnoty funkce. 1 offlne _ chyba =, (6-1) T T e t t= 1 kde e t je nejmenší chyba v ntervalu <τ, t>, T je celkový počet evaluací/terací a τ je čas poslední změny. Tato offlne chyba se může uvádět pro konečný čas evoluce T nebo pro průběžný čas t, takže j lze zobrazt grafcky. 32

37 6.2.2 Časový průběh ftness funkce Zatímco předchozí offlne chyba je globálním parametrem kvalty optmalzačního procesu, časový průběh chyby nebo ftness funkce podává detalnější grafcký náhled o dynamce evoluce. Většnou se pro každou generac vynáší největší dosažená ftness funkce (nejmenší dosažená chyba) v rámc aktuální generace. V anglcké termnolog se uvádí jako best of generaton. Jde vesměs o plovtý průběh s s typckým nárůstem chyby po změně. graf 6-1: Teoretcký průběh hodnoty ftness nejlepšího jednce v generac. Jak je patrno z následujícího grafu tento průběh ve skutečnost vypadá trochu jnak. Hodnota ftness neroste hladce, ale spíše oscluje. Také propad př změně funkce není vždy stejný. graf 6-2: Reálný průběh hodnoty ftness nejlepšího jednce v generac u algortmu mqpso. 33

38 6.3 Výsledky expermentů Př všech testech bylo použto nastavení testovací úlohy jak je uvedeno v podkaptole U algortmu mqpso bylo použto stejné výchozí nastavení, jaké najdeme u Blackwella a Brankeho [9]. V konfgurac částc M(N+N q ) reprezentuje M počet hejn, N je počet normálních částc v hejně a N q je počet kvantových částc v hejně. Velkost populace pak je N pop = M (N+N q ). Ant-konvergence byla př většně testů vypnuta, protože počet hejn je stejný jako počet vrcholů testovací funkce. Všechny výsledky jsou průměrem z 50 běhů programu. Velkost populace N pop 100 Konfgurace částc M(N+N q ) 10(5+5) Přtažlvost k p c 1 2,05 Přtažlvost k p g c 2 2,05 Omezující faktor χ 0, Poloměr exkluze r excl 31,5 Poloměr ant-konvergence r conv 0 Poloměr kvantového mračna r cloud 1 Maxmální rychlost částc V max Parametr pasvního shromažďování c 3 Hlavním parametrem algortmu mqpsopc, jehož optmální hodnotu bylo nutné určt, je přtažlvost k náhodné částc hejna, tj. konstantu pasvního shromažďování c 3. Tento parametr je klíčový pro další porovnávání původního algortmu mqpso s modfkovaným mqpsopc. graf 6-3: Vlv parametrů c 1,c 3 a rychlost změny funkce na offlne chybu. Př nastavování parametru c 3 se vycházelo z konfgurace algortmu mqpso, kde c 1 = c 2 = 2,05 a součet těchto parametrů ϕ = c 1 + c 2 = 4,1. U algortmu mqpsopc je ϕ = c 1 + c 2 + c 3. Hodnota c 2 34

39 byla ponechána na 2,05 a zbývajících 2,05 bylo rovnoměrně rozděleno mez c 1 a c 3. Nastavení parametrů c 1 = 2,05 a c 3 = 0 odpovídá algortmu mqpso. Jak ukazuje graf 6-3, je zřejmé, že když se testovací funkce mění poměrně méně často, tj. po 50 nebo 10 teracích, má rostoucí parametr c 3 zhoršující vlv na offlne chybu. Avšak pokud se funkce mění častěj, tj. paměť částc jž nemá přílš přínosný vlv na jejch chování, parametr c 3 chybu algortmu snžuje. Hodnota parametru c 3 ale nesmí přesáhnout hodnotu parametru c 1, pokud se tak stane, chyba se opět začne zvyšovat. graf 6-4: Vlv parametrů c1 a c3 na offlne chybu př funkc měnící se po každé terac. Př nejrychlejší možné změně, tj. po každé terac algortmu,vz graf 6-4, je zlepšující účnek parametru c 3 takřka zanedbatelný. Navíc pokusy dokázaly, že př tomto nastavení rychlost změny je nejvýhodnější ponechat parametry c 1 c 3 nulové a posílt vlv parametru c 2, tedy přtažlvost k nejlepší částc hejna. Teoretcky je ale vhodné ponechat parametru c 3 alespoň nějaký vlv, jelkož to má příznvé účnky na dverztu hejna. Jako nejlepší nastavení parametrů se jeví c 1 = c 3 = 1,025. Toto nastavení je použté ve všech následujících testech porovnávajících algortmy mqpso a mqpsopc Konfgurace populace M(N+N q ) Dalším expermentem je vlv konfgurace vícerojové populace na offlne chybu. Nejprve jsou porovnány algortmy mqpso a mqpsopc s výsledky uvedeným v lteratuře [9], přčemž testovací funkce se mění po 5000 evaluacích. Poté jsou porovnány oba mplementované algortmy př změně funkce po 500 evaluacích. 35

40 graf 6-5: Vlv konfgurace populace př změně testovací funkce po 5000 evaluacích. Jak ukazuje graf 6-5, algortmus mqpsopc dosahuje většnou horších výsledků než původní algortmus mqpso. Navíc oba algortmy jsou př větším počtu hejn o hodně horší než výsledky, které uvádí Blackwell s Brankem. Největší odchylka od těchto výsledků je př populac sestávající pouze z normálních částc. Př nízkém počtu hejn je dosahováno lepších výsledků než uvádí lteratura, avšak se snžujícím se počtem hejn se výsledky výrazně zhoršují. Nejlepších výsledků je podle předpokladu dosahováno, pokud je počet hejn stejný jako počet vrcholů funkce. graf 6-6:Vlv konfgurace populace př změně testovací funkce po 500 evaluacích. Graf 6-6 ukazuje, že když je algortmus mqpsopc v rychlej se měnícím prostředí lepší než mqpso, př velkém počtu částc v hejně (tedy př malém počtu hejn) je tomu naopak. V tomto testu se však výsledky obou algortmů přílš nelší. 36

41 6.3.3 Poloměr kvantového mračna r cloud Tento test je zaměřen na jedný parametr kvantových částc, tedy na poloměr kvantového mračna. Jak je patrné z předchozích grafů, má počet kvantových částc velký vlv na celkové výsledky algortmů. Proto je jeho správné nastavení stěžejní. Předpokladem je, že poloměr kvantového mračna by měl být stejně velký jako je největší možný pohyb vrcholu funkce př její změně. Př tomto testu by se také měl nejvíce ukázat rozdíl mez testovaným algortmy mqpso a mqpsopc. Protože pokud je parametr r cloud nastaven špatně, je chování algortmu ovlvněno pouze normálním částcem. A rozdíl mez testovaným algortmy spočívá právě ve změně chování normálních částc hejna, konkrétně v modfkac rovnce pro aktualzac rychlost částce. graf 6-7:Vlv parametru r cloud př změně testovací funkce po 5000 evaluacích. Jak je patrné, naměřené hodnoty se velm lší od hodnot uváděných v lteratuře. Provedené testy ukazují, že algortmy mqpso a mqpsopc jsou mnohem ctlvější na správné nastavení parametru r cloud, protože př velm nízkých (ale vysokých) hodnotách parametru r cloud kvantové částce nepřspívají ke zlepšení výsledků algortmů. Pokud je hodnota přílš nízká, jsou kvantové částce přílš blízko vrcholu a nedokáží zachytt jeho pohyb. Naopak pokud je hodnota parametru r cloud přílš vysoká, jsou částce rozprostřeny přílš daleko od vrcholu a nalezení jeho nové pozce jm trvá dále. graf 6-8: Vlv parametru r cloud př změně testovací funkce po 500 evaluacích. 37

42 Př velm nízkých hodnotách parametru r cloud kdy kvantové částce nemají přílš velký vlv, jsou výsledky algortmu mqpsopc nepatrně lepší. Z toho vyplívá, že provedená modfkace nemá takový účnek jak se předpokládalo. Naopak testy potvrdly, že algortmy dosahují nejlepších výsledků př r cloud = 1, což je hodnota maxmální změny polohy vrcholu př změně testovací funkce Poloměr exkluze r excl Exkluze je lokální nterakce mez hejny. Předpokládaná optmální hodnota parametru r excl se určí dle vztahu (5-2) následovně: r excl = 1 2 X p = = 1 d 31,5 kde X je maxmální rozměr jedné dmenze, d je počet dmenzí a p je počet lokálních optm. graf 6-9: Vlv parametru r excl př změně testovací funkce po 5000 evaluacích. graf 6-10: Vlv parametru r excl př změně testovací funkce po 500 evaluacích. Na těchto grafech je názorně vdět, že úspěšnost testovaných algortmů na parametru r excl téměř vůbec nezávsí. Nejlepších výsledků je sce dosahováno př předpokládané hodnotě 31,5, ale velm 38

43 podobných výsledků bylo dosaženo př hodnotách 1,0 r excl 40. Pouze pokud je exkluze zcela vypnuta jsou výsledky testů o poznání horší Poloměr ant-kovergence r conv Ant-konvergence je globální nterakcí mez hejny, sloužící k neustálému prohledávání prostoru tak, aby byla nalézána nová řešení. Toto je vhodné pouze v případě, že je počet vrcholů testovací funkce větší než počet hejn. Proto byl př tomto testu nastaven počet vrcholů na 50. V důsledku této změny bylo nutno přepočítat optmální hodnotu poloměru exkluze dle rovnce (5-2). Vypočítaná hodnota je r excl = 22,9. Předpokládá se, že deální hodnota poloměru ant-konvergence je stejná jako hodnota poloměru exkluze nebo menší. graf 6-11: Vlv parametru r conv př změně testovací funkce po 5000 evaluacích. graf 6-12: Vlv parametru r conv př změně testovací funkce po 500 evaluacích. 39

44 V prvním testu, kdy se testovací funkce mění po 5000 evaluacích, neměla hodnota poloměru ant-konvergence, na rozdíl od očekávání, téměř žádný vlv na výsledky. Př změně funkce po 500 evaluacích dosahovaly oba algortmy nejlepších výsledků v rozmezí hodnot r conv 0,1. Takovýchto nízkých hodnot však nemá velkost hejna téměř šanc dosáhnout. Dá se proto říc, že v těchto případech je ant-konvergence vypnuta. U algortmu mqpsopc dochází k zhoršování výsledků pozděj a pomalej než u algortmu mqpso. To je očekávatelné vzhledem k tomu, že operátor pasvního shromažďování slouží k zvýšení dverzty hejna, což vede k pomalejší konvergenc algortmu. Výsledkem tohoto expermentu je, že v rychle se měnícím prostředí má parametr antkonvergence zhoršující vlv na schopnost algortmu nalézt globální optmum a hlavně na schopnost sledování pohybu tohoto optma Expermenty s počtem vrcholů testovací funkce V tomto expermentu byl testován vlv počtu vrcholů testovací funkce na výslednou offlne chybu. Oba algortmy byly testovány nejprve s vypnutou ant-konvergencí a poté s poloměrem antkonvergence r conv nastaveným na stejnou hodnotu jako poloměr exkluze r excl. Jelkož je vhodná hodnota poloměru exkluze závslá na počtu vrcholů funkce, musela být tato hodnota stanovena pro všechny testované varanty počtu vrcholů dle vztahu (5-2). tabulka 1: Hodnoty r excl pro jednotlvé počty vrcholů: p r excl 50 43,5 36,2 33,9 31,5 27,5 25,3 23,9 22,9 19,9 17,3 graf 6-13: Změna offlne erroru v závslost na počtu vrcholů př změně testovací funkce po 5000 evaluacích. Bez ant-konvergence. 40

45 graf 6-14: Změna offlne erroru v závslost na počtu vrcholů př změně testovací funkce po 5000 evaluacích. S ant-konvergencí. Z grafů je patrné, že zavedení ant-konvergence algortmus mqpso přílš nezlepšuje. V lteratuře je uvedeno, že přnáší zlepšení pouze př větším počtu vrcholů funkce, což se v testech přílš nepotvrdlo. Výsledky algortmu mqpsopc se př této konfgurac díky ant-konvergenc dokonce zhoršly. graf 6-15: Změna offlne erroru v závslost na počtu vrcholů př změně testovací funkce po 500 evaluacích. Bez ant-konvergence. 41

46 graf 6-16: Změna offlne erroru v závslost na počtu vrcholů př změně testovací funkce po 5000 evaluacích. S ant-konvergencí. Př změně testovací funkce po 500 evaluacích má ant-konvergence opět zhoršující vlv na výsledky obou algortmů. Výsledky algortmu mqpsopc se však změnl jen mírně. Pokud měla testovací funkce 200 vrcholů, byly výsledky algortmu mqpsopc s ant-konvergencí dokonce mírně lepší než bez ní. Celkově vzato má ant-konvergence zhoršující vlv na výsledky algortmů. Následující graf porovnává mplementované algortmy mqpso a mqpsopc bez antkonvergence s výsledky, kterých na stejné testovací úloze dosáhl ve své prác Jan Pokorný s algortmem SOMA (SamoOrganzující se Mgrační Algortmus) [15]. graf 6-17: Závslost offlne erroru na počtu vrcholů testovací funkce. Srovnání algortmů mqpso, mqpsopc a SOMA. Jak je patrné, PSO dosahuje mnohem lepších výsledků, avšak s rostoucím počtem vrcholů se rozdíl mez výsledky algortmů PSO a SOMA snžuje. 42