Particle Swarm Optimization. Martin Macaš ČVUT FEL Katedra kybernetiky

Transkript

1 Particle Swarm Optimization Martin Macaš ČVUT FEL Katedra kybernetiky

2 Úvod BIODAT Group 2

3 Úvod swarms, flocks, herds, schools, blooms mravenci, termiti,... včely, vosy,... pakoně, zebry,... ryby,... lidé... BIODAT Group 3

4 Proč hejna? Včely prohledávání Vysílají zvědy, kteří hledají nové místo pro hnízdo zvědi po návratu tancem přesvědčují ostatní zvědy, čím šťastnější tanec, tím větší pravděpodobnost, že se ostatní přidají Po určité době, když většina zvědů souhlasí s novým místem, celý roj se stěhuje Dobré místo musí být dostatečně prostorné, dobře chráněné před vnějšími elementy, mít správný přístup tepla i vzduchu a nesmí být zamořeno mravenci BIODAT Group 4

5 Proč hejna? Tadarida guánová ochrana před predátory komunikace a rozhodování Výřivý sloup říká ostatním, kdy vylétnout z hnízda, kam se dnes poletí -fúze zkušeností z předchozí noci kolektivní rozhodování BIODAT Group 5

6 Proč hejna? Mravenci Přeprava Tvorba voru z vlastních těl, pontonové mosty BIODAT Group 6

7 Proč hejna? Ryby Znásobení smyslů, obrana před predátorem BIODAT Group 7

8 Proč hejna? Ryby vnímání ostatních i predátorů postraní čárou varovné signály pomocí feromonů, rozechvívání vzduchových měchýřů, skřípění požerákových zubů BIODAT Group 8

9 Proč hejna? Ptáci Hledání potravy Ptáci letící desítky metrů nad zemí dokážou vidět a rozeznat zrnko obilí Sledují znamení zdroje potravy, t.j. aktivity ostatních:» Krmení se na zemi» Kroužení nad nějakým cílem» Otočení se a oddělení se od hejna za něčím» BIODAT Group 9

10 Proč hejna? Lov BIODAT Group 10

11 Simulace Ptačí hejna Craig Reynolds, 1987:BOIDS Tři lokální síly: Collision avoidance odtažení v případě hrozící kolize Velocity matching Jedinci se snaží pohybovat zhruba podobnou rychlostí jako jejich sousedi Flock centering Jedinci se snaží dostat do středu hejna BIODAT Group 11

12 Simulace Ptačí hejna Heppner, Grenander, Potter, 1990:BOIDS navíc přitahování k hnízdu tendenci udržovat si svou rychlost náhodná síla větru Toner and Tu, 1998: Flocks, herds and schools: A quantitative theory of flocking Chování hejna připomíná celulární automat 4. typu (charakteristické a nepredikovatelné vzory, které emergují po dlouhou dobu aby pak zanikly) BIODAT Group 12

13 Literatura BIODAT Group 13

14 Kde použít PSO? Number of variables Type of variables Number of optima Univariate Continuous Unimodal Multivariate Discrete (Integer) Multimodal Number of optimization criteria Combinatorial Constraints Degree of nonlinearity of fitness function Single-objective Unconstrained Linear Constrained Multi-objective Equality constraints Inequality constraints Nonlinear BIODAT Group 14

15 Notace Struktura swarmu S: n s... počet jedinců (velikost populace) n x... dimenzionalita prohledávaného prostoru x i... pozice i tého jedince (x i1, x i2,, x inx ) v i... rychlost i tého jedince (v i1, v i2,, v inx ) y i... personal best pozice i tého jedince y i /y... local/global best pozice i tého jedince BIODAT Group 15

16 Topologie Nejběžnější: Méně běžné: Kennedy, Mendes (2002): Population structure and particle swarm performance. Čím více lokálních optim, tím méně propojená topologie BIODAT Group 16

17 Local Best PSO Update rychlosti: v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Update pozice: x i t + 1 = x i t + v i t + 1 BIODAT Group 17

18 Local Best PSO Update rychlosti: v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Setrvačnost y 1 (t) Kognitivní komponenta Sociální komponenta v 1 (t) x 1 (t) y 1 (t) BIODAT Group 18

19 Local Best PSO Update rychlosti: v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Setrvačnost y 1 (t) Kognitivní komponenta Sociální komponenta wv 1 (t) x 1 (t) y 1 (t) BIODAT Group 19

22 Local Best PSO Update rychlosti: v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Setrvačnost Kognitivní komponenta Situace: Jedinci 1 a 2 jsou sousedé a mají společného souseda, který je zároveň nejlepším sousedem každého: y 1 (t) Sociální komponenta v 2 (t) v 1 (t) x 1 (t) y 1 t = y 2 t x 2 (t) y 2 (t) BIODAT Group 22

23 Local Best PSO Update rychlosti: v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Setrvačnost Situace: Jedinec jedna našel zatím nejlepší pozici ze svého okolí. Protože není sousedem jedince 2, má jedinec 2 jinou sociální znalost než jedinec 1 y 1 t Kognitivní komponenta = y 1 t Sociální komponenta v 1 (t) x 1 (t) y 2 t v 2 (t) x 2 (t) y 2 (t) BIODAT Group 23

24 Local Best PSO Update rychlosti: v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Update pozice: x i t + 1 = x i t + v i t + 1 BIODAT Group 24

25 Local Best PSO Update rychlosti: v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Vhodné nastavení parametrů: w... Lineárně klesající z 0.9 na 0.4 c c topologie... Každý s každým/prstenec V MAX... Podle rozsahu dané proměnné j BIODAT Group 25

26 Local Best PSO Algoritmus: lbest PSO Initialize n x -dimenzional swarm of n s particles repeat for each particle i = 1,, n s do if f x i < f y i then y i = x i end end for each particle i = 1,, n s do y i = argmin yk f(y k ) subject to k N i end for each particle i = 1,, n s do update the velocity update the position end until stopping condition is true BIODAT Group 26

27 BIODAT Group 27

28 Global Best PSO Všichni jedinci sdílejí jednu globální informaci o best so far řešení v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y j t x ij t BIODAT Group 28

29 Global Best PSO Algoritmus: gbest PSO Initialize n x -dimenzional swarm repeat for each particle i = 1,, n s do if f x i < f y i then y i = x i end if f y i < f y then y = y i end end for each particle i = 1,, n s do update the velocity update the position end until stopping condition is true BIODAT Group 29

30 Časté chyby Engelbrecht (2005): Fundamentals of computational swarm intelligence. Algoritmus: lbest PSO Initialize n x -dimenzional swarm of n s particles repeat for each particle i = 1,, n s do if f x i < f y i then y i = x i end if f y i < f y i then y = y i end end for each particle i = 1,, n s do update the velocity update the position end until stopping condition is true Global best nemá v local best algoritmu co dělat. Kdyby tam bylo y i = y i nemohla by být local best pozice dosažená jiným jedincem než je jedinec i BIODAT Group 30

31 Časté chyby del Valle et al. (2008): Particle Swarm Optimization: Basic Concepts, Variants and Applications in Power Systems rand1 a rand2 by v tomto případě musely být diagonální matice snáhodnými čísly na diagonále Při správné inicializaci lze použí pro řešení problémů s lineárním omezením Ax=B BIODAT Group 31

32 Časté chyby del Valle et al. (2008): Particle Swarm Optimization: Basic Concepts, Variants and Applications in Power Systems Global best pozice není pozice jedince s nejlepší hodnotou fitness! PSOtoolbox pro Matlab trpěl touto chybou BIODAT Group 32

33 Inicializace Rychlosti na nulovou hodnotu v i = 0 Pozice náhodně např. podle rozsahu prohledávaného prostoru Personal, local nebo global best pozice na aktuální pozici y i = x i Dalčí metody: Sobol sequences Faure sequences Nonlinear simplex method BIODAT Group 33

34 Ukončovací kritérium Maximální počet iterací Nalezení řešení Stagnace po určitou dobu Ztratí se diverzita (normalizovaný průměr swarmu je téměř 0) Pokles hodnoty cílové funkce je malý po určitou dobu BIODAT Group 34

35 Exploze (divergence) swarmu Může vzniknout, pokud pozice jedince je daleko od jeho personal best a local/global best v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Lze řešit pomocí omezení rychlosti if v ij > +V MAX,j then v ij = +V MAX,j if v ij < V MAX,j, then v ij = V MAX,j BIODAT Group 35

36 Exploze (divergence) swarmu Může vzniknout, pokud pozice jedince je daleko od jeho personal best a local/global best v ij t + 1 = w(t)v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t Lze také řešit pomocí constriction coeficientu: v ij t + 1 = χ v ij t + c 1 r 1j t y ij t x ij t + c 2 r 2j t y ij t x ij t BIODAT Group 36

37 Konvergence Konvergence do bodu p lim t y t = p Základní PSO není garantována kovergence do globálního optima!!!!!!! není garantována kovergence do lokálního optima!!!!!!! BIODAT Group 37

38 Konvergence GCPSO Guaranteed convergence PSO Van den Bergh and Engelbrecht (2002): A new locally convergent Particle Swarm Optimizer. Garantovaná konvergence do lokálního optima přidáním náhodného prohledávání okolí gbest pozice v ij t + 1 = w(t)v ij t + y j t x ij t + ρ t [1 2r 2j t ] ρ t se adaptivně prizpůsobuje a je vždy>0 BIODAT Group 38

39 Konvergence Van den Bergh (2002): An analysis of particle swarm optimizers, PhD thesis: Algoritmy s garantovanou konvergencí do globálního optima: RPSO Random particle PSO V každé iteraci, nejméně jedna pozice je náhodně resetována MPSO Multi-start PSO BIODAT Group 39

40 Binární PSO x ij 1 ( t 1) 1 pokud U 1 ( 0,1) ( t 1) 1 e v ij P[x i (t+1)=1] v i (t+1) BIODAT Group 40

41 Multiobjective optimalizace BIODAT Group 41

42 Multiobjective optimalizace Agregace jednotlivých funkcí Např. vážený součet Různé části prohledávání používají různé funkce např. Dynamic Neighborhood MOPSO, Vector evaluated PSO (VEPSO),... Metody založené na dominanci Hledání a uchovácání pareto fronty archiv Např. Moore a Chapman: Personal best je seznam, z kterého se vybírá náhodně BIODAT Group 42

43 Multiobjective optimalizace Další metody založené na dominanci: Coello Coello and Lechuga: Adaptive archive grid Mostaghim and Teich: Sigma method and ε dominance Hu, Eberhart and Shi: Global guide selection Zhang and Huang: Distance based selection Li: Non dominated sorting Yen and Lu Fieldsend and Singh: Dominated trees Ray and Liew: Swarm metaphor BIODAT Group 43

44 Dynamická optimalizace Detekce změny ztrátové funkce Např. sledováním chování global best pozice a její příslušné hodnoty f Odezva na změnu a sledování optima Např. restart některých jedinců Např. Simulátor skleníku pro rajčata optimalizace podmínek pro růst rajčat BIODAT Group 44

45 Aplikace Učení skrytých Markovských modelů Nahrazení hill-climbingového EM algoritmu PSO metodou Optimalizace s omezením Analýza nitrolebečního tlaku pro detekci traumatického poranění mozku Detekce fází spánku z EEG a x1 x2 11 a 22 a 21 G(m 1,U 1 ) G(m 2,U 2 ) BIODAT Group 45

46 Aplikace Plánování cesty robota Reprezentace cesty splineami Optimalizace parametrů spliny BIODAT Group 46

47 Aplikace Plánování cesty robota BIODAT Group 47

48 Aplikace Plánování cesty robota BIODAT Group 48

49 Aplikace Predikce aktivity reaktoru 17 vstupních prom. 1 výstupní prom. Cílem je Vytvořit adaptivní model (adaptace na změny procesu způsobené neměřitelnými vlivy) BIODAT Group 49

50 Inputs Prediction Aplikace Predikce aktivity reaktoru BIODAT Group 50

51 Aplikace Nevýhoda klasického přístupu: Uváznutí v lokálních extrémech Aproximace gradientu příspěvek vah zpětné vazby je zanedbán BIODAT Group 51

52 Aplikace Predikce aktivity reaktoru Adaptivita reinicializace části swarmu BIODAT Group 52

53 Aplikace Selekce příznaků pro rozpoznávání Binární PSO Klasifikace spánkového EEG novorozenců Predikce stavu pacienta Klasifikace při hloubkové stimulaci mozku Klasifikace srdečních signálů plodu BIODAT Group 53

54 Aplikace Optimalizace extrakce příznaků Klasifikace úrovně frakcionace intrakardiálních signálů Křemen, V. - Lhotská, L. - Macaš, M. - Čihák, R. - Kautzner, J. - et al.: A New Approach to Automated Assessment of Fractionation of Endocardial Electrograms During Atrial Fibrillation.Physiological Measurement. 2008, vol. 29, no. 12, p ISSN BIODAT Group 54

55 Vizualizace Štěpánová, K. - Macaš, M.: Visualizing Correlations Between EEG Features by Two Different Methods. In BioDat Conference on Advanced Methods of Biological Data and Signal Processing [CD-ROM]. Praha: České vysoké učení technické v Praze, 2012, vol. 1, p ISBN BIODAT Group 55

56 Aplikace Shlukování Detekce jednotlivých typů očních pohybů Fixace BIODAT Group 56

57 Aplikace Shlukování Detekce jednotlivých typů očních pohybů BIODAT Group 57

58 PSO poslední trendy Výrazný nárůst aplikací v energetice Obnovitelné zdroje, kvalita elektřiny,... BIODAT Group 58

59 PSO poslední trendy 2500 Pocet casopiseckych clanku ve WOS Rok BIODAT Group 59

60 Děkuji za pozornost BIODAT Group 60

61 Dodatek BIODAT Group 61

62 Formování názorů a optimalizace s v t s v t s? BIODAT Group 62

63 Social impact theory based optimizer q 1 ~-f(00101) q 3 ~-f(11101) q 2 ~-f(00101) q i ~-f(00111) q 4 ~-f(00100) 63

64 Aplikace Predicting Mortality of ICU Patients: The PHYSIONET/COMPUTING IN CARDIOLOGY Challenge 2012 SITO based feature selection for Linear Bayes classifier Reduced initialization was used Event 1: maximize min(sensitivity, positive predictivity) Event 2: minimize Hosmer-Lemeshow statistic 30 participants We achieved 4 th place in Event 1 3 rd place in Event 2 BIODAT Group 64