Ant Colony Optimization 1 / 26

Transkript

1 GoBack

2 Ant Colony Optimization 1 / 26

3 Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika 2 / 26

4 Vznik Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika I am lost! Where is the line?! A Bug s Life, Walt Disney, 1998 ACO je metaheuristika Shrnuje poznatky ze studia společenstev různých druhů mravenců 3 / 26

5 Vznik Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika I am lost! Where is the line?! A Bug s Life, Walt Disney, 1998 ACO je metaheuristika Shrnuje poznatky ze studia společenstev různých druhů mravenců Mnoho N P-těžkých problémů, hlédání optimálního řešení příliš náročné 3 / 26

6 Vznik Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika I am lost! Where is the line?! A Bug s Life, Walt Disney, 1998 ACO je metaheuristika Shrnuje poznatky ze studia společenstev různých druhů mravenců Mnoho N P-těžkých problémů, hlédání optimálního řešení příliš náročné Aproximační metody dávájí řešení blízké optimálnímu 3 / 26

7 Vznik Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika I am lost! Where is the line?! A Bug s Life, Walt Disney, 1998 ACO je metaheuristika Shrnuje poznatky ze studia společenstev různých druhů mravenců Mnoho N P-těžkých problémů, hlédání optimálního řešení příliš náročné Aproximační metody dávájí řešení blízké optimálnímu ACO algoritmy simulují chování mravenců v přírodě Používá množství malých výpočetních agentů, spolupracujících při hledání co nejlepšího řešení 3 / 26

8 Chování mraveců Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika Hledání potravy mnoha druhů mravenců je založeno na nepřímé komunikaci zprostředkované prostředím Feromony - mravenci mají tendenci sledovat stopu Zpětná vazba nebo vyprchávání 4 / 26

9 Double Bridge Experiment Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika Obrázek 1: a) - stejné délky, b) - různé délky Mravenci se po čase pohybují pouze jednou cestou Konečná cesta příliš závislá na počátečních rozhodnutích Zůstanou u delší cesty, pokud jim kratší cestu nabídneme až později 5 / 26

10 Řešení via ACO Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika Problémy hledání hodnot diskrétních proměnných, objektivní funkce Nutné přeformulovat je na problém prohledávání grafu 6 / 26

11 Řešení via ACO Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika Problémy hledání hodnot diskrétních proměnných, objektivní funkce Nutné přeformulovat je na problém prohledávání grafu Kolonie umělých mravenců pak problém řeší jeho náhodnými procházením Každá procházka - kandidátní řešení, s omezeními přípustné řešení 6 / 26

12 Řešení via ACO Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika Problémy hledání hodnot diskrétních proměnných, objektivní funkce Nutné přeformulovat je na problém prohledávání grafu Kolonie umělých mravenců pak problém řeší jeho náhodnými procházením Každá procházka - kandidátní řešení, s omezeními přípustné řešení Kolonie umělých mravenců stálým opakováním hledání, vyhodnocování a aktualizace postupně vylepšuje svou představu globálně optimálního řešení 6 / 26

13 Řešení via ACO Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika Problémy hledání hodnot diskrétních proměnných, objektivní funkce Nutné přeformulovat je na problém prohledávání grafu Kolonie umělých mravenců pak problém řeší jeho náhodnými procházením Každá procházka - kandidátní řešení, s omezeními přípustné řešení Kolonie umělých mravenců stálým opakováním hledání, vyhodnocování a aktualizace postupně vylepšuje svou představu globálně optimálního řešení Vždy konverguje 6 / 26

14 Metaheuristika Vznik Chování mraveců Double Bridge Experiment Řešení via ACO Metaheuristika procedure ACO_MetaHeuristic while( not_termination) generatesolutions() pheromoneupdate() daemonactions() end while end prodcedure Všichni současně a asynchronně projdou graf problému Část feromonů vyprchá a na prošlé cesty jsou přidány nové Centrálně řízené akce, které nemohou být vykonané jedním mravencem 7 / 26

15 Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search 8 / 26

16 Traveling Salesman Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Problém obchodního cestujícího - Nalezení nejkratší cesty z domovského města přes množinu stanovených měst a zpět 9 / 26

17 Traveling Salesman Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Problém obchodního cestujícího - Nalezení nejkratší cesty z domovského města přes množinu stanovených měst a zpět Graf - úplný, města = uzly, každá cesta a ij má přiřazenu váhu Omezení - všechna města musí být navštívena právě jednou Feromony - množství vypovídá o vhodnosti navštívení města i po j Heuristická informace - µ ij = 1/d ij 9 / 26

18 Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Inicializace, hodnoty mírně vyšší než očekávané položené v prvních bězích Mravenci náhodně rozmístěni po uzlech grafu 10 / 26

19 Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Inicializace, hodnoty mírně vyšší než očekávané položené v prvních bězích Mravenci náhodně rozmístěni po uzlech grafu p k i,j = [τ i,j ] α [µ i,j ] β l N ki [τ i,l] α [µ i,l ] β (1) 10 / 26

20 Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Inicializace, hodnoty mírně vyšší než očekávané položené v prvních bězích Mravenci náhodně rozmístěni po uzlech grafu p k i,j = [τ i,j ] α [µ i,j ] β l N ki [τ i,l] α [µ i,l ] β (1) τ i,j (1 ρ)τ i,j (2) 10 / 26

21 Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Inicializace, hodnoty mírně vyšší než očekávané položené v prvních bězích Mravenci náhodně rozmístěni po uzlech grafu p k i,j = [τ i,j ] α [µ i,j ] β l N ki [τ i,l] α [µ i,l ] β (1) τ i,j (1 ρ)τ i,j (2) τ i,j τ i,j + m k=1 k i,j (3) k i,j = { 1/C k, pokud hrana(i, j) T k 0, jinak (4) 10 / 26

22 Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Inicializace, hodnoty mírně vyšší než očekávané položené v prvních bězích Mravenci náhodně rozmístěni po uzlech grafu p k i,j = [τ i,j ] α [µ i,j ] β l N ki [τ i,l] α [µ i,l ] β (1) τ i,j (1 ρ)τ i,j (2) τ i,j τ i,j + m k=1 k i,j (3) k i,j = { 1/C k, pokud hrana(i, j) T k 0, jinak (4) parametry α, β, ρ mají velký význam 10 / 26

23 Ellitist Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Dodatečné položení feromonů na hrany, jež jsou součástí nejlepší do té doby znamé procházky Vysledky experimentů ukazují, že tato změna vede k nalezení lepších řešení v kratším čase 11 / 26

24 MAX MIN Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search MMAS mění AS ve 4 hlavních bodech Klade velký důraz na nejlepší nalezenou cestu. Pouze v iteraci nejlepší nebo absolutně nejlepší mravenec položí feromony 12 / 26

25 MAX MIN Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search MMAS mění AS ve 4 hlavních bodech Klade velký důraz na nejlepší nalezenou cestu. Pouze v iteraci nejlepší nebo absolutně nejlepší mravenec položí feromony Horní a dolní limit na množství feromonů na jedné hraně grafu 12 / 26

26 MAX MIN Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search MMAS mění AS ve 4 hlavních bodech Klade velký důraz na nejlepší nalezenou cestu. Pouze v iteraci nejlepší nebo absolutně nejlepší mravenec položí feromony Horní a dolní limit na množství feromonů na jedné hraně grafu inicializace feromonových stop na horní limit, pomalejší vyprchávání 12 / 26

27 MAX MIN Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search MMAS mění AS ve 4 hlavních bodech Klade velký důraz na nejlepší nalezenou cestu. Pouze v iteraci nejlepší nebo absolutně nejlepší mravenec položí feromony Horní a dolní limit na množství feromonů na jedné hraně grafu inicializace feromonových stop na horní limit, pomalejší vyprchávání Reinicializace projeví-li systém stagnaci nebo pokud nebylo nalezeno lepší řešení během daného počtu iterací 12 / 26

28 Ant Colony System Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search ACS rozšiřuje AS ve 3 hlavních bodech Agresivnější rozhodovací pravidlo pro výběr příštího uzlu 13 / 26

29 Ant Colony System Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search ACS rozšiřuje AS ve 3 hlavních bodech Agresivnější rozhodovací pravidlo pro výběr příštího uzlu Pouze nejlepší mravenec pokládá svou feromonovou stopu a pouze jeho stopa vyprchává 13 / 26

30 Ant Colony System Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search ACS rozšiřuje AS ve 3 hlavních bodech Agresivnější rozhodovací pravidlo pro výběr příštího uzlu Pouze nejlepší mravenec pokládá svou feromonovou stopu a pouze jeho stopa vyprchává Snižení množství foromonů na hraně po každém kroku 13 / 26

31 Ant Colony System Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search ACS rozšiřuje AS ve 3 hlavních bodech Agresivnější rozhodovací pravidlo pro výběr příštího uzlu Pouze nejlepší mravenec pokládá svou feromonovou stopu a pouze jeho stopa vyprchává Snižení množství foromonů na hraně po každém kroku Záporem strategie je, že vylučuje paralelní implementaci. 13 / 26

32 Local Search Traveling Salesman Ellitist MAX MIN Ant Colony System Local Search Máme-li kandidátní řešení s, local search vytvoří všechna řešení s taková, že s vznikne z s změnou libovolných k hran libovolným možným způsobem. Obrázek 2: 2-opt Mravenec použije nejlepší ze všech řešení s. 14 / 26

33 Sequential Ordering Quadratic Assignment 15 / 26

34 Sequential Ordering Sequential Ordering Quadratic Assignment Hledání uspořádání prvků dané množiny. Stejný jako, některé uzly musí navíc předcházet jiným. 16 / 26

35 Sequential Ordering Sequential Ordering Quadratic Assignment Hledání uspořádání prvků dané množiny. Stejný jako, některé uzly musí navíc předcházet jiným. Řešení: Pokud má uzel j předcházet uzlu i, hraně (i, j) je přiřazena váha 1, ve volbě dalšího pokračování své cesty mraveci neuvažují uzly, jejichž přidáním by porušili omezení. 16 / 26

36 Sequential Ordering Sequential Ordering Quadratic Assignment Hledání uspořádání prvků dané množiny. Stejný jako, některé uzly musí navíc předcházet jiným. Řešení: Pokud má uzel j předcházet uzlu i, hraně (i, j) je přiřazena váha 1, ve volbě dalšího pokračování své cesty mraveci neuvažují uzly, jejichž přidáním by porušili omezení. Celá kolonie je umístěna do počátečního uzlu. 16 / 26

37 Sequential Ordering Sequential Ordering Quadratic Assignment Hledání uspořádání prvků dané množiny. Stejný jako, některé uzly musí navíc předcházet jiným. Řešení: Pokud má uzel j předcházet uzlu i, hraně (i, j) je přiřazena váha 1, ve volbě dalšího pokračování své cesty mraveci neuvažují uzly, jejichž přidáním by porušili omezení. Celá kolonie je umístěna do počátečního uzlu. Nejlepší algoritmus pro SOP (2004). 16 / 26

38 Quadratic Assignment Sequential Ordering Quadratic Assignment Problém přiřazení prvků z množiny locations prvkům z množiny facilities. 17 / 26

39 Quadratic Assignment Sequential Ordering Quadratic Assignment Problém přiřazení prvků z množiny locations prvkům z množiny facilities. Graf, Omezení, Feromonová stopa. 17 / 26

40 Quadratic Assignment Sequential Ordering Quadratic Assignment Problém přiřazení prvků z množiny locations prvkům z množiny facilities. Graf, Omezení, Feromonová stopa. Heuristická informace µ i = 1/d i, d i je součet vzdáleností z místa i do ostatních míst. 17 / 26

41 Quadratic Assignment Sequential Ordering Quadratic Assignment Problém přiřazení prvků z množiny locations prvkům z množiny facilities. Graf, Omezení, Feromonová stopa. Heuristická informace µ i = 1/d i, d i je součet vzdáleností z místa i do ostatních míst. Konstrukce řešení Seřazení facilit, v každém kroku mravenci vybranou hranou umístí jedno zařízení 17 / 26

42 Quadratic Assignment Sequential Ordering Quadratic Assignment Problém přiřazení prvků z množiny locations prvkům z množiny facilities. Graf, Omezení, Feromonová stopa. Heuristická informace µ i = 1/d i, d i je součet vzdáleností z místa i do ostatních míst. Konstrukce řešení Seřazení facilit, v každém kroku mravenci vybranou hranou umístí jedno zařízení Aktualizace feromonvých stop Kvalita podle f = n i nj a ij b πi π j 17 / 26

43 Quadratic Assignment Sequential Ordering Quadratic Assignment Problém přiřazení prvků z množiny locations prvkům z množiny facilities. Graf, Omezení, Feromonová stopa. Heuristická informace µ i = 1/d i, d i je součet vzdáleností z místa i do ostatních míst. Konstrukce řešení Seřazení facilit, v každém kroku mravenci vybranou hranou umístí jedno zařízení Aktualizace feromonvých stop Kvalita podle f = n i nj a ij b πi π j Jeden z nejlepších algoritmů. 17 / 26

44 Sequential Ordering Quadratic Assignment Úloha vyvozování pravidel z množiny faktů. IF<term1,term2,...>THEN<b> 18 / 26

45 Sequential Ordering Quadratic Assignment Úloha vyvozování pravidel z množiny faktů. IF<term1,term2,...>THEN<b> Příklad : (Brno, 30.11, 2003, rainy) (Brno, 30.11, 2004, rainy) (Brno, 30.11, 2005, sunny) (Brno, 30.11, 2006, rainy) 18 / 26

46 Sequential Ordering Quadratic Assignment Úloha vyvozování pravidel z množiny faktů. IF<term1,term2,...>THEN<b> Příklad : (Brno, 30.11, 2003, rainy) (Brno, 30.11, 2004, rainy) (Brno, 30.11, 2005, sunny) (Brno, 30.11, 2006, rainy) IF<Brno,30.11>THEN<rainy> 18 / 26

47 Podobný AS, ale používá pouze jednoho mravence. Sequential Ordering Quadratic Assignment 19 / 26

48 Sequential Ordering Quadratic Assignment Podobný AS, ale používá pouze jednoho mravence. Graf Uzel pro každý možný term a jeden startovní. 19 / 26

49 Sequential Ordering Quadratic Assignment Podobný AS, ale používá pouze jednoho mravence. Graf Uzel pro každý možný term a jeden startovní. Omezení Pravidle obsahuje atribut nejvýše jednou a každé pravidlo obsahuje minimální počet atributů. 19 / 26

50 Sequential Ordering Quadratic Assignment Podobný AS, ale používá pouze jednoho mravence. Graf Uzel pro každý možný term a jeden startovní. Omezení Pravidle obsahuje atribut nejvýše jednou a každé pravidlo obsahuje minimální počet atributů. Feromonová stopa,heuristická informace µ ij podle rovnic 5, 6 19 / 26

51 Sequential Ordering Quadratic Assignment Podobný AS, ale používá pouze jednoho mravence. Graf Uzel pro každý možný term a jeden startovní. Omezení Pravidle obsahuje atribut nejvýše jednou a každé pravidlo obsahuje minimální počet atributů. Feromonová stopa,heuristická informace µ ij podle rovnic 5, 6 h(b a i = v ij ) = µ ij = l P(b a i = v ij ) log 2 P(B a i = v ij ) (5) b=1 log 2 l h(b a i = v ij ) fi j=1 log 2 l h(b a i = v ij ) (6) 19 / 26

52 Sequential Ordering Quadratic Assignment Konstrukce řešení Mravenec začíná s prázdným pravidlem a postupně přidává termy podle rozhodovacího pravidla stejného jako v AS s pravděpodobností popsanou rovnicí / 26

53 Sequential Ordering Quadratic Assignment Konstrukce řešení Mravenec začíná s prázdným pravidlem a postupně přidává termy podle rozhodovacího pravidla stejného jako v AS s pravděpodobností popsanou rovnicí 7. p ij = τ ij µ ij ni=1 (x i fi j=1 (τ ijµ ij )) (7) 20 / 26

54 Sequential Ordering Quadratic Assignment Konstrukce řešení Mravenec začíná s prázdným pravidlem a postupně přidává termy podle rozhodovacího pravidla stejného jako v AS s pravděpodobností popsanou rovnicí 7. p ij = τ ij µ ij ni=1 (x i fi j=1 (τ ijµ ij )) Čištění pravidla Spekulativní odstraňování termů a vyhodnocování kvality pravidla bez nich, podle funkce 8, hledání termu jehož odstraněním se kvalita zvýší nejvíce, proces se opakuje (7) 20 / 26

55 Sequential Ordering Quadratic Assignment Konstrukce řešení Mravenec začíná s prázdným pravidlem a postupně přidává termy podle rozhodovacího pravidla stejného jako v AS s pravděpodobností popsanou rovnicí 7. p ij = τ ij µ ij ni=1 (x i fi j=1 (τ ijµ ij )) Čištění pravidla Spekulativní odstraňování termů a vyhodnocování kvality pravidla bez nich, podle funkce 8, hledání termu jehož odstraněním se kvalita zvýší nejvíce, proces se opakuje f(rule) = TP TP + FN TN FP + TN (7) (8) 20 / 26

56 Sequential Ordering Quadratic Assignment Konstrukce řešení Mravenec začíná s prázdným pravidlem a postupně přidává termy podle rozhodovacího pravidla stejného jako v AS s pravděpodobností popsanou rovnicí 7. p ij = τ ij µ ij ni=1 (x i fi j=1 (τ ijµ ij )) Čištění pravidla Spekulativní odstraňování termů a vyhodnocování kvality pravidla bez nich, podle funkce 8, hledání termu jehož odstraněním se kvalita zvýší nejvíce, proces se opakuje f(rule) = TP TP + FN TN FP + TN Aktualizace feromonvých stop Množství podle f (8) (7) (8) 20 / 26

57 Sequential Ordering Quadratic Assignment Srovnatelný s OSPF, SPF, BF, Daemon, dopřední mravenci s náhodně zvoleným cílem, podle současného datového provozu, nechá mravence najít si cestu. 21 / 26

58 Sequential Ordering Quadratic Assignment Srovnatelný s OSPF, SPF, BF, Daemon, dopřední mravenci s náhodně zvoleným cílem, podle současného datového provozu, nechá mravence najít si cestu. p sd = f sd ni=1 f si, f sd je datový tok v bitech z s do d (9) 21 / 26

59 Sequential Ordering Quadratic Assignment Srovnatelný s OSPF, SPF, BF, Daemon, dopřední mravenci s náhodně zvoleným cílem, podle současného datového provozu, nechá mravence najít si cestu. p sd = f sd ni=1 f si, f sd je datový tok v bitech z s do d (9) Každý uzel linkám vlastní feromony π ijd, rozlišuje nejen mezi tím, které lince k sousednímu uzlu feromony patří, ale i jaké cesty, určené cílovým uzlem, je linka součástí, udržuje lokální model sítě(ν id, σ id, W id ). 21 / 26

60 Sequential Ordering Quadratic Assignment ν id průměr délek trvání několika posledních cest, σ id kolísání, W id nejlepší cesta, k dispozici pouze délka trvání cesty 22 / 26

61 Sequential Ordering Quadratic Assignment ν id průměr délek trvání několika posledních cest, σ id kolísání, W id nejlepší cesta, k dispozici pouze délka trvání cesty ν id ν id + ς(o i d ν id ), (10) váha k-té doby po j aktualizacích je potom ς(1 ς) j k, σ 2 id σ 2 id + ς((o i d ν id ) 2 σ 2 id) (11) 22 / 26

62 Sequential Ordering Quadratic Assignment 2 prioritní skupiny paketů: a) datové pakety a dopřední mravenci, b) zpětní mravenci 23 / 26

63 Sequential Ordering Quadratic Assignment 2 prioritní skupiny paketů: a) datové pakety a dopřední mravenci, b) zpětní mravenci Co nejkratší cestu z vytvářejícího uzlu do cílového. Stejně jako data. Užívají feromonovou stopu, heuristickou informaci a svojí paměť. Heuristická informace počítána rovnicí 12 µ ij = q ij Ni l=1 q, q ij (12) il 23 / 26

64 Sequential Ordering Quadratic Assignment 2 prioritní skupiny paketů: a) datové pakety a dopřední mravenci, b) zpětní mravenci Co nejkratší cestu z vytvářejícího uzlu do cílového. Stejně jako data. Užívají feromonovou stopu, heuristickou informaci a svojí paměť. Heuristická informace počítána rovnicí 12 µ ij = q ij Ni l=1 q, q ij (12) il Informace o hustotě provozu, ukládá identifikátory uzlů a pamatuje si, jak dlouho je na cestě. 23 / 26

65 Sequential Ordering Quadratic Assignment 2 prioritní skupiny paketů: a) datové pakety a dopřední mravenci, b) zpětní mravenci Co nejkratší cestu z vytvářejícího uzlu do cílového. Stejně jako data. Užívají feromonovou stopu, heuristickou informaci a svojí paměť. Heuristická informace počítána rovnicí 12 µ ij = q ij Ni l=1 q, q ij (12) il Informace o hustotě provozu, ukládá identifikátory uzlů a pamatuje si, jak dlouho je na cestě. Zpáteční režim, vyšší priorita, aktualizace feromonů, lokálních modelů a oznámí identifikátorů uzlů. Zničen 23 / 26

66 Sequential Ordering Quadratic Assignment Model páteřní sítě japonské společnosti NTT. NTTnet: experimentální srovnání přenosové rychlosti a zpoždění u s ostatními směrovacími algoritmy. 24 / 26

67 Budoucnost 25 / 26

68 Budoucnost Budoucnost ACO algoritmy při řešení akademických problémů stejně dobré jako ty nejlepší v současnosti dostupné. Komerční aplikace Dyvoil, AntRoute, jiné Budoucí výzkum by se měl zaměřit na : paralelizaci, multiobjektivní, stochastické objektivní fce 26 / 26