Centrální plánování cest pro mnoho agentů Centralized Multi-agent Path Planning RNDr. Pavel Surynek, Ph.D. KTIML Matematicko-fyzikální fakulta Univerzita Karlova v Praze
Motivace (1) Přesouvání kontejnerů (agent = kontejner) Intenzivní doprava (agent = automobil (v zácpě)) Přesuny dat (agent = datový paket) Zobecněné výtahy (agent = výtah) 2 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Motivace (2) Filmová počítačová grafika (masové scény) Počítačové hry (pohyb jednotek v RTS) (Lucasfilm Ltd., 1999-2009) 3 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Úloha plánování cest pro mnoho agentů (1) Ryan, 2007; Surynek, 2009 Formální popis instance problému plánování cest pro mnoho agentů: Prostředí modelujeme jako neorientovaný graf, kde vrcholy reprezentují pozice v prostředí a hrany možnost průchodu. Instance je čtveřice Σ = (G, R, S R0, S R+ ), kde: G=(V,E) je neorientovaný graf, R = {r 1,r 2,...,r ν }, kde ν< V je množina agentů, S R0 : R V je prostá funkce určující počáteční rozmístění agentů a S R+ : R V je prostá funkce určující cílové rozmístění agentů. Čas modelujeme diskrétně. Časové kroky a jejich uspořádání jsou izomorfní přirozeným číslům. 4 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Úloha plánování cest pro mnoho agentů (2) Ryan, 2007; Surynek, 2009 Dynamicita úlohy je následující: Agent nacházející se v časovém kroku i v jistém vrcholu se může přesunout do sousedního vrcholu v časovém kroku i+1, jestliže je tento pohyb povolený a žádný jiný agent nevstupuje současně do stejného vrcholu. Pohyb započatý v kroku i a ukončený v kroku i+1 je povolený, když: cílový vrchol pohybu je v kroku i volný, nebo cílový vrchol pohybu je v kroku i právě uvolňovaný povoleným pohybem. Pro dané Σ = (G, R, S R0, S R+ ), chceme najít: Posloupnost pohybů pro každého agenta tak, že je splněna podmínka dynamicity úlohy a každý agent dosáhne cílového vrcholu. 5 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Příklad instance a poznámky v 1 v 2 v 3 1 2 3 S R 0 S R + v 4 v 7 v 1 v 4 v 7 v 5 v 8 v 2 v 5 v 8 v 6 v 9 v 3 3 2 v 6 v 9 1 Řešení problému plánování cest pro mnoho agentů, kde R={1,2,3} délka řešení=5 O 1 =[v 1, v 4, v 7, v 8, v 9 ] O 2 =[v 2, v 1, v 4, v 7, v 8 ] O 3 =[v 3, v 2, v 1, v 4, v 7 ] Časový krok: 1 2 3 4 5 Definice zabraňuje kolizím, zároveň umožňuje vysoký paralelismus. Srovnejte s úlohami pohybu kamenů po grafu: Pohyb je povolen pouze do vrcholu, který je v daném kroku volný. Lloydova 9, 15, (n 2-1)-puzzle Nižší paralelismus. 6 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Známé výsledky (1) Zajímavý je především případ s 2-souvislým grafem téměř vždy řešitelný na ten se dále omezíme: Přeuspořádání agentů ve vrcholech můžeme chápat jako permutaci agentů (volný vrchol v S R0 a v S R+ fixujeme). Permutace může být buď sudá nebo lichá (vyjádřitelná jako složení sudého respektive lichého počtu transpozic prvků). Wilson, 1974: Pokud 2-souvislý graf (neizomorfní s kružnicí) s jedním volným vrcholem obsahuje kružnici liché délky, potom je každý problém plánování cest pro agenty nad tímto grafem řešitelný. Pokud 2-souvislý graf (neizomorfní s kružnicí) s jedním volným vrcholem neobsahuje lichou kružnici, potom je problém plánování cest pro agenty řešitelný, právě když S R+ představuje sudou permutaci vzhledem k S R0. Řešení délky O( V 5 ) je generováno v čase O( V 5 ). 7 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Známé výsledky (2) Kornhauser, Miller, Spirakis, 1984 (algoritmus MIT): Opět pro 2-souvislé grafy s jedním volným vrcholem. Řešení délky O( V 3 ) je generováno v čase O( V 3 ). Existují instance, kde délka nejkratšího řešení je Ω( V 3 ). Ratner, Warmuth, 1986: Rozhodovací varianta problému pohybu kamenů po grafu, když hledáme nejkratší možné řešení, je NP-úplný problém. pohyb vždy do volného vrcholu nízký paralelismus Ukázáno pro zobecnění Lloydovy 15-ky na pole velikosti N x N Nové výsledky (pro 2-souvislé grafy): Generování řešení délky O( V 3 ) čase O( V 3 ) s menšími konstantami v asymptotickém odhadu než v případě algoritmu MIT. opět stačí jeden volný vrchol Rozhodovací varianta problému plánování cest pro mnoho agentů, když hledáme nejkratší možné řešení, je NP-úplný problém. pohyb i do uvolňovaného vrcholu vysoký paralelismus 8 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Algoritmus MIT hlavní idea (1) Kornhauser, Miller, Spirakis, 1984 Možná přeuspořádání agentů ve vrcholech formují permutační grupu G pro prvky R={r 1,r 2,...,r μ } Definice: Permutační G grupa pro prvky R={r 1,r 2,...,r μ } je k-tranzitivní pro k μ, jestliže pro každé dvě k-tice prvků a 1,a 2,...,a k a b 1,b 2,...,b k, kde a i R, b i R pro i=1,2,,k existuje permutace G, že (a i )=b i pro i=1,2,,k. Tvrzení: Jestliže permutační grupa G obsahuje cyklus délky k a je k-tranzitivní, potom obsahuje všechny cykly délky k. Tvrzení: Každou sudou permutaci pro prvky R={r 1,r 2,...,r μ } lze získat jako produkt nejvýše μ-2 cyklů délky 3 (3-cyklus). Naznačíme, že 2-souvislý graf obsahuje 3-cyklus a že je 3- tranzitivní: Stačí k vytvoření libovolné sudé permutace. 9 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Algoritmus MIT hlavní idea (2) Kornhauser, Miller, Spirakis, 1984 Definice: Graf G=(V,E) je 2-souvislý, jestliže V 3 a pro v V je G=(V-{v},E ), kde E ={{x,y} E x,y v}, je souvislý. Tvrzení: Každý 2-souvislý graf lze zkonstruovat z kružnice postupným přidáváním uch. Cyklus + 1 ucho r 2 r 3 r 1 A r 4 B r 7 r 5 r 6 počáteční kružnice 1. ucho 2. ucho 3. ucho Ilustrace 3-cyklu: ABA -1 B -1 =(r 4,r 7,r 3 ) Ilustrace 3-tranzitivity: Libovolné 3 agenty (x,y,z) umíme narovnat do ucha délky aspoň 3 permutace P Totéž pro agenty (u,v,w) permutace Q PQ -1 dává 3-tranzitivitu (x,y,z) na (u,v,w) 10 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Algoritmus MIT poznámky Ilustrován byl nejjednodušší případ Rozbor případů pro různé situace (délky uch, speciální podgrafy), podstata stejná jako na ilustrovaném příkladu. Velikost řešení a časová složitost: Generování 3-cyklu konstantní počet rotací uch rotace ucha spotřebuje O( V ) pohybů, lze určit v čase O( V ) celkem tedy O( V ) pohybů i času Generování 3-tranzitivity 3 přesuny agenta k uchu, 3 rotace ucha přesun agenta podél hrany spotřebuje O( V ) pohybů agent se přesouvá až přes V hran celkem tedy O( V 2 ) pohybů i času Celkem potřebujeme složit μ-2 3-cyklů, kde na každý potřebujeme O( V 2 ) pohybů i času, celkem je potřeba O( V 3 ) pohybů i času Nevýhoda: relativně velké konstanty v odhadech 11 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Algoritmus BIBOX hlavní idea (1) Surynek, 2009 Předpokládejme, že známe rozklad 2-souvislého grafu G=(V,E) na počáteční kružnice C 0 a posloupnost uch L 1,L 2,,L l (a jim odpovídajících kružnic C 1,C 2,,C l ; získají se propojením konců uch), které se mají postupně přidávat abychom dostali G. r r4 2 G=(V,E) G=(V,E) r 1 r 3 r 1 r 2 r 3 r 4 Umíme: přesouvat volný vrchol na libovolné místo v grafu. Umíme: libovolného agenta přemístit do libovolného vrcholu (využijeme 2-souvislosti) r 2 r 1 r 3 C 1 r 4 r 5 r 6 r 7 r8 C 2 r 9 r 12 r 10 r 11 r 14 C 3 r 13 C 4 r15 r 16 r 17 12 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Algoritmus BIBOX hlavní idea (2) Surynek, 2009 Zvládáme-li přesun individuálního agenta lze provádět složitější přesuny: Skládání agentů do ucha ve správném pořadí. r 1 r 2 r 3 r 4 r 5 C(L i ) - 2-souvislý zbytek Zásobníkové skládání: Vezmeme poslední ucho rozkladu. Přesuneme agenta do šedého vrcholu. Provedeme rotaci ucha (pomocí zeleného volného vrcholu).... r 6 13 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010 C(L i ) 2-souvislý zbytek r 1 - C(L i ) - 2-souvislý zbytek r 3 r 1 r 2 C(L i ) 2-souvislý zbytek r 2 - r 1
Algoritmus BIBOX poznámky Ilustrován bylo skládání agentů do ucha Nefunguje pro počáteční kružnici rozkladu na ucha Nutno použít zvláštní postup Velikost řešení a časová složitost: Vložení agenta do ucha až O( V ) rotací ucha, kde každá rotace spotřebuje O( V ) pohybů přesun agenta po cestě délky O( V ), kde přesun pře jednu hranu spotřebuje O( V ) pohybů celkem tedy O( V 3 ) pohybů, čas je rovněž O( V 3 ) Stejný odhad jako pro algoritmus MIT zde jsou menší konstanty 14 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
NP-úplnost plánování cest pro agenty (1) Surynek, 2010 Rozhodovací verze optimalizační varianty problému plánování cest pro mnoho agentů: Dána instance Σ = (G=(V,E), R, S R0, S R+ ) a číslo η, chceme zodpovědět, zda existuje řešení instance Σ, jehož doba vykonání (makespan) je nejvýše η. Doba vykonání je typicky menší než počet jednotlivých pohybů v rámci řešení paralelismus. Lemma: Problém je ve třídě NP, neboť umíme zkonstruovat řešení velikosti O( V 3 ) například algoritmem BIBOX. Velikost orákula/certifikátu, který potřebujeme v nedeterministickém modelu uhodnout, je tedy nejvýše O( V 3 ), tedy polynomiální. Pozn.: pro některé podobné úlohy (např. Sokoban) toto známo není 15 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
NP-úplnost plánování cest pro agenty (2) Surynek, 2010 Lemma: Rozhodovací verze optimalizační varianty plánování cest pro mnoho agentů je NP-těžký problém. Převodem booleovské splnitelnosti na plánování cest extrémně komplikované uvedeme pouze hlavní myšlenky Nechť je dána booleovská formule F ve tvaru CNF Formule = konjunkce klauzulí Klauzule = disjunkce literálů Literál = výroková proměnná či negace výrokové proměnné Bude konstruována instance plánování cest Σ = (G=(V,E), R, S R0, S R+ ). Literálům formule budou přiřazeny některé vrcholy grafu G, přitom ohodnocení e formule F je definováno následovně: Pokud v určitém zvoleném kroku vrchol odpovídající literálu neobsahuje určeného agenta, je literálu přiřazena hodnota True. Jinak je literálu přiřazena hodnota False. 16 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
NP-úplnost plánování cest pro agenty (3) Surynek, 2010 Další vrcholy a hrany G slouží k zajištění podmínek: Booleovské konzistence literály odpovídající stejné proměnné jsou pomocí ohodnocení e ohodnoceny konzistentně Splnění klauzulí všechny klauzule jsou ohodnocením e splněny Podmínky booleovské konzistence, splnění klauzulí a další techniky zajistí: Formule F je splnitelná, právě když existuje řešení Σ s dobou trvání nejvýše η. Používají se techniky: Zamykání vrcholů v určitých krocích agent nemůže do zvoleného vrcholu vstoupit Sdružování agentů (konjugace) skupina agentů musí být stále pohromadě 17 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Zamykání vrcholů Instance, jejíž optimální řešení má dobu vykonávání 3 Vrchol v 3 bude uzamčen pro časové kroky 2 a 4 ve všech optimálních řešeních Lze rozšířit na množiny více vrcholů současně Lze zamykat množiny vrcholů v 1 v 3 r 1 r 2 v 4 v 2 v 5 v 6 r 3 v 7 v 1 v 2 r 2 v 3 v 4 v 5 r 1 v 6 r 3 v 7 v 3 u 3 u 2 u 1 w 1 w 2 w 3 w 4 q 2 q 1 v 3 u 3 u 2 u 1 w 1 w 2 w 3 w 4 q 2 q 1 v 1 r 1 r 2 v 6 v 1 r 2 v 6 r 1 v 2 v 4 v 7 r 3 v 2 v 4 v 7 r 3 v 5 v 5 18 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Sdružování agentů (konjugace) Skupina 4 agentů se musí v každém optimálním řešení pohybovat společně - používá se zamykání Pohybují se buď levou nebo pravou větví grafu Slouží k simulaci booleovské konzistence s 1 s 2 s 3 s 4 Levá větev Pravá větev l r Levá větev Pravá větev s 1 s 2 s 3 s 4 l r 19 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Experimenty (1) Porovnání algoritmů MIT a BIBOX doba vykonání Testováno na náhodných grafech s náhodným rozmístěním agentů. Grafy obsahující až 30 vrcholů Generovány přidáváním uch náhodné velikosti 100000 BIBOX MIT Doba vykonání 10000 1000 100 13 14 14 15 17 18 19 19 19 20 21 22 23 24 24 26 27 29 29 30 30 31 V Algoritmus BIBOX produkuje řádově kratší řešení než algoritmus MIT. 20 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Experimenty (2) Porovnání algoritmů MIT a BIBOX - čas běhu Stejná sada testovacích instancí 0,12 BIBOX MIT Čas běhu 0,08 0,04 0,00 13 14 14 15 17 18 19 19 19 20 21 22 23 24 24 26 27 29 29 30 30 31 V Algoritmus BIBOX se jeví jako mírně rychlejší na větších instancích. 21 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Experimenty (3) 35000 30000 25000 20000 15000 10000 5000 0 2 free 10% free 50% free Doba vykonání 0 40 80 120 160 200 240 280 320 360 400 V Testy algoritmu BIBOX na rozsáhlých instancích Náhodné grafy s až 400 vrcholy Různý počet volných vrcholů 6 5 4 3 2 1 0 2 free 10% free 50% free Čas běhu 0 40 80 120 160 200 240 280 320 360 400 V 22 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Závěr Popis existujícího algoritmu MIT pro plánování cest pro agenty využití 3-tranzitivity a 3-cyklu 2-souvislost, jeden volný vrchol Nový algoritmus BIBOX přímé umisťování agentů podle rozkladu grafu na ucha 2-souvislost, jeden volný vrchol Podle experimentů BIBOX produkuje kvalitnější řešení než MIT Čas běhu algoritmu BIBOX je mírně příznivější než u MIT Pojednání o NP-úplnosti optimalizační varianty úlohy plánování cest pro mnoho agentů Převod booleovské splnitelnosti na plánování cest Různé techniky pro konstrukci odpovídající instance plánování cest pro agenty 23 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010
Demo
Literatura Wilson, R. M., 1974. Graph Puzzles, Homotopy, and the Alternating Group. Journal of Combinatorial Theory, Ser. B 16, pp. 86-96, Elsevier. Kornhauser, D., Miller, G. L., Spirakis, P. G., 1984. Coordinating Pebble Motion on Graphs, the Diameter of Permutation Groups, and Applications. Proceedings of the 25th Annual Symposium on Foundations of Computer Science (FOCS 1984), pp. 241-250, IEEE Press. Ratner, D., Warmuth, M. K., 1986. Finding a Shortest Solution for the N N Extension of the 15-PUZZLE Is Intractable. Proceedings of the 5th National Conference on Artificial Intelligence (AAAI 1986), pp. 168-172, Morgan Kaufmann Publishers. Ryan, M. R. K., 2007. Graph Decomposition for Efficient Multi-Robot Path Planning. Proceedings of the 20th International Joint Conference on Artificial Intelligence (IJCAI 2007), Hyderabad, India, pp. 2003-2008, 2007. Surynek, P. 2009. A Novel Approach to Path Planning for Multiple Robots in Bi-connected Graphs. Proceedings of the 2009 IEEE International Conference on Robotics and Automation (ICRA 2009), pp. 3613-3619, Kobe, Japan, IEEE Press, 2009. Surynek, P. 2009. Towards Shorter Solutions for Problems of Path Planning for Multiple Robots in θ-like Environments. Proceedings of the 22nd International Florida Artificial Intelligence Research Society Conference (FLAIRS 2009), pp. 207-212, Sanibel Island, FL, USA, AAAI Press, 2009. Surynek, P. 2010. An Optimization Variant of Multi-Robot Path Planning is Intractable. Proceedings of the 24th AAAI Conference on Artificial Intelligence (AAAI 2010), Atlanta, GA, USA, AAAI Press, to appear. 25 / Agentový seminář 2010, ČVUT FEL Pavel Surynek, 2010