OPPA European Social Fund Prague & EU: We invest in your future.

Rozměr: px

Začít zobrazení ze stránky:

Download "OPPA European Social Fund Prague & EU: We invest in your future."

Stanislav Musil
před 5 lety
Počet zobrazení:

1 OPPA European Social Fund Prague & EU: We invest in your future.

2 Plánování s nejistotou Antonín Komenda 33PAH

3 Doménově nezávislé plánování plánovací problém plánovací doména instance plánovacího problému plánovač vstup: plánovací problém výstup: plán false plán řešení konkrétního plánovacího problému

4 Konceptuální model systému s plánováním iniciální stav cíl(e) doména plánovač plán(y) exekutor pozorování akce systém

5 Typy prostředí Z pohledu: pozorovatelnosti plně pozorovatelný stav částečně pozorovatelný stav chyby pozorování se známou prpostí chyby pozorování s neznámou prpostí (uniformní) výsledků akcí deterministické akce nedeterministické akce se známou prpostí možností nedet. akce s neznámou prpostí možností

6 Plánování dle typu prostředí deterministické akce nedet. se známou P nedet. s neznámou P plně pozorovatelný klasické plánování MDP, RR (RP) RR (RP) část. pozorovatelný POMDP, TCP POMDP, TCP+RR TCP+RR (PO)MDP = (Partially Observable) Markov Decision Processes (Markovské rozhodovací procesy) RR = Re-planning & Plan Repair (Replánování a opravy plánů) RP = Reactive Planning (Reaktivní plánování) TCP = Tranformation to Classical Planning (Transformace probl. do klasického plánování)

7 (PO)MDP plánovací problém plánovací doména instance plánovacího problému plánovač vstup: plánovací problém výstup: plán false policy (plán) řešení konkrétního plánovacího problému exekuce policy

8 (PO)MDP

9 Exekuce Policy policy: p1 = {(S0,a1),(S1,a0),(S2,a1)} p2 = {(S0,a0),(S1,a0),(S2,a1)} loop sense the current state s a <- p(s) execute a

10 Konceptuální model systému s (PO)MDP iniciální stav cíl(e) doména plánovač policies exekutor pozorování akce systém vnější události

11 Reaktivní plánování předpřipravená knihovna plánů známé preconditions a effects pro každý plán plánovač a exekutor pozoruje aktuální stav použije vhodný plán z knihovny postupná stavba plánu od makro-akcí ke konkrétním akcím backtracking na úrovni rozkladu akcí

12 Konceptuální model systému s reaktivním plánováním knihovna plánů plány exekutor pozorování akce systém vnější události

13 Replánování a opravy plánů plánovací problém plánovací doména instance plánovacího problému plánovač vstup: plánovací problém výstup: plán false plán řešení konkrétního plánovacího problému exekuce plánu monitoring exekuce plánu případné replánování nebo oprava plánu

14 Konceptuální model systému s dynamickým plánováním iniciální stav cíl(e) doména plánovač stav exekuce plán(y) exekutor pozorování akce systém vnější události

15 Replánování spuštění plánovače znovu z aktuálního stavu jednoduchá technika často dostačující rychlostí optimální v délce výsledného plánu za předpokladu optimálního plánovače

16 Back-on-track technika opravy plánu použití plánovače pro návrat k originálnímu plánu vyšší požadavky na možnosti plánovače může mít vyšší rychlost oproti replánování

17 Lazy-repair technika opravy plánu ignoruj chyby v exekuci dokud je to možné, potom naplánuj znovu opakování: proces opakuj dokud nejsou cíle splněné může mít vyšší rychlost jak oproti replánování, tak oproti back-on-track

18 Opravy plánů vs. replanning

19 Opravy plánů vs. replanning

20 Transformace plánovacích problemů obecně používaný princip transformace rozšířených vlastností problému do speciálních akcí a proměnných stavu rozšířený problém transformace problému obohacený klasický problém klasický plánovač klasický plán (rozšířený plán) (zpětná transformace plánu)

21 Tranformace pro částečnou pozorovatelnost stav rozšíříme o: know-at(loc,what) akce rozšíříme o: sense-at(loc) Wumpus problem

22 Opravy plánů v hierarchickém plánování princip derivační analogie (derivational analogy) přepoužijme částečné výsledky předešlých plánovacích procesů rozbalený hierarchický strom možných akcí nové rozvíjení stromu na místě nejblíže chybě v plánu

23 OPPA European Social Fund Prague & EU: We invest in your future.

Podobné dokumenty

Pravděpodobnostní (Markovské) metody plánování, MDP - obsah

Pravděpodobnostní (Markovské) metody plánování, MDP - obsah Pravděpodobnostní plánování - motivace. Nejistota ve výběr akce Markovské rozhodovací procesy Strategie plán (control policy) Částečně pozorovatelné