Optimální řízení pro geometrický Brownův pohyb

1/39 Optimální řízení pro geometrický Brownův pohyb Lenka Slámová Katedra pravděpodobnosti a matematické statistiky Matematicko fyzikální fakulta Univerzity Karlovy Stochastické modelování v ekonomii a ve financích 20.prosince 2010

2/39 Mertonův problém 1 Mertonův problém 2 pro difúzní procesy Formulace problému Hodnotová funkce 3 Odvození Hamilton Jacobi Bellmanovy rovnice 4 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 5 Literatura

3/39 Mertonův problém Mertonův problém Problém optimálního složení portfolia. Nechť X t je bohatství investora (hodnota portfolia) v čase t, na trhu dvě aktiva: Bezrizikové aktivum: Spořící účet s konstantní úrokovou sazbou r splňující db t = rb t dt. Rizikové aktivum: Akcie modelovaná jako geometrický Brownův pohyb ds t = µs t dt + σs t dw t. V každém okamžiku t investor vlastní t akcií.

4/39 Mertonův problém Vývoj hodnoty portfolia Portfolio X t je samofinancující, vyvíjí se podle SDR Po rozepsání platí dx t = t ds t + r(x t t S t )dt. dx t = t S t (µ r) dt + rx t dt + t S t σ dw t = = X t (α t (µ r) + r)dt + α t X t σdw t, kde α t je procento kapitálu investované do rizikového aktiva, α t = ts t X t.

5/39 Optimální portfolio Mertonův problém Cílem investora je najít strategii α, která maximalizuje očekávaný užitek z bohatství v budoucím čase T sup E [U(X T )], α vzhledem k α A, kde A je množina všech přípustných strategií. Např. α t 1 není povoleno půjčování, α t 0 nejsou povoleny prodeje na krátko. Definujme optimální hodnotovou funkci pro počáteční kapitál X t = x v(x, t) = sup E [U(X T )]. α A

6/39 Hamilton Jacobi Bellman Mertonův problém Řešením úlohy stochastického optimálního řízení je optimální hodnotová funkce v a optimální řízení ˆα. K jejich nalezení se využívá Hamilton Jacobi Bellmanova rovnice Věta: (Hamilton Jacobi Bellmanova rovnice) Nechť v je optimální hodnotová funkce a nechť existuje optimální řízení ˆα. Pak platí Funkce v splňuje { ( supα A v (HJB) t + v x x(α(µ r) + r) + 1 2 v xxx 2 σ 2 α 2) = 0, v(x, T ) = U(x). Suprema se nabývá v bodě ˆα(t, x) = µ r v x (x, t) σ 2 xv xx (x, t) tzv. Merton proportion.

7/39 Formulace problému Hodnotová funkce 1 Mertonův problém 2 pro difúzní procesy Formulace problému Hodnotová funkce 3 Odvození Hamilton Jacobi Bellmanovy rovnice 4 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 5 Literatura

8/39 Formulace problému Hodnotová funkce Formulace problému Uvažujme dynamický model, ve kterém je stav systému popsán náhodným procesem (X s ) s 0 na filtrovaném pravděpodobnostním prostoru (Ω, F, F = (F s ) s 0, P) a jeho vývoj pomocí SDR dx s = µ(s, X s, α s )ds + σ(s, X s, α s )dw s, X t = x,

8/39 Formulace problému Hodnotová funkce Formulace problému Uvažujme dynamický model, ve kterém je stav systému popsán náhodným procesem (X s ) s 0 na filtrovaném pravděpodobnostním prostoru (Ω, F, F = (F s ) s 0, P) a jeho vývoj pomocí SDR dx s = µ(s, X s, α s )ds + σ(s, X s, α s )dw s, X t = x, W je F t -adaptovaný Wienerův proces, µ a σ jsou dané funkce, splňující určité podmmínky (zaručující existenci silného řešení SDR)

8/39 Formulace problému Hodnotová funkce Formulace problému Uvažujme dynamický model, ve kterém je stav systému popsán náhodným procesem (X s ) s 0 na filtrovaném pravděpodobnostním prostoru (Ω, F, F = (F s ) s 0, P) a jeho vývoj pomocí SDR dx s = µ(s, X s, α s )ds + σ(s, X s, α s )dw s, X t = x, W je F t -adaptovaný Wienerův proces, µ a σ jsou dané funkce, splňující určité podmmínky (zaručující existenci silného řešení SDR) Řízení α = (α t ) t 0 je F t -adaptovaný měřitelný proces s hodnotami v A R, který ovlivňuje stav systému. Budeme uvažovat pouze Markovské řízení α t = α(t, X t ).

9/39 Formulace problému Hodnotová funkce Řešení SDR označíme (X t,x s ) t s. Pravděpodobnostní rozdělení X s začínajícího v čase s = t v bodě x značíme P s,x. Střední hodnotu podmíněnou X t = x označíme E t,x.

9/39 Formulace problému Hodnotová funkce Řešení SDR označíme (X t,x s ) t s. Pravděpodobnostní rozdělení X s začínajícího v čase s = t v bodě x značíme P s,x. Střední hodnotu podmíněnou X t = x označíme E t,x. Cílem problému stochastického optimálního řízení je maximalizace funkcionálu J (t, x, α) - tzv. performance function, value function.

10/39 Formulace problému Hodnotová funkce 1 Mertonův problém 2 pro difúzní procesy Formulace problému Hodnotová funkce 3 Odvození Hamilton Jacobi Bellmanovy rovnice 4 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 5 Literatura

Hodnotová funkce Formulace problému Hodnotová funkce Definujeme hodnotovou funkci J : R + R A R J (t, x, α) = E t,x [ T a optimální hodnotovou funkci t ] f (s, Xs t,x, α s )ds + g(x t,x T ) kde v(t, x) = sup J (t, x, α) α A f : R + R A R a g : R R jsou měřitelné funkce. T je časový horizont (T lze definovat jako čas výstupu z určité množiny - např. čas bankrotu, může být i ) A je množina přípustných řízení, pro které existuje jednoznačné řešení SDR. 11/39

12/39 Formulace problému Hodnotová funkce J (t, x, α) je očekávaný užitek při řízení α přes čas [t, T ], za podmínky, že X t = x. v(t, x) je optimální očekávaný užitek přes čas [t, T ], za podmínky, že X t = x. ˆα(t, x) je optimální řízení, pokud v(t, x) = J (t, x, ˆα).

13/39 1 Mertonův problém 2 pro difúzní procesy Formulace problému Hodnotová funkce 3 Odvození Hamilton Jacobi Bellmanovy rovnice 4 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 5 Literatura

14/39 Cílem je najít optimální hodnotovou funkci v a jako vedlejší produkt optimální řízení ˆα. Předpoklady Existuje optimální řízení ˆα. Optimální hodnotová funkce v C 1,2. HJB rovnici odvodíme pomocí principu dynamického programování. Zvol pevně (t, x) (0, T ) R, h > 0 takové, že t + h < T a libovolné pevné řízení α a definujme α(s, y) = { α(s, y), (s, y) [t, t + h] R ˆα(s, y), (s, y) (t + h, T ] R.

15/39 Strategie Uvažujme dvě strategie na [t, T ] Strategie I. Použij optimální řízení ˆα. Očekávaný užitek na intervalu [t, T ]: J (t, x, ˆα) = v(t, x). Strategie II. Použij řízení α. Očekávaný užitek na [t, t + h): Očekávaný užitek na [t + h, T ]: E t,x [ t+h t Celkový očekávaný užitek na intervalu [t, T ] J (t, x, α) = E t,x [ t+h t ] f (s, Xs t,x, α)ds. E t,x [ v(t + h, X t,x t+h ) ]. ] f (s, Xs t,x, α)ds + v(t + h, X t,x t+h ).

16/39 Porovnání očekávaného užitku strategií Strategie I je optimální, očekávaný užitek strategie I musí být větší nebo roven očekávanému užitku ze strategie II: Musí platit v(t, x) E t,x [ t+h t rovnost nastává právě tehdy, když α ˆα. ] f (s, Xs t,x, α)ds + v(t + h, X t,x t+h ), (1)

17/39 Použití Itôovy formule Funkce v C 1,2, použijeme Itôovu formuli na v(s, X t,x s ):

17/39 Použití Itôovy formule Funkce v C 1,2, použijeme Itôovu formuli na v(s, X t,x s ): dv(s, X t,x s ) = v s v v ds + µds + x x σdw s + 1 2 v 2 x 2 σ2 ds.

17/39 Použití Itôovy formule Funkce v C 1,2, použijeme Itôovu formuli na v(s, X t,x s ): dv(s, X t,x s ) = v s Zintegrujeme (platí X t,x t = x) kde v v ds + µds + x t+h v(t + h, X t,x t+h ) =v(t, x) + t x σdw s + 1 2 v 2 x 2 σ2 ds. (L α v) (s, Xs t,x )ds t+h v t,x + (s, Xs )σ(s, Xs t,x, α)dw s, t x }{{} (lokální) martingal (L α v) (s, x) = v (s, x)+ v s x (s, x) µ(s, x, α)+1 2 2 v x 2 (s, x) σ2 (s, x, α).

18/39 1 Mertonův problém 2 pro difúzní procesy Formulace problému Hodnotová funkce 3 Odvození Hamilton Jacobi Bellmanovy rovnice 4 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 5 Literatura

19/39 Přechod k limitě Do nerovnosti (1) dosadíme za v(t + h, X t,x t+h ) a získáme (střední hodnota z lokálního martingalu je 0): 0 E [ t+h t (L α v) (s, X t,x s ) + f (s, Xs t,x, α)ds ].

19/39 Přechod k limitě Do nerovnosti (1) dosadíme za v(t + h, X t,x t+h ) a získáme (střední hodnota z lokálního martingalu je 0): 0 E [ t+h t (L α v) (s, X t,x s ) + f (s, Xs t,x, α)ds Přechod k limitě (vydělíme h a h pošleme k 0): 0 (L α v) (t, x) + f (t, x, α). ].

19/39 Přechod k limitě Do nerovnosti (1) dosadíme za v(t + h, X t,x t+h ) a získáme (střední hodnota z lokálního martingalu je 0): 0 E [ t+h t (L α v) (s, X t,x s ) + f (s, Xs t,x, α)ds Přechod k limitě (vydělíme h a h pošleme k 0): 0 (L α v) (t, x) + f (t, x, α). Tato nerovnost platí pro všechna α A a rovnost platí pro ˆα, tedy musí být 0 = sup {(L α v) (t, x) + f (t, x, α)}. α A ].

20/39 Hamilton Jacobi Belmanova rovnice Věta: (HJB rovnice) Za výše udevených předpokladů platí následující Funkce v splňuje Hamilton Jacobi Bellmanovu rovnici (HJB) { supα A {(L α v) (t, x) + f (t, x, α)} = 0, (t, x), v(t, x) = g(x), x. Pro každé (t, x) je suprema dosaženo pro α(t, x) = ˆα(t, x).

21/39 Důležitá poznámka HJB rovnice je pouze nutnou podmínkou, nikoliv postačující pokud v je optimální hodnotová funkce, a ˆα je optimální řízení, pak v splňuje HJB rovnici a ˆα je bod suprema.

21/39 Důležitá poznámka HJB rovnice je pouze nutnou podmínkou, nikoliv postačující pokud v je optimální hodnotová funkce, a ˆα je optimální řízení, pak v splňuje HJB rovnici a ˆα je bod suprema. Pokud ( ) pro nějaké řízení α platí, že pro všechna (t, x) je L α v (t, x) + f (t, x, α) = 0, vyplývá z toho, že α je optimální řízení?

21/39 Důležitá poznámka HJB rovnice je pouze nutnou podmínkou, nikoliv postačující pokud v je optimální hodnotová funkce, a ˆα je optimální řízení, pak v splňuje HJB rovnici a ˆα je bod suprema. Pokud ( ) pro nějaké řízení α platí, že pro všechna (t, x) je L α v (t, x) + f (t, x, α) = 0, vyplývá z toho, že α je optimální řízení? To ukazuje HJB rovnice je také postačující podmínka.

22/39 1 Mertonův problém 2 pro difúzní procesy Formulace problému Hodnotová funkce 3 Odvození Hamilton Jacobi Bellmanovy rovnice 4 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 5 Literatura

23/39 Věta: (Verifikační lemmma) Mějme dvě funkce u(t, x) a α(t, x) takové, že platí Funkce u je dostatečně integrovatelná a řeší HJB rovnici { supα A {(L (HJB) α u) (t, x) + f (t, x, α)} = 0, (t, x), u(t, x) = g(x), x. Funkce α je přípustné řízení. Pro každé pevné (t, x) je suprema ve výrazu sup α A {L α u + f (t, x, α)} dosaženo pro α = α(t, x).

24/39 Věta: () pokračování Pak platí následující: 1 Optimální hodnotová funkce v je dána v(t, x) = u(t, x). 2 Existuje optimální řízení ˆα a platí ˆα(t, x) = α(t, x). Tedy pokud nějaká funkce u řeší HJB rovnici a existuje nějaké řízení α, pro které se nabývá suprema, pak je u optimální hodnotová funkce a α optimální řízení.

25/39 Použití HJB rovnice Uvažujme problém optimálního řízení s HJB rovnicí (HJB) { supα A { (L α v) (t, x) + f (t, x, α) } = 0, v(t, x) = g(x). 1 HJB rovnici uvažujme jako PDR pro neznámou funkci v. 2 Zvolíme bod (t, x) a vyřešíme deterministickou optimalizační úlohu { max (L α v) (t, x) + f (t, x, α) }. α A 3 Optimální řešení ˆα závisí na t, x, funkci v a jejích parciálních derivacích. Tj. ˆα = ˆα(t, x, v).

26/39 4 Funkce ˆα(t, x, v) je kandidát na optimální řízení, ale neznáme v. Dosadíme ˆα do (HJB) a získáme PDR { ( ) Lˆα v (t, x) + f (t, x, ˆα) = 0, v(t, x) = g(x). 5 Vyřešíme tuto PDR, získáme optimální hodnotovou funkci v, dosazením do ˆα = ˆα(t, x, v) získáme optimální řízení. Použijeme pro ověření, že v je optimální hodnotová funkce a ˆα optimální řízení. Poznámka: PDR je vysoce nelineární, analytické řešení většinou neexistuje - řešení si většinou tipneme, funkci v nějakým způsobem parametrizujeme a řešením PDR získáme správné parametry.

27/39 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 1 Mertonův problém 2 pro difúzní procesy Formulace problému Hodnotová funkce 3 Odvození Hamilton Jacobi Bellmanovy rovnice 4 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 5 Literatura

28/39 Mertonův problém optimálního složení portfolia Optimalizace spotřeby Mertonův problém optimálního složení portfolia Nechť X t je bohatství investora (hodnota portfolia) v čase t Na trhu dvě aktiva bezrizikové a rizikové (akcie modelovaná jako geometrický Brownův pohyb). V každém okamžiku t agent investuje α t procent z hodnoty portfolia do akcií, procento 1 α t do bezrizikového aktiva. Hodnota porftolia se vyvíjí jako samofinancující se portfolio dx t = α t µx t dt + α t σx t dw t + (1 α t )rx t dt. Předpokládejme, že investor začíná s bohatstvím X t = x > 0 v čase t. Jeho cílem je maximalizace užitku z bohatství v budoucím čase T.

29/39 Mertonův problém optimálního složení portfolia Optimalizace spotřeby Matematická formulace úlohy Úloha maximalizace užitku max J (t, x, α) = E [U(X T )] α A dx t = X t [α t µ + (1 α t )r] dt + X t α t σdw t X t = x, A = {α t = α(t, X t ) : 0 α t } Z předchozích částí máme f 0, g = U Úlohou je najít funkci v(t, x) a řízení ˆα = ˆα(x, X t ), takové, že v(t, x) = sup J (t, x, α) = J (t, x, ˆα), α A

30/39 Mertonův problém optimálního složení portfolia Optimalizace spotřeby HJB rovnice a její řešení HJB rovnice má v tomto případě tvar (HJB) { { } supα A (L α v) (t, x) = 0, Diferenciální operátor L α v má tvar v(t, x) = U(x). (L α v) (t, x) = v t + v x x(α(µ r) + r) + 1 2 v xxx 2 α 2 σ 2. Suprema se nabývá v bodě ˆα(t, x) = µ r σ 2 v x (t, x) xv xx (t, x).

Příklad Mocninná užitková funkce Mertonův problém optimálního složení portfolia Optimalizace spotřeby Úlohu umíme explicitně vyřešit pro mocninnou užitkovou funkci U p (x) = x 1 p 1 p, x 0, p > 0, p 1, U 1(x) = log(x), x 0. Hledáme řešení ve tvaru v(t, x) = c(t)u p (x), pro kladnou funkci c. Dosadíme do HJB rovnice, c pak musí splňovat ODR c (t) + ϱc(t) = 0, c(t ) = 1, kde ϱ = (1 p) sup[α(µ r) + r 1 α 2 pα2 σ 2 ]. Našli jsme řešení v(t, x) = exp(ϱ(t t))u p (x), ˆα = µ r pσ 2. 31/39

32/39 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 1 Mertonův problém 2 pro difúzní procesy Formulace problému Hodnotová funkce 3 Odvození Hamilton Jacobi Bellmanovy rovnice 4 Mertonův problém optimálního složení portfolia Optimalizace spotřeby 5 Literatura

33/39 Optimalizace spotřeby Mertonův problém optimálního složení portfolia Optimalizace spotřeby Podobná úloha jako optimalizace složení portfolia Přidána spotřeba C t (intenzita spotřeby). Hodnota portfolia dx t = t S t µdt + t S t σdw t + r(x t t S t )dt C t dt = = X t ( αt (µ r) + r ) dt + X t α t σdw t X t c t dt, kde α t = tst X t a c t = Ct X t jsou procento investovaného kapitálu a spotřeba na jednotku kapitálu. Předpokládejme, že investor začíná s bohatstvím X 0 = x > 0 v čase 0. Jeho cílem je maximalizace diskontovaného užitku ze spotřeby.

34/39 Matematická formulace úlohy Mertonův problém optimálního složení portfolia Optimalizace spotřeby Úloha maximalizace diskontovaného užitku ze spotřeby [ ] max J (x, π) = E e βt U(c t X t )dt. π A 0 dx t = X t [α t (µ r) + r c t ] dt + X t α t σdw t. X 0 = x, A = {π = (α t, c t ) : c t 0, 0 α t 1}. Úlohou je najít funkci v(x), vektor řízení ˆπ = (ˆα, ĉ) takové, že v(x) = sup J (x, π) = J (x, ˆπ), π A

35/39 HJB rovnice a její řešení Mertonův problém optimálního složení portfolia Optimalizace spotřeby HJB rovnice má v tomto případě tvar (HJB) { sup βv(x) (L π v) (x) U(cx) } = 0. π A Diferenciální operátor L π v má tvar (L π v) (x) = v x(α(µ r) + r c) + 1 2 v x 2 α 2 σ 2. Suprema se nabývá v bodě ˆπ = (ˆα, ĉ) ˆα(x) = µ r σ 2 v (x) xv (x), ĉ(x) = 1 x ( U ) 1 (v (x)).

36/39 Příklad Mocninná užitková funkce Mertonův problém optimálního složení portfolia Optimalizace spotřeby Úlohu umíme opět explicitně vyřešit pro mocninnou užitkovou funkci U p (x) = x 1 p 1 p, x 0, p > 0, p 1, U 1(x) = log(x), x 0. Definujeme Ũ p (Legendreova transformace funkce U) p Ũ p (z) = sup {U p (C) Cz} = 1 p z p 1 p, p > 0, p 1, C 0 log z 1, p = 1. Pak řešíme (HJB) rovnici ve tvaru βv(x) Ũ p (v ) sup {(L α v) (x)} = 0, α kde (L α v) (x) = v x(α(µ r) + r) + 1 2 v x 2 α 2 σ 2.

37/39 Mertonův problém optimálního složení portfolia Optimalizace spotřeby Hledáme řešení ve tvaru v(x) = KU p (x), pro kladné K. Dosadíme do HJB rovnice, K pak musí splňovat kde (β ϱ)k pk p 1 p = 0, ϱ = (1 p) sup[α(µ r) + r 1 α 2 pα2 σ 2 ]. Našli jsme řešení (pro β > ϱ) v(x) = ( ) p p U p (x), ˆα = µ r β ϱ pσ 2, ĉ = K 1 1 p.

Literatura Janeček, K. Stochastic calculus in finance Study material, MFF UK Björk, T. Arbitrage theory in continuous time Oxford University Press, 2009 Pham, H. Continuous time stochastic control and optimization with financial applications Springer Verlag, 2009 Oksendal, B. Stochastic differential equations, An Introduction with Applications Springer Verlag, 2000 38/39

39/39 Děkuji za pozornost.