Masarykova univerzita. Základy konvexní analýzy a optimalizace v R n.

Transkript

1 Masarykova univerzita Ondřej Došlý Základy konvexní analýzy a optimalizace v R n. První vydání Brno 2004

2 Došlý Ondřej Název knihy c prof. RNDr. Ondřej Došlý, DrSc., 2005

3 Největší životní umění je neoptimalizovat konstantní funkce. Předmluva Tato skripta jsou určena pro posluchače bakalářského a magisterského studia odborné matematiky a matematické ekonomie. Svým rozsahem odpovídají přednášené látce v předmětu Matematické programování a pokrývají i část předmětu Optimalizace. Učební text vznikl na základě přednášek autora na Přírodovědecké fakultě MU Brno v letech Text byl připraven sázecím systémem TEX ve formátu LATEX 2ε. Brno, říjen 2005 Autor iii

4

5 Obsah 1 Úvod Základní pojmy Základní pojmy z konvexní analýzy a teorie optimalizace Základní pojmy z numerické minimalizace Konvexní množiny Základní pojmy Oddělování konvexních množin Krajní body konvexních množin Kombinatorické a topologické vlastnosti konvexních množin Cvičení Konvexní funkce Základní vlastnosti konvexních funkcí Kriteria konvexnosti diferencovatelných funkcí Spojitost a směrová derivace konvexních funkcí Další vlastnosti konvexních funkcí Subgradient a subdiferenciál Fenchelova transformace Systémy konvexních a afinních nerovností Cvičení Nutné a dostatečné podmínky optimality Extrémy konvexních funkcí Lagrangeův princip Dualita v úlohách matematického programování Závislost řešení úlohy matematického programování na parametrech Cvičení v

6 Kapitola 1 Úvod 1.1 Základní pojmy Nechť X R n a f : X R. V celém textu se budeme zabývat hledáním bodu množiny X, ve kterém funkce f nabývá svého minima resp. maxima na X, v některých případech pro nás tento bod nebude podstatný, nýbrž budeme pouze hledat hodnotu f = inf x X f(x) (resp. f = supx X f(x)). Celou problematiku budeme nejdříve studovat z teoretického pohledu, budeme hledat nutné a postačující podmínky pro to, aby bod x X byl bodem minima funkce f na X (úlohu hledání maxima funkce f nebudeme až na vyjímky v kapitole o dualitě vyšetřovat, neboť hledání maxima funkce f je ekvivalentní hledání minima funkce f), ve druhé části textu budou tyto teoretické poznatky využity při konstrukci numerických metod minimalizace. Základní minimalizační úlohu budeme zapisovat ve tvaru f(x) min, x X. (1.1) Funkci f budeme nazývat cílovou funkcí (jiná terminologie je účinková resp. účelová funkce), množinu X nazýváme přípustnou množinou, body x X budeme nazývat přípustnými body nebo přípustnými řešeními a číslo f = inf x X f(x) nazýváme hodnotou úlohy (1.1) (je-li X =, klademe f = ). Definice 1.1. Bod x X nazveme bodem globálního minima nebo také řešením úlohy (1.1), jestliže f(x ) f(x) pro všechna x X. Bod x X nazveme bodem lokálního minima nebo také lokálním řešením úlohy (1.1)), jestliže existuje okolí O ε (x ) = {x R n : x x < ε} bodu x takové, že f(x ) f(x) pro každé x X O ε (x ). Jsou-li výše uvedené nerovnosti ostré pro x x, mluvíme o ostrých globálních resp. lokálních minimech. Nyní připomeňme základní tvrzení týkající se nutných a postačujících podmínek pro existenci globálního, resp. lokálního, minima funkce f na X. Důkazy těchto tvrzení je možno nalézt např. v [6, 13]. 1

7 Věta 1.2. ( Weierstrassova věta). Nechť X R n je kompaktní (tj. uzavřená a ohraničená) a f je spojitá na X. Pak existují body globálního minima a maxima funkce f na X. Hledáme-li pouze řešení úlohy (1.1) (tj. body maxima nás nezajímají), můžeme předpoklady Věty 1.2 poněkud zeslabit. Věta 1.3. Nechť X R n je kompaktní a f je zdola polospojitá na X (t.j. pro každé x 0 X a každou posloupnost x n X, pro níž x n x 0 platí lim inf f(x n ) f(x 0 )). Pak existuje globální řešení úlohy (1.1). Věta 1.4. Nechť f : R n R je diferencovatelná v bodě x 0 a x 0 je lokálním extrémem funkce f. Pak f (x 0 ) = x 1 f(x 0 ). x n f(x 0 ) = 0. Věta 1.5. Nechť f je dvakrát spojitě diferencovatelná na R n, f (x 0 ) = 0 a (symetrická) matice ( f 2 ) n f (x 0 ) = (x 0 ) x i x j i,j=1 je pozitivně definitní. Pak x 0 je bodem ostrého lokálního minima funkce f. Věta 1.6. Nechť X R n je kompaktní a f je spojitá na X. Pak f nabývá svého minima a maxima na X ve stacionárním bodě ležícím uvnitř X nebo v některém hraničním bodě množiny X. Z předchozích vět by se mohlo zdát, že je již vybudován dostatečně silný teoretický aparát k rozpracování numerických metod řešení úlohy (1.1) (exaktní analytické řešení této úlohy lze v praktických případech nalézt jen zřídka). Z pohledu numerických metod však již pouhé hledání stacionárních bodů funkce může být obtížným numerickým problémem, který je často obtéžnější, než numerické zvládnutí přímých minimalizačních metod. Tyto metody vyžadují teoretický základ, který je poněkud odlišný od obsahu vět a v tomto textu je prezentován v kapitole IV. 1.2 Základní pojmy z konvexní analýzy a teorie optimalizace Ve druhé a třetí kapitole tohoto textu budeme věnovat pozornost základům konvexní analýzy, kde budeme studovat základní vlastnosti konvexních množin a konvexních funkcí. Připomeňme, že množina X R n se nazývá konvexní, jestliže pro každé x 1, x 2 X a každé λ [0, 1] je λx 1 +(1 λ)x 2 X. 2

8 Je-li X R n konvexní, řekneme, že funkce f : X R je konvexní na X, jestliže f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ), pro každé x 1, x 2 X a každé λ [0, 1]. Následující věta zdůvodňuje důležitost konvexních funkcí v extremálních úlohách. Věta 1.7. Nechť (1.1) je konvexní úloha, tj. X je konvexní a f je konvexní na X. Je-li x lokální řešení úlohy (1.1), pak je i jejím globálním řešením. Důkaz. Je-li x lokálním řešením, existuje ε-ové okolí O ε (x ) bodu x takové, že f(x ) f(x) pro x O ε (x ) X. Nyní nechť x X, x x je libovolné. ε Zvolme λ = min{ x x, 1}. Pak pro x = λx + (1 λ)x je x x ε, tedy f(x ) f( x) λf(x)+(1 λ)f(x ) a odtud snadnou úpravou f(x ) f(x). Další tvrzení charakterizující význačnost konvexních funkcí v extremálních úlohách jsou uvedena v kapitolách III. a IV. S některými pojmy z teorie optimalizace se již čtenář setkal v kursu lineárního programování. Zde se zavádí pojem duální úlohy, studuje se souvislost této úlohy s původní, primární, úlohou, byl zde prezentován i praktický výpočetní algoritmus pro řešení úlohy lineárního programování. V kapitole IV. tohoto textu věnované teoretickým základům řešení extremálních úloh typu (1.1) uvedeme tvrzení která jsou zobecněním vět z předchozího odstavce, zavedeme pojem duální úlohy k obecné úloze matematického programování a ukážeme, že mezi těmito úlohami je podobný vztah jeko mezi primární a duální úlohou v lineárním programování. Tato tvrzení představují teoretický aparát řešení extremálních úloh. Tyto teoretické poznatky jsou pak využity ke konstrukci numerických metod řešení extremálních úloh, které jsou obsahem kapitol VI. a VII. 1.3 Základní pojmy z numerické minimalizace Numerické metody řešení úlohy (1.1) je možno rozdělit zhruba do dvou skupin. Jednodušší případ, kdy X = R n (tzv. nepodmíněná minimalizace), je probírán v VI. kapitole, v následující VII. kapitole je studován složitější případ X R n (tzv. podmíněná minimalizace). Pro oba případy je společné schéma postupu. Je dán bod x 0 X (tzv. počáteční aproximace) a konstruuje se posloupnost {x k } zadaná předpisem x k+1 = x k + α k h k, (1.2) kde α k R + je tzv. délka k-tého kroku, h k je směr k-tého kroku. Jednotlivé numerické metody se liší způsobem výběru směru h k a délky α k k-tého 3

9 kroku. Přirozeným požadavkem, jehož splnění při konstrukci posloupnosti {x k } požadujeme, je lim f(x k) = f = inf f(x). k x X Libovolná posloupnost {x k }, x k X, mající tuto vlasnost se nazývá minimalizující posloupnost úlohy (1.1). Hlavními problémy, které studujeme v souvislosti s jednotlivými numerickými metodami jsou předpoklady na funkci f a množinu X, za kterých je posloupnost {x k } zadaná vztahem (1.2) při daném výběru směru h k a délky α k k-tého kroku vskutku minimalizující posloupností, vyšetřuje se konvergence této posloupnosti, popřípadě rychlost této konvergence. Poznamenejme ještě, že důležitým případem výběru délky kroku α k je tzv. jednorozměrná minimalizace, kdy α k se vybírá podle pravidla f(x k + α k h k ) = min α>0 f(x k + αh k ). Numerickým metodám jednorozměrné minimalizace je věnována V. kapitola. 4

10 Kapitola 2 Konvexní množiny V této kapitole jsou uvedeny základní vlastnosti konvexních množin, zhruba v rozsahu potřebném k výkladu teorie konvexního programování a zejména teorie duality v matematickém programování. Nejdůležitější částí kapitoly je odstavec o oddělování konvexních množin, neboť jeho výsledky tvoří základ konvexního programování. Naopak, výsledky odstavce týkajícího se kombinatorických a topologických vlastností konvexních množin nejsou v dalším textu bezprostředně využity, protože jsou však součásti většiny standardních textů věnovaných konvexní analýze, je zde uveden alespoň přehled nejdůležitějších výsledků z této oblasti. 2.1 Základní pojmy Definice 2.1. Nechť X R n. Množina X se nazývá konvexní, jestliže pro všechna x 1, x 2 X a pro každé λ [0, 1] je λx 1 + (1 λ)x 2 X, tj. s libovolnými dvěma body x 1, x 2 X leží v X celá úsečka spojující tyto dva body. Přímo z definice konvexní množiny plynou následující jednoduchá tvrzení. Věta 2.2. (i) Nechť I je libovolná indexová množina a množiny X i jsou konvexní pro každé i I. Pak je množina i I X i konvexní. (ii) Nechť X 1,..., X m jsou konvexní množiny, α 1,..., α m R. Pak množina α 1 X α m X m := { x R n : x = } α i x i, x i X i. je také konvexní. K vyšetřování vlastností konvexních množin zaveďme následující pojmy. 5

11 Definice 2.3. Množina X R n se nazývá: (i) kužel, jestliže pro každé x X a pro každé λ [0, ) je λx X, (ii) konvexní kužel, jestliže je současně konvexní množinou i kuželem. (iii) affinní, jestliže pro každé x 1, x 2 X a pro každé λ R je λx 1 + (1 λ)x 2 X, tj. X s libovolnými dvěma body obsahuje i celou přímku určenou těmito dvěma body. Dále budeme používat následující terminologii pro lineární kombinaci bodů z R n. Definice 2.4. Nechť x 1,..., x m R n. Lineární kombinace λ 1 x 1 + +λ m x m se nazývá (i) konvexní, je-li λ i 0 a m k=1 λ i = 1, (ii) nezáporná, je-li λ i 0 pro všechna i = 1... m, (iii) afinní, je-li m k=1 λ i = 1. Budeme rovněž používat pojem konvexního (kuželového, afinního) obalu množiny, což je nejmenší (vzhledem k inkluzi) konvexní (kuželová, afinní) množina obsahující danou množinu. Definice 2.5. Nechť X R n. (i) Průnik všech konvexních množin obsahujících množinu X se nazývá konvexní obal množiny X a značí se conv X. (ii) Průnik všech konvexních kuželů obsahujících X se nazývá kuželový (kónický) obal množiny X a značí se cone X. (iii) Průnik všech afinních množin obsahujících X se nazývá afinní obal množiny X a značí se aff X (iv) Zaměření afinního prostoru aff X nazýváme lineární obal množiny X a značíme Lin X, dim X označuje dimenzi prostoru Lin X. Všimněme si, že je-li X = {x 1,..., x m } R n, pak podle předchozí definice Lin X není množina všech lineárních kombinací prvků x 1,..., x m, nýbrž lineárních kombinací prvků x 2 x 1,..., x m x 1. Tato definice lineárního obalu, lišící se od definice obvykle používané v lineární algebře, nám umožní jednodušší formulaci vlastností konvexních množin. Dále připomeňme, že je-li x 0 aff X libovolný, je Lin X = {x = x x 0, x aff X}, a že každý afinní prostor můžeme popsat pomocí řešení jistého systému nehomogenních lineárních rovnic tvaru Ax = b, kde x R n, b R m a A je matice typu m n. Odtud zejména vidíme, že libovolná afinní množina je uzavřená. Věta 2.6. Nechť X R n. Je-li X konvexní množina (konvexní kužel, affinní prostor), pak libovolná konvexní (nezáporná, afinní) kombinace prvků z X je opět prvkem množiny X. 6

12 Důkaz. Dokážeme pouze tvrzení pro konvexní kombinace, důkaz zbývajících dvou tvrzení je analogický. Pro m = 2 je tvrzení totožné s definicí konvexní množiny. Pro m > 2 postupujeme indukcí. Nechť tedy x = m+1 λ ix i je konvexní kombinace bodů x 1,...., x m+1 X. Je-li λ m+1 = 1, tj. λ 1 = = λ m = 0, je tvrzení triviální a pro λ m+1 < 1 platí x = (1 λ m+1 ) Podle indukčního předpokladu je x := m X. λ i 1 λ m+1 x i + λ m+1 x m+1. λ i 1 λ m+1 x i X a tedy i x Následující věta popisuje obaly množiny X pomocí lineárních kombinací bodů této množiny. Věta 2.7. Nechť X R n. Platí conv X = { x = cone X = { x = aff X = { x = λ i x i : x 1,..., x m X, λ 1,..., λ m 0, λ i x i : x 1,..., x m X, λ i 0 }, λ i x i : x 1,..., x m X, λ i = 1 }, λ i = 1 }, tj. conv X (cone X, aff X) je roven množině všech konvexních (nezáporných, afinních) kombinací prvků z X. Důkaz. Tvrzení opět dokážeme pouze pro konvexní obal, důkaz dalších dvou tvrzení je analogický. Označme Z množinu stojící na pravé straně dokazované množinové rovnosti. Dokážeme inkluze Z conv X, Z conv X. : Množina Z je konvexní. Vskutku, jsou-li z 1, z 2 Z, tj. z 1 = α i x i, z 2 = k β i y i, kde x i, y i X, α i, β i 0, m α i = 1 = k β i a λ [0, 1], pak z = λz 1 + (1 λ)z 2 = λα i x i + k (1 λ)β i y i Z, neboť λα i, (1 λ)β i 0 a λ m α i+(1 λ) k β i = 1. Protože evidentně X Z, platí conv X conv Z = Z. 7

13 : Nechť Y je libovolná konvexní množina, taková, že X Y. Podle věty 2.6 je libovolná konvexní kombinace prvků z Y prvkem Y, což spolu s inkluzí X Y implikuje Z Y. Protože Y X byla libovolná, conv X = Y Z, tj. conv X Z. Y X V předchozí větě jsme popsali obaly množiny X R n pomocí příslušných lineárních kombinací bodů této množin. Věta však neudává žádnou informaci o maximálním počtu bodů, jejichž lineární kombinace je třeba brát v úvahu. Upřesnění předchozí věty v tomto směru je obsahem následujících dvou tvrzení. Věta 2.8. Nechť X R n a x cone X je libovolné. Pak existují body x 1,..., x n X, λ 1,..., λ n 0 taková, že x = λ 1 x 1 + +λ n x n, tj. libovolný bod kónického obalu množiny X lze vyjádřit pomocí nezáporné kombinace nejvýše n bodů x 1,..., x n množiny X. Důkaz. Nechť x cone X. Pak podle Věty 2.7 existuje m N, x 1,..., x m X a λ 1,..., λ m 0 taková, že x = m λ ix i. Jsou-li body x 1,..., x m lineárně nezávislé, pak m n a tvrzení věty platí. Jsou-li tyto body lineárně závislé, existují µ 1,..., µ m R tak, že m µ ix i = 0 a alespoň jedno z čísel µ je kladné. Nechť α R je libovolné, pak x = λ i x i α µ i x i = (λ i αµ i )x i. Je-li α = min µi >0 λ i µ i, pak je λ i αµ i 0 pro každé i {1,..., m} a alespoň pro jeden index i je λ i αµ i = 0, tj. x je nezáporná kombinace nejvýše m 1 bodů. Je-li m 1 = n, je důkaz dokončen, jinak celou konstrukci opakujeme dokud nedostaneme x jako nezápornou kombinaci nejvýše n bodů. Věta 2.9. Nechť X R n, x conv X je libovolné. Pak existují body x 1,..., x n+1 X a λ 1,..., λ n+1 [0, 1], n+1 λ i = 1 taková, že x = λ 1 x λ n+1 x n+1, tj. libovolný bod množiny conv X lze vyjádřit jako konvexní kombinaci nejvýše n + 1 bodů množiny X. Důkaz. Nechť A R n+1 je množina vektorů tvaru A = {[x, 1] : x X}. Není obtížné ověřit, že y = [x, 1] cone A, právě když x conv X. Nyní tvrzení plyne bezprostředně z Věty

14 Příklad (i) Dokažte následující tvrzení: Množina X je konvexní právě tehdy, když λx + µx = (λ + µ)x pro každé λ, µ 0. Řešení. Tvrzení je triviální, pokud λ = 0 = µ. Můžeme tedy předpokládat, že λ + µ > 0. Implikace : Nechť a λx + µx, tj. existují x 1, x 2 X taková, že [ λ a = λx 1 + µx 2 = (λ + µ) λ + µ x 1 + µ ] λ + µ x 2 = (λ + µ)x, kde x = λ λ+µ x 1 + µ λ+µ x 2 X, neboť X je konvexní, tedy a (λ + µ)x. Naopak, je-li a (λ + µ)x, tj. existuje x X takové, že a = (λ + µ)x = λx + µx, pak a λx + µx. Implikace : Nechť x 1, x 2 X, λ [0, 1]. Pak λx 1 + (1 λ)x 2 λx + (1 λ)x = (λ + 1 λ)x = X, tedy X je konvexní. (ii) Nechť A = {[x, y] : y 1 + x 2 } {[0, 0]}. Určete conv A, cone A. Řešení. Přímým výpočtem lze ověřit, že přímky y = ±2x jsou tečnami k parabole y = 1 + x 2 v bodech [±1, 2]. Protože množina A 1 = {[x, y] : y 1 + x 2 } je konvexní (intuitivně je to zřejmé, exaktně to plyne z konvexnosti funkce 1+x 2, viz [8, Věta 6.25 a Důsledek 6.27]). Body, které jsou v conv A A jsou vnitřní body úseček spojujících bod [0, 0] s body grafu [x, 1+x 2 ], x 1, odtud conv A = {[x, y], x [ 1, 1], y 2 x } {[x, y], x > 1, y 1 + x 2 } (nakreslete si obrázek). Podobně cone A = {[x, y], y 2 x }. Věta Nechť X R n je kompaktní. Pak její konvexní obal conv X je také kompaktní. Důkaz. Definujme množinu Λ := { n+1 λ = (λ 1,..., λ n+1 ) R n+1 : λ i 0, λ i = 1 }, Y := Λ X n+1 R (n+1)2 a dále definujme zobrazení F : Y R n předpisem (λ, x 1,..., x n+1 ) F (λ 1 x λ n+1 x n+1 ). Protože zobrazení F je lineární, je spojité. Množina Y je kompaktní v R 2n+2 (je kartézským součinem kompaktních množin) a F (Y ) = conv X. Protože spojitý obraz kompaktní množiny je kompaktní množina, viz [7], je i conv X kompaktní. 9

15 Nyní se dostáváme k důležitému pojmu z konvexní analýzy, pojmu relativního vnitřku množiny v R n. Jako ilustrační příklad uvažujme úsečku v R 2. Vnitřek této množiny (v obvyklé euklidovské metrice prostoru R 2 ) je prázdná množina, tj. žádný bod úsečky není jejím vnitřním bodem. Intuitivně je však zřejmé, že by bylo rozumné považovat vnitřní body úsečky za vnitřní body množiny. Touto úvahou je motivována následující definice. Definice Nechť X R n. Bod x X se nazývá relativně vnitřním bodem množiny X, jestliže existuje okolí O(x) bodu x tak, že O(x) aff X X. Množina reletivně vnitřních bodů množiny X se nazývá relativní vnitřek množiny X a značí se ri X. Množina X ri X (kde X je uzávěr X) se nazývá relativní hranice množiny X a značí se r X. Následující věta obsahuje důležité tvrzení týkajících se konvexních množin (někdy bývá dokonce nazýváno Základní věta teorie konvexních množin ) a je použito v důkazech řady dalších tvrzení v konvexní analýze. Věta Je-li X R n neprázdná a konvexní, pak je ri X neprázdná. Důkaz. Bez újmy na obecnosti můžeme předpokládat, že 0 X, v opačném případě celý postup aplikujeme na množinu Y = {y = x x 0 ; x X} = X x 0, kde x 0 X libovolný, neboť pak platí 0 Y. Pak aff X = Lin X a nechť {x 1,..., x m } je maximální lineárně nezávislý systém bodů množiny X. Označme Λ = {λ R n : λ i > 0, m λ i < 1} a definujme zobrazení F : R m R n následujícím předpisem λ = (λ 1,..., λ m ) Nechť λ Λ je libovolné, pak F λ 1 x λ m x m. F (λ) = λ 1 x λ m x m + (1 λ i ) 0, tedy F ( Λ) conv X = X a současně F ( Λ) Lin {x 1,..., x m } = aff X. Zobrazení F i F 1 jsou lineární a tedy i spojité. Poněvadž Λ je otevřená v R n, je F ( Λ) otevřená v aff X. Nechť y F ( Λ) je libovolný, pak existuje okolí O(y) tak, že O(y) aff X F ( Λ), tedy y ri X. Při důkazech vlastností relativních vnitřků konvexních množin je užitečné následující tvrzení. Věta Nechť X R n je konvexní, x ri X, y X. Pak pro každé λ (0, 1] je (1 λ)y + λx ri X. 10

16 Důkaz. Označme z = λx+(1 λ)y. Podle definice z ri X právě tehdy, když pro každou posloupnost z k aff X, z k z, platí z k X pro dostatečně velká k. Nechť tedy z k aff X je libovolná a z k z. Protože y X, existuje posloupnost y k X tak, že y k y. Nechť x k X jsou taková, že z k = λx k + (1 λ)y k, tj. úsečka x k z k je bodem y k dělena v poměru λ. Lze ukázat, že x k = λx + (λ 1)(y k y) + z k z. λ Pak x k aff X, x k x. Odtud x k X pro dostatečně velká k (neboť x ri X) a tedy i z k = λx k + (1 λ)y k X pro dostatečně velká k N. Jako přímý důsledek dostáváme toto tvrzení. Důsledek Je-li X R n konvexní, pak i ri X je konvexní. Na závěr tohoto odstavce uveďme bez důkazu (ten je poměrně jednoduchou technickou záležitostí) následujcí tvrzení, které budeme často potřebovat. Věta Nechť X R n je konvexní. Pak ri X = ri X a X = ri X. Množina X je také konvexní a aff X = aff X. Příklad (i) Nechť A = (αx + βy ), (α,β) P kde P R 2 + = {[x, y] : x, y > 0} je konvexní množina. Jsou-li X, Y konvexní, je A konvexní. Dokažte. Řešení. Nechť a 1, a 2 A, λ [0, 1]. Pak existují (α 1, β 1 ), (α 2, β 2 ) P a x 1, x 2 X, y 1, y 2 Y taková, že a 1 = α 1 x 1 + β 1 y 1, a 2 = α 2 x 2 + β 2 y 2. Pak tedy a =λa 1 + (1 λ)a 2 = λ(α 1 x 1 + β 1 y 1 ) + (1 λ)(α 2 x 2 + β 2 y 2 ) = =λα 1 x 1 + (1 λ)α 2 x 2 + λβ 1 y 1 + (1 λ)β 2 y 2, a λα 1 X + (1 λ)x + λβ 1 Y + (1 λ)β 2 Y =[λα 1 + (1 λ)α 2 ]X + [λβ 1 + (1 λ)β 2 ]Y =αx + βy X. (předch. příklad) = (konvexnost P) = (ii) Dokažte množinovou rovnost conv X + conv Y = conv (X + Y ). 11

17 Řešení. K důkazu množinové rovnosti dokážeme dvojici inkluzí: : X + Y conv X + conv Z, odtud conv (X + Y ) conv (conv X + conv Y ) = conv X + conv Y, nebot množina conv X + conv Y je podle Věty 2.2 konvexní. : Nechť a conv X + conv Y, tj. existují x conv X, z conv Z taková, že a = x + y. Odtud n+1 n+1 a = λ i x i + µ i y i = n+1 n+1 λ i (x i + y j )µ j. Protože x i + y j X + Y, n+1 j=1 µ j(x i + y j ) =: w i conv (X + Y ), odtud j=1 n+1 λ i w i conv (conv (X + Y )) = conv (X + Y ). (iii) Dokažte implikaci: X R n je otevřená conv X je otevřená. Řešení. Nechť x conv X, tj. podle Caratheodoryho věty existují body x 1,..., x n+1 X a λ 1,..., λ n+1 0, n+1 λ i = 1 taková, že x = n+1 λ ix i. Protože X je otevřená, existuje ε > 0 takové, že O ε (x i ) = {x : x x i < ε} X pro i = 1,..., n + 1. Položme O( x) = n+1 λ io ε (x i ). Pak O( x) = {x : x x < ε} ( dokažte sami, např indukcí vzhledem k dimenzi n) je hledané okolí x, které je celé obsaženo v conv X. 2.2 Oddělování konvexních množin Věty o oddělitelnosti konvexních množin jsou, jak uvidíme v kapitole 4, teoretickým základem konvexního programování. Definice Množiny X 1, X 2 R n se nazývají (i) oddělitelné, existuje-li 0 p R n a tak, že p, x 1 p, x 2 pro každé x 1 X 1, x 2 X 2. (2.1) (ii) vlastně oddělitelné, pokud jsou oddělitelné a existují x 1 X 1, x 2 X 2 a β R tak, že p, x 1 > p, x 2. (iii) silně oddělitelné, jestliže inf p, x 1 > β > sup p, x 2. x 1 X 1 x 2 X 2 12

18 Nadrovina H p,β := {x R n : p, x = β} se potom nazývá oddělující nadrovinou množin X 1, X 2. Důležitým nástrojem při důkazu vět o oddělitelnosti konvexních množin je pojem projekce bodu na množinu. Kromě toho je tento pojem důležitý i při konstrukci numerických metod nepodmíněné minimalizace, viz. Kapitola VI. Definice Nechť X R n, a R n. Bod x X nazveme projekcí bodu a na množinu X, značíme Π X (a), jestliže Π X (a) a x a pro každé x X. Základní vlastnosti projekce bodu na množinu jsou shrnuty v následujícím tvrzení. Lemma Nechť X R n je uzavřená a konvexní. Pak pro každé a X existuje jediná projekce Π X (a) X a pro každé x X platí Π X (a) a, x Π X (a) 0, (2.2) Π X (a) a, x a Π X (a) a 2 0. (2.3) Důkaz. Projekce bodu x na množinu X je řešením úlohy f(x) = x a min, x X. Položme Y = X {x R n : x a R}, kde R je dostatečně velké reálné čislo. Pak Y je kompaktní a podle Weierstassovy věty (Věta 1.2) existuje minimum funkce f na Y a snadno se vidí, že je rovno minimu f na X, tedy projekce bodu na množinu existuje. Označme x = Π X (a), pak vzhledem ke konvexnosti množiny X pro libovolné x X, λ (0, 1] platí x a 2 λx + (1 λ)x a 2 = x a + λ(x x ) 2 = = x a + λ(x x ), x a + λ(x x ) = = x a 2 + 2λ x a, x x + λ 2 x x, odtud vydělením λ (0, 1] dostaneme 0 2 x a, x x + λ x x. Limitním přechodem pro λ 0+ dostaneme x a, x x 0, což je první z požadovaných tvrzení v (2.2). Druhá nerovnost v (2.3) plyne z (2.2) přidáním členů ±a v druhé složce skalárního součinu a následnou elementární úpravou. 13

19 Pomocí vlastností projekce bodu na konvexní množinu můžeme nyní snadno dokázat následující nutnou a postačující podmínku pro silnou oddělitelnost konvexních množin. Věta Konvexní množiny X 1, X 2 R n jsou silně oddělitelné právě tehdy, když vzdálenost množin ρ(x 1, X 2 ) = inf x 1 x 2 > 0. x 1 X 1,x 2 X 2 Důkaz. Implikace : Nechť X 1, X 2 jsou silně oddělitelné (nikoliv nutně konvexní), pak využitím Cauchyovy nerovnosti 0 < ε := inf p, x 1 sup p, x 2 = inf p, x 1 x 2 x 1 X 1 x 2 X 2 (x 1,x 2 ) X 1 X 2 inf p x 1 x 2 = p ρ(x 1, X 2 ), (x 1,x 2 ) X 1 X 2 a tedy ρ(x 1, X 2 ) ε p > 0. Implikace : Nechť X 1, X 2 jsou konvexní, a ρ(x 1, X 2 ) > 0. Označme X = X 1 X 2, snadno lze ověřit, že tato množina je konvexní a uzavřená (viz věty 2.2 a 2.16). Protože ρ(x 1, X 2 ) > 0 a 0 X je p = Π X (0) 0. Ukážeme, že p je hledaný normálový vektor oddělující nadroviny. Z nerovnosti (2.3) v Lemmatu 2.20 plyne (volbou a = 0)) p, x p 2 > 0 pro každé x X. Odtud p, x 1 x 2 = p, x 1 p, x 2 p 2, a tedy inf p, x 1 sup p, x 2 p 2 > 0. x 1 X 1 x 2 X 2 Nyní lze vzít β (sup x2 X 2 p, x 2, inf x1 X 1 p, x 1 ) libovolné a H p,β je oddělující nadrovina množin X 1, X 2. Z teorie metrických prostorů je známo, že je-li (P, ρ) metrický prostor a A, B P jsou uzavřené a disjunktní, X 2 je ohraničená (a tedy i kompaktní), pak je ρ(x 1, X 2 ) > 0. Tato skutečnost a Věta implokují následující tvrzení. Důsledek Nechť X 1, X 2 R n jsou konvexní a disjunktní, X 1 uzavřená, X 2 kompaktní. Pak jsou X 1, X 2 silně oddělitelné. Jiným důležitým pojmem z teorie konvexních množin je pojem opěrné nadroviny. Definice Nechť X R n, a X = X int X. Nadrovina H p,β se nazývá (i) opěrná nadrovina množiny X v bodě a, jestliže p, x β = p, a pro každé x X. 14

20 (ii) vlastní opěrná nadrovina, je-li opěrná nadrovina a existuje x X takové, že p, x > β. Věta Nechť X R n je konvexní a a X. Pak v tomto bodě existuje vlastní opěrná nadrovina této množiny. Je-li navíc a r X, existuje v a vlastní opěrná nadrovina množiny X. Důkaz. Důkaz provedeme pro existenci vlastní opěrné nadroviny v relativně hraniční bodě. Normálový vektor opěrné nadroviny sestrojíme takto. Zvolme a r X libovolný. Z vlastností množiny r X existuje a k aff X, a k X, a k a. Položme p k = Π X(a k ) a k Π X (a k ) a k. Pak p k = 1, p k Lin X. Protože množina {x : x = 1} je kompaktní, můžeme z posloupnosti {p k } vybrat konvergentní podposloupnost. Bez újmy na obecnosti předpokládejme, že p k p, kde p = 1 a p Lin X. Ukážeme, že p je hledaný normálový vektor vlastní opěrné nadroviny množiny X v bodě a. Z nerovnosti (2.3) v Lemmatu 2.20 plyne, že p k, x p k, a k > 0 pro každé x X. Limitním přechodem pro k dostáváme p, x p, a =: β, pro každé x X. Tím jsme ukázali, že H p,β je opěrná nadrovina. Ještě zbývá dokázat, že jde o vlastní opěrnou nadrovinu. Podle Věty 2.13 existuje x 1 ri X. Položme x = x 1 + ɛp pro nějaké ɛ > 0 dostatečně malé. Protože p Lin X (neboť p k Lin X a Lin X je uzavřená množina), je x aff X. Z definice ri X je pro ε > 0 dostatečně malé také x X. Přímým výpočtem pak p, x = p, x 1 + εp = p, x 1 + ε p 2 > β. Nejdůležitějším výsledkem o oddělitelnosti konvexních množin je následující tvrzení. Věta Konvexní množiny X 1, X 2 R n jsou vlastně oddělitelné právě tehdy, když ri X 1 ri X 2 =. Důkaz. : Položme X := ri X 1 ri X 2. Pak X je konvexní a 0not X (ověřte sami!). Jsou možné dva případy: 0 X, nebo 0 X X r X. V prvním případě jsou podle Věty (2.21) množiny {0} a X silně oddělitelné a tato oddělující nadrovina odděluje i X 1 a X 2. V druhém případě z Věty 2.24 plyne existence vlastní opěrné nadroviny k X v bodě 0 a lze ukázat, že tato nadrovina vlastně odděluje X 1 a X 2. : Předpokládejme sporem, že X 1, X 2 jsou vlastně oddělitelné a existuje x ri X 1 ri X 2. Z definice vlastní oddělitelné nadroviny existují x 1 X 1, x 2 X 2 takové, že p, x 1 > p, x 2. Položme x 1 = x + α( x 1 x) X 1, x 2 = x + α( x 2 x) X 2. Pak x 1 aff X 1, x 2 aff X 2, a tedy x 1 X 1, x 2 X 2 pro α > 0 dostatečně malé. Současně ale p, x 1 p, ṽ 2 = p, α( x 2 x) α( x 1 x) = = α p, x 1 x 2 < 0, 15

21 spor. Na závěr tohoto odstavce připomeňme, jak lze věty o oddělitelnosti konvexních množin využít ke studiu úloh lineárního programování. Věta (Farkas - Minkonwski) Nechť A je m n matice, b R m. Pak je právě jeden z následujících systémů rovnic a nerovnic řešitelný. Ax = b, x 0, (2.4) A T y 0, y, b < 0. Důkaz. Předpokládejme, že x R n a y R m jsou současně řešení obou systémů, pak 0 > y, b = y, Ax = A T y, x 0, což je spor. Předpokládejme nyní, že systém (2.4) není řeitelný a označme a 1,..., a n sloupcové vektory tvořící matici A. Pak vektor b cone {a 1,..., a n }. Protože cone {a 1,..., a n } je uzavřená množina, jsou b a cone {a 1,..., a n } silně oddělitelné a nechť y je normálový vektor oddělující nadroviny, tj. y, z > y, b pro všechna z cone {a 1,..., a n }, tedy pro všechna x R n, x 0 je y, Ax = A T y, z > y, b. Dosadíme-li do poslední rovnosti x = 0, dostáváme 0 > y, b a nechámeli všechny složky vektoru x konvergovat do, platí nerovnost pouze, je-li A T y 0. Jako důsledek Farkas-Minkovského věty dostáváme toto tvrzení. Věta Nechť A je matice m n a b R m. Pak existuje řešení právě jedné z následujících úloh Ax b, x R n ; (2.5) A T y = 0, y, b < 0, y 0. (2.6) Důkaz. Nechť Ã = (A, b) je m (n + 1) matice, b = ( 0 1) R n+1 (here 0 R n ), x = ( x λ) R n+1 (with λ R) a uvažujme systémy ekvivalentní systémům z tvrzení věty: Ã x > 0, x, b < 0 (2.7) Ã T y = b, y 0. (2.8) Pak (2.5) je ekvivalnetní (2.8), (2.6) je ekvivalentní (2.7) a tvrzení o existenci právě jednoho z řešení systémů (2.5), (2.6) plyne z Věty Nakonec jestě připomeňme jedno tvrzení z teorie lineárního programování, které lze snadno dokázat z předchozích vět. 16

22 Věta Je-li v úloze lineárního programování c, x min, x X, kde X = {x R n, Ax b}, přičemž A je matice m n, b R m, přípustná množina X neprázdná a f(x) = c, x je zdola ohraničená na X, pak je úloha řešitelná. Důkaz. Předpokládejme, že úloha není řešitelná a označme α = inf x X c, x (toto infimum existuje, protože minimalizovaná funkce f(x) = c, x je zdola ohraničená na X.) Pak neexistuje řešení úlohy Ax b, c, x α, která je ekvivalentní systému ( A c T ) x ( ) b. α Podle předpokladu věty existují y R m, λ R tak, že ( y λ) je řešením systému ( A T c )( ) y = 0, λ který je ekvivalentní systému ( ) y T ( ) b < 0, λ α A T y = λc, y, b > λα, y, λ 0. ( ) y 0, λ Tedy pro libovolné x X platí λ c, x = A T y, x = y, Ax y, b > λα, tj. λ > 0 a což je spor. Cvičení inf c, x 1 y, b > α, x X λ 1. Nechť jsou dány množiny X = {[x, y] R 2 : y 1 + x 2 }, Y = {[x, y] R 2 : x αy 2 }. Určete pro jaké hodnoty parametru α jsou množiny X, Y oddělitelné. 2. Nechť X, Y jsou oddělitelné množiny, int X 1. Pak X, Y jsou vlastně oddělitelné. Dokažte. 3. Nechť X, Y R n. Množiny {λx + (1 λ)y }, y Y λ 1 y Y λ 1 {λx + (1 λ)y } se nazývají stín resp. polostín X na Y (zdůvodněte geometricky si tuto terminologii). Dokažte, že za předpokladu konvexnosti X a Y jsou tyto množiny konvexní. 17

23 2.3 Krajní body konvexních množin Definice Nechť X R n je konvexní množina. Bod x X nazveme krajním (jiný termín je extremální) bodem množiny X, jestliže jej nelze vyjádřit ve tvaru x = λx 1 + (1 λ)x 2, pro žádné x 1, x 2 X, λ (0, 1). (2.9) Množinu všech krajních bodů množiny X značíme E(X). Bod x X je tedy krajním bodem, jestliže neleží uvnitř žádné úsečky, jejíž krajní body jsou prvky množiny X. Např. krajními body konvexního mnohoúhelníka jsou jeho vrcholy, krajními body kruhu jsou body hraniční kružnice apod. Ke studiu množiny krajních bodů konvexní množiny budeme potřebovat následující dvě tvrzení. Zaveďme potřebné označení: Nechť x R n, polopřímku procházející bodem x se směrovým vektorem h R n budeme značit l + x,h, tedy l + x,h = {y Rn : y = x + ht, t 0}. Opačnou polopřímku budeme značit l x,h a l x,h = l + x,h l x,h je přímka určená bodem x a směrem h. Věta Nechť X je neohraničená uzavřená konvexní množina. Pak (i) Pro libovolný x 0 X existuje 0 h R n takový, že l + x 0,h X. (ii) Jestliže l + x X pro nějaké x 0,h 0 X a h R n, pak l + x,h X pro každé x X. Důkaz. (i) Nechť x 0 X je libovolné. Z neohraničenosti množiny X plyne existence posloupnosti x k X takové, že x k. Nechť α 0 je libovolné. Položme h k = x k x 0 x k x 0, λ α k = x k x 0, x k = λ k x k + (1 λ k )x 0. Protože h k = 1, můžeme z posloupnosti {h k } vybrat konvergentní podposloupnost. Bez újmy na obecnosti můžeme předpokládat, že h k h. Pro dostatečně velká k je λ k [0, 1] (jelikož x k ), a tedy vzhledem ke konvexnosti X je x k X. Současně x k = x 0 + λ k (x k x 0 ) = x 0 + αh k a tedy x k x 0 + αh X, neboť množina X je uzavřená. Protože α 0 bylo libovolné, je první část věty dokázána. (ii) Nechť l + x 0,h X a x X je libovolné. Pro α 0 a k N položme x k = x 0 + (αk)h, x k = 1 k x k + (1 1 k )x. Pak x k l + x 0,h X a z konvexnosti X je i x k X. Současně x k = x + 1 k (x 0 x) = x+αh+ 1 k (x 0 x). Tedy x k x+αh a vzhledem k uzavřenosti X máme x+αh X, tj. l + x,h X. Lemma Nechť X R n je uzavřená a konvexní množina, x r X je relativně hraniční bod množiny X, H = H p,β je vlastní opěrná nadrovina množiny X v bodě x, tj. p, x β = p, x, pro každé x X, (2.10) p, x > β pro některé x X. (2.11) Položme X = X H p,β. Pak E(X ) E(X) a dim X < dim X. 18

24 Důkaz. Předpokládejme, že existuje x E(X ) a současně x E(X), tj. x můžeme vyjádřit ve tvaru (2.9) Pak z (2.10) plyne β = p, x = λ p, x 1 + (1 λ) p, x 2 λβ + (1 λ)β = β. Odtud plyne p, x 1 = p, x 2 = β, tj. x 1, x 2 X H = X. Tento vztah však spolu s (2.9) dává x E(X ), což je spor. K důkazu druhé části tvrzení lemmatu označme M = aff X, M = aff X. Pak M M, M H a také X X, X H. Připusťme, že M = M. Pak X M = M H, to znamená, že p, x = β pro každé x X, což je spor s se skutečností, že H je vlastní opěrná nadrovina v bodě x. Tedy M M, což znamená, že i Lin X Lin X a tedy dim Lin X < dim Lin X, což bylo třeba dokázat. Následující věta udává kriterium existence krajních bodů konvexní množiny. Věta Nechť X R n je uzavřená konvexní množina. Pak E(X) právě když X neobsahuje žádnou přímku, tj. pro každé x X a každé h R n je l x,h X. Důkaz. : Důkaz první implikace provedeme sporem. Nechť je tedy E(X) neprázdná, tj. existuje x E(X), a existuje x 0 X a 0 h tak, že l x0,h X. Pak podle Věty 2.30 l + x,h X a l x,h X, speciálně x 1 = x + h X, x 2 = x h X a x = 1 2 (x 1 + x 2 ), tedy x E(X). : Důkaz druhé implikace provedem indukcí vzhledem dim X. Je-li dim X = 0, je X = {x} jednoprvková a E(X) = {x}. Předpokádejme, že tvrzení je již dokázáno pro dim X < m. Protože X neobsahuje žádnou přímku, je r X (ověřte sami) a nechť X je množina z Lemmatu Protože dim X < m, vzhledem k indukčnímu předpokladu je E(X ), inkluze E(X ) E(X) nyní dává požadované tvrzení. Vztah mezi množinami X a E(X) v případě konvexní a kompkatní množiny popisuje následující věta. Věta Nechť X R n je konvexní a kompaktní. Pak X = conv E(X). Důkaz. Vzhledem ke konvexnosti množiny X evidentně conv E(X) X, stačí tedy dokázat opačnou inkluzi. Budeme opět postupovat indukcí vzhledem k dimenzi množiny X. Je-li dim X = 0, je tvrzení triviální. Předpokládejme, že tvrzení je již dokázáno pro dim X < m. Nechť x r X je libovolné (r X ze stejného důvodu jako v předchozí větě) a uvažujme množinu X z Lemmatu Tato množina je kompaktní a konvexní, tedy podle indukčního předpokladu X = conv E(X ), specielně x conv E(X ) conv E(X) a protože x bylo libovolné, je i r X E(X). Vezměme nyní x ri X libovolné a nechť h Lin X. Pak přímka l x,h leží v aff X a její průsečík s relativní hranicí množiny X je dvouprvková množina {x 1, x 2 }. Tedy l x,h X = conv {x 1, x 2 }. Odtud dostáváme x conv {x 1, x 2 } conv (r X) conv (conv E(X)) = conv E(X), tj. ri X E(X) a celkem tedy X = r X ri X conv E(X). 2.4 Kombinatorické a topologické vlastnosti konvexních množin V tomto odstavci si uvedeme dvě tvrzení z teorie konvexních množin, která sice nemají bezprostřední souvislost s optimalizačními úvahami z dalších kapitol, jsou však z teoretického i historického hlediska důležitá. 19

25 Nejprve dokažme jedno pomocné tvrzení z lineární algebry. Připomeňme, že body x 1,..., x m R n se nazývají afinně závislé, jestliže existují λ 1,...,λ m R, ne všechna současně rovna nule taková, že m λ i = 0 a m λ ix i = 0. Lemma Body x 1,..., x m R n jsou afinně závislé, právě když body x 2 x 1,..., x m x 1 jsou lineárně závislé. Důkaz. : Nechť jsou body x 1,..., x m afinně závislé, tj. existují λ 1,..., λ m tak, že m λ i = 0 a m λ ix i = 0, přičemž ne všechna λ 1,..., λ m jsou nulová. Pak 0 = λ i x i x 1 m λ i = λ i (x i x 1 ), tj. x i x 1, i = 2,..., m jsou lineárně závislé. : Je-li m i=2 µ i(x i x 1 ) = 0 a ne všechna µ i jsou nulová, položme λ 1 = m i=2 µ i, λ i = µ i, i = 2,..., m. Pak m λ i = 0, m λ ix i = 0 a ne všechna λ i jsou nulová, takže body x 1,, x n jsou afinně závislé. Věta (Hellyova věta) Nechť m n + 1, X 1,..., X m R n jsou konvexní a každá (n + 1)-tice z těchto množin má neprázdný průnik. Pak i I X i. Důkaz. Důkaz provedeme indukcí vzhledem k m. Je-li m = n + 1, tvrzení zřejmě platí. Nechť tvrzení platí pro m a m + 1 > n + 1. Dále nechť y 1 X 2 X m+1, y 2 X 1 X 3 X m+1,..., y m+1 X 1 X m přičemž podle indukčního předpokladu jsou všechny tyto průniky neprázdné, tj. taková y i existují. Protože m > n, jsou y 1,..., y m+1 afinně závislé, tedy existují c 1,..., c m+1, taková, že m+1 c iy i = 0 a m+1 c i = 0, kde alespoň jedno c i > 0. Položme x = c c i>0 iy i c c, x = i>0 i c c i<0 iy i c c. i<0 i Pak x x = 0, tj. x = x. Jestliže je c k 0 pro nějaké k {1, }, pak je x konvexní kombinací bodů y 1,..., y k 1, y k+1,..., y m, z nichž každý leží v množině X k. Tedy i x X k. Je-li c k > 0, z téhož důvodu x X k, tj. i v tomto případě x X k. Protože k {1,..., m + 1} bylo libovolné, x m+1 X i. Tím je tvrzení dokázáno. Poznámka (i) S Hellyovou větou se můžeme ve středoškolské matematice setkat v této elementární modifikaci (která však umožňuje formulaci řady velmi zajímavých příkladů, viz. [11, 3] ). Jsou-li K 1,..., K m, m 3, konvexní mnohoúhelníky v rovině, přičemž každá trojice těchto mnohoúhelníků má neprázdný průnik, pak existuje x 0 m K i. (ii) Uvažujeme-li nekonečný systém konvexních množin, tvrzení Hellyovy věty obecně neplatí. Stačí uvažovat systém množin K i = {(x, y) R 2 x i, y R} pro i N. Platí však toto modifikované tvrzení, viz. např. [21, str. 118]. 20

26 Věta Nechť K = {K i, i I} je systém (obecně nekonečný) konvexních a kompaktních množin v R n. Má-li libovolný (n + 1)-prvkový podsystém systému K neprázdný průnik, pak i I K i. Nyní uveďme základní topologické vlastnosti konvexních množin. Nechť X R n je konvexní množina a předpokládejme, že v sobě obsahuje jednotkovou kouli se středem v počátku B n = {x R n : x 1} a označme S n 1 jednotkovou sféru, tj. hranici B n. Definujme tzv. hraniční zobrazení b : X S n 1 předpisem b(x) = x x. Připomeňme, že zobrazení mezi dvěma metrickými (topologickými) prostory nazveme homeomorfismem, jestliže toto zobrazení i zobrazení k němu inverzní (o němž se předpokládá, že existuje) jsou spojitá. Lemma Hraniční zobrazení b je homeomorfismem mezi X a S n 1. Důkaz. Nejprve si všimněme, že b je navyájem jednoznačné zobrazení. Vskutku, je-li x S n 1, nechť ω R je největší číslo, pro něž ωx X. Pak ωx je hraniční bod množiny X (v opačném případě se dostáváme do sporu s definicí čísla ω) a tento bod je jediným hraničním bodem X, který je skalárním násobkem x S n 1. Protože y 1 pro každý hraniční bod X a euklidovská norma je spojité zobrazení, dostáváme spojitost zobrazení b. Spojitost zobrazení b 1 plyne z faktu, že inverzní zobrazení k zobrazení zobrazujícímu kompaktní množinu na kompaktní množinu je spojité. Věta Nechť X R n je konvexní, kompaktní a dim X = n. Pak X je homeomorfní jednotkové kouli B n = {x R n : x 1} v R n. Důkaz. Protože dim X = n, je podle Věty 2.13 int X, tj. X obsahuje kouli v R n o dostatečně malém poloměru. Vzhledem k tomu, že posunutí a skalární násobení nenulovou konstantou jsou homeomorfismy v R n, bez újmy na obecnosti můžeme předpokládat, že X obsahuje jednotkovou kouli B n. Homeomorfismus f : B n X nyní definujme pomocí hraničního zobrazení takto: { b f(x) = 1 (x/ x ) pro x 0 0 pro x = 0. Ověření skutečnosti, že toto zobrazení je vskutku homeomorfismus přenecháme čtenáři jako cvičení. Poznámka Předchozí věty nám vlasně říkají, že libovolná konvexní množina obsahující ve svém vnitřku počátek definuje normu na R n, která je ekvivalentní obvyklé euklidovské normě. Tuto normu lze definovat vztahem x X = inf{α R + : α 1 x X}. Na závěr tohoto odstavce uveďme jedno důležité tvrzení týkající se spojitých zobrazení konvexních a kompaktních množin. Uvedeme jej zde bez důkazu, protože ten vyžaduje zavedení řady nových pojmů (především z algebraické topologie), které přesahují rámec toho textu. Elemenární metodu důkazu (technicky však poměrně komplikovanou), založenou na tzv. Spernerově kombinatorickém lemmatu lze nalézt např. v [21]. 21

27 Věta (Brouwerova věta o pevném bodu). Nechť X R n je konvexní a kompaktní množina f : X X je spojité zobrazení. Pak má f alespoň jeden pevný bod, tj existuje x 0 X, pro něž f(x 0 ) = x 0. Poznámka V předchozích odstavcích jsou uvedeny pouze základní vlasnosti konvexních množin. Zcela stranou zůstaly například tzv. polární množiny ke konvexním množinám a některé další důležité pojmy z konvexní analýzy. Obsáhlé pojednání věnované dalším vlasnostem konvexních množin lze nalézt v [20]. 2.5 Cvičení 1. Nechť A, B jsou konvexní. Rozhodněte, zda platí conv (A B) = λ [0,1] (λa + (1 λ)b). 2. Nechť A R n je konvexní. Rozhodněte, zda platí ri λx = λ ri X pro každé λ R. 3. Dokažte tuto modifikaci Caratheodoryho věty: Nechť x conv X. Pak existují x 1,..., x n X a λ 1,..., λ n 0, n λ i = 1 (tj. o jedno méně než v klasické Caratheodoryho větě) taková, že x = n λ ix i. 4. Nechť X 1,..., x m R n jsou libovolné množiny. Dokažte následující identity ( m ) ( m ) conv X i = conv X i, aff X i = aff X i, ale cone X i = cone ( m X i ). 5. Nechť X 1, X 2 R n jsou libovolné, přičemž sup p, x 1 = inf p, x 2 x 1 X x 2 X 2 pro každé p R n. Pak conv X 1 = conv X 2. Dokažte. 6. Nechť X, Y R n. Definujme X Y = λ [0,1] {λx + (1 λ)y }. Jsou-li X, Y konvexní, je i X Y konvexní. Dokažte. 7. Nechť K 1, K 2 jsou konvexní kužely. Pak K 1 K 2 = K 1 K 2. Dokažte. 8. Nechť X R n je konvexní. Pak platí aff (ri X) = aff X. Dokažte. 9. Nechť X R n. Množina X := {y R n : y, x 1 pro každé x X} se nazývá sdružená (někdy také duální, konjugovaná) k množině X. Dokažte tato tvrzení: 22

28 (i) Pro libovolnou X R n je X = conv (X {0}). (ii) Je-li X kužel v R n, pak X := {y R n : y, x = 0 pro každé x X} 10. Dokažte, že pro konvexní množinu X R n je projekce X tzv. neexpanzivní zobrazení, tj. X (x) X (y) x y pro všechna x, y R n. 11. Dokažte, že pro konvexní množinu X R n platí toto tvrzení: dim X = n právě když int X. 12. Nechť X R n je uzavřená. Dokažte toto tvrzení: X je konvexní právě když existuje λ (0, 1) takové, že λx+(1 λ)y X pro každé x, y X, tj. s každými dvěma body z X leží v X i bod, který dělí úsečku určenou body x, y v poměru λ. 23

29 24

30 Kapitola 3 Konvexní funkce Konvexní funkce hrají klíčovou roli v teorii optimalizace, neboť v praktických úlohách je většina minimalizovaných funkcí právě konvexní (resp. konkávní v případě maximalizace). Tato kapitola obsahuje souhrn základních vlastností konvexních funkcí v rozsahu prezentovaném ve standardních monografiích věnovaných matematickému programování. 3.1 Základní vlastnosti konvexních funkcí Definice 3.1. Nechť X R n je konvexní množina, funkce f : X R se nazývá (i) konvexní na X, je-li pro všechna x 1, x 2 X a každé λ [0, 1] f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ); (3.1) (ii) ostře konvexní na X, platí-li pro každé λ (0, 1) a x 1 x 2 ve vztahu (3.1) ostrá nerovnost; (iii) silně konvexní na X s konstantou silné konvexnosti ϑ > 0, je-li f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ) (3.2) ϑλ(1 λ) x 1 x 2 2. Poznámka 3.2. (i) V některých monografiích věnovaných konvexní analýze, viz. např. [20, 21], se často vyšetřuje konvexnost funkcí, které mohou nabývat i nevlastních hodnot ±, tj. funkcí f : X [, ]. Definiční vztah pro toto obecnější pojetí konvexních funkcí je stejný jako (3.1), přičemž se používá obvyklé konvence pro počítání s nevlastními hodnotami (např. + a = pro a R, a = pro a > 0, a = pro a < 0, atd.). Tato zobecněná definice je výhodná při studiu některých speciálních vlastností konvexních funkcí, v tomto textu se však až na malé výjimky omezíme na funkce nabývající pouze konečných hodnot. (ii) Jako příklady konvexních funkcí uveďme např. funkce f(x) = c, x, f(x) = x 4 = x, x 2, f(x) = x 2. Je zřejmé, že lineární funkce f(x) = 25

31 c, x je konvexní na R n, není však ostře konvexní ani silně konvexní, neboť v definičním vztahu (3.1) platí vždy rovnost. Důkaz konvexnosti funkce f(x) = x 2 stejně jako rozdíl mezi silnou a ostrou konvexností uvedeme později. Rovněž ukážeme, že funkce f(x) = x 4 není silně konvexní na množinách obsahujících počátek, tj. bod x = 0. Základní vztah, který umožňuje řadu vlastností konvexních množin z předchozí kapitoly využít ke studiu konvexních funkcí uvádí následující věta. Věta 3.3. Nechť X R n je konvexní a f : X R. Funkce f je konvexní na X právě tehdy, když její epigraf (nadgraf) je konvexní množina. epi f = {[x, β] R n+1 : x X, β f(x)} Důkaz. : Nechť [x 1, β 1 ], [x 2, β 2 ] epi f, tj. β 1 f(x 1 ), β 2 f(x 2 ) a nechť λ [0, 1]. Pak a platí λ[x 1, β 1 ] + (1 λ)[x 2, β 2 ] = [λx 1 + (1 λ)x 2, λβ 1 + (1 λ)β 2 ] λβ 1 + (1 λ)β 2 λf(x 1 ) + (1 λ)f(x 2 ) f(λx 1 + (1 λ)x 2 ), tj. λ[x 1, β 1 ] + (1 λ)[x 2, β 2 ] epi f, což znamená, že epi f je konvexní množina. : Nechť x 1, x 2 X, λ [0, 1], pak [x 1, f(x 1 )], [x 2, f(x 2 )] epi f což je konvexní množina, tedy λ[x 1, f(x 1 )] + (1 λ)[x 2, f(x 2 )] = [λx 1 + (1 λ)x 2, λf(x 1 ) + (1 λ)f(x 2 )], je prvkem epi f, tj. tedy f je konvexní. λf(x 1 ) + (1 λ)f(x 2 ) f(λx 1 + (1 λ)x 2 ), Dříve než začneme studovat základní vlastnosti konvexních funkcí, uvedeme tvrzení, která motivují vyšetřování konvexních funkcí z hlediska jejich extremálních vlastností. Věta 3.4. Nechť funkce f je konvexní na konvexní množině X R n. Pak: (i) Libovolné lokální minimum funkce f na X je i globálním minimem. (ii) Množina bodů X, v nichž funkce f nabývá na X svého minima je konvexní. Je-li navíc funkce f na X ostře konvexní, je tato množina nejvýše jednoprvková. 26

32 (iii) je-li funkce f diferencovatelná na X a x X jej jejím stacionárním bodem, tj. f (x ) = 0, pak x je bodem globálního minima f na X. Důkaz. (i) Nechť x je lokálním minimem f na X, tj. existuje ε > 0 takové, že f(x) f(x ) pro x spňující x x ε. Nechť nyní x X je libovolné. Je-li x x ε, není co dokazovat, předpokladejme tedy, že x x > ε. Označme ˆx bod, který je průsečíkem úsečky spojující x a x se sférou x x = ε, tj. pro λ = 1/ x x platí ˆx = λx + (1 λ)x. Pak ˆx x = ε, a tedy f(x ) f(ˆx) = f(λx + (1 λ)x ) λf(x) + (1 λ)f(x ). Otud f(x) f(x ), což znamená, že x je bodem gobálního minima funkce f na X. (ii) Jestliže funkce f nenabývá svého minima na X, je tvrzení triviální, neboť prázdná množina je konvexní. jestliže existují x 1, x 2 X taková, že f(x 1 ) = f(x 2 ) = f inf x X f(x), pak pro libovolné λ [0, 1] f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ) = f. (3.3) Z definice f je zřejmé, že v (3.3) musí platiti rovnost, což dokazuje tvrzení o konvexnosti množiny bodů, v nichž je nabyto minima. Je-li f navíc f ostře konvexní, rovnost v (3.3) nastane pro λ (0, 1) pouze je-li x 1 = x 2. (iii) Z definice diferencovatelnosti funkce f plyne, že pro x, x X a λ (0, 1] platí f(λx+(1 λ)x ) = f(x +λ(x x )) = f (x ), λ(x x ) α(λ x x ), (3.4) kde funkce α splňuje lim λ 0 α(λ x x )/λ = 0. Současně, z konvexnosti f plyne f(λx + (1 λ)x ) λf(x) + (1 λ)f(x ). Kombinací tohoto vztahu s (3.4) (a využitím, že f (x ) = 0) dostáváme f(x) f(x ) 1 λ [f(x + λ(x x )) f(x )] = = 1 λ [ f (x ), λ(x x ) + α(λ(x x )] = α(λ(x x )). λ Limitním přechodem λ 0+ dostáváme požadované tvrzení. Následující dvě věty jsou uvedeny bez důkazu. První plyne téměř bezprostředně z definice konvexní funkce a druhou lze dokázat stejným způsobem jako Větu 2.6 z předchozí kapitole věnované konvexním množinám. Věta 3.5. Nechť X R n je konvexní, f 1,..., f m : X R jsou konvexní na X a α 1,..., α m 0. Pak funkce α 1 f α m f m je konvexní na X. 27

33 Věta 3.6. (Jensenova nerovnost). Nechť množina X R n je konvexní, f : X R je konvexní funkce, x 1,..., x m X, λ 1,..., λ m 0 a m λ i = 1. Pak platí ( m ) f λ i x i λ i f(x i ). (3.5) Je-li funkce f navíc ostře konvexní a λ i (0, 1), i = 1,..., m, pak rovnost v (3.5) nastane právě když x 1 = = x m. Důkaz. V důkazu tohoto tvrzení postupujeme podobně jako v případě Věty 2.6 matematickou indukcí, proto přeskočíme některé detaily. Jeli m = 2, je dokazovaná nerovnost nerovností z definice konvexní funkce. Předpokládejme, že tvrzení platí pro m > 2. Pak za předpokladu λ m+1 1 (jinak je tvrzení triviální) f(λ 1 x λ m x m + λ m+1 ) = f ( (1 λ m+1 ) [ λ 1 x 1 1 λ m λ mx m ] ) + λm+1 x m+1 1 λ m+1 f((1 λ m+1 ) x + λ m+1 x m+1 ) (1 λ m+1 )f( x) + λ m+1 f(x m+1 ) λ 1 f(x 1 ) +... λ m f(x m ) + λ m+1 f(x m+1 ), kde x = λ 1x 1 1 λ m λmxm 1 λ m+1. Nyní dokážeme zbývající část tvrzení týkající se ostré konvexity a rovnosti v (3.5). Je-li x 1 = = x m =: x, pak evidentně f(λ 1 x λ m x m ) = f ( x = ( ) m ) λ i = f(x) = f(x) λ i = λ i f(x) = λ i f(x i ) Opačnou implikaci dokážeme opět indukcí. Pro m = 2 a λ i (0, 1), λ 1 + λ 2 = 1, rovnost f(λ 1 x 1 + λ 2 x 2 ) = λ 1 f(x 1 ) + λ 2 f(x 2 ) může nastat pouze, když x 1 = x 2 (viz definice ostré konvexity). Předpokládejme, že tvrzení platí pro m N a nechť f (m+1 m+1 ) λ i x i = 28 λ i f(x i ), (3.6)

34 kde λ 1,..., λ m+1 (0, 1). Označme x = m λ 1 1 λ m+1 x i. Pak platí f(λ 1 x λ m x m + λ m+1 x m+1 ) = = f((1 λ m+1 ) x + λ m+1 x m+1 ) (1 λ m+1 )f ( λ 1 λ m ) x x m +λm+1 f(x m+1 ) 1 λ m+1 1 λ m+1 λ 1 f(x 1 ) + + λ m f(x m ) + λ m+1 f(x m+1 ), což vzhledem k (3.6) znamená, že obě nerovnosti v předchozím výpočtu se realizují jako rovnosti. První z nich implikuje x = x m+1 (definice ostré konvexity) a druhá implikuje x 1 = = x m (indukční předpoklad), což celkem dává x 1 = = x m = x m+1. Jako důsledek předchozí věty dostáváme řadu středoškolských nerovností, viz [11], zejména nerovnost mezi algebraickým a geometrickým průměrem m-tic kladných čísel. Z diferenciálního počtu funkcí jedné proměnné je známo, že funkce ln x je konvexní na (0, ) (neboť ( ln x) = 1 > 0, x 2 viz [8, str. 125]), tedy pro libovolná x 1,..., x m > 0 a λ 1,..., λ m 0 taková, že m λ i = 1 platí ( m ) ( m ) ln λ i x i λ i ln x i = ln, odtud x λ i i λ i x i x λ 1 1 xλn n (3.7) (v některé literatuře bývá termín Jensenova nerovnost používán právě pro tuto nerovnost). Zejména, je-li λ i = 1/m, i = 1,..., m, dostáváme nerovnost x x m m m x 1... x m, což je známá nerovnost mezi algebraickým a geometrickým průměrem (tzv. AG-nerovnost). Později ukážeme, že funkce ln x je ostře konvexní a tento fakt implikuje, že v rovnost v poslední nerovnosti nastane právě když x 1 = = x m. Věta 3.7. Nechť X R n je konvexní, I je libovolná indexová množina, f i : X R jsou konvexní pro i I a pro x X je množina {f i (x), i I} shora ohraničená. Pak je funkce konvexní na X. f(x) = sup f i (x) i I 29