M5170: Matematické programování

M5170: Matematické programování Petr Zemánek (Masarykova Univerzita, Brno) Kapitola 2: Základy konvexní analýzy (verze: 28. ledna 2019) Titulní strana Konvexnost má ohromně bohatou strukturu a početné využití. Na druhou stranu mohou být téměř všechny konvexní pojmy vysvětleny pomocí dvoudimenzionálního obrázku. Alexandre Barvinok, A Course in Convexity, AMS (2002). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 2 / 136

Konvexní množiny 2.1 Konvexní množiny 2.2 Konvexní funkce 2.3 Oddělování konvexních množin a jeho důsledky 2.4 Vlastnosti konvexních funkcí 2.5 Subgradient a subdiferenciál 2.6 Fenchelova transformace Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 3 / 136 Konvexní množiny Definice 2.1.1 Nechť X R n. Množina X se nazývá konvexní, jestliže pro všechna x 1, x 2 X a pro každé λ [0, 1] platí λx 1 + (1 λ)x 2 X. PObrázek. X = je konvexní? Konvexnost vs. sjednocení, průniku a sčítání (odčítání)? Věta 2.1.2 (i) Nechť I je libovolná indexová množina a množiny X i R n jsou konvexní pro všechna i I. Pak množina i I X i je také konvexní. (ii) Nechť X 1,..., X m R n jsou konvexní množiny a α 1,..., α m R. Pak množina { } α 1 X 1 + + α m X m := x R n x = α i x i pro nějaká x i X i je opět konvexní. Co je X X? Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 4 / 136

Konvexní množiny Důkaz Věty 2.1.2 (i) Nechť I je konečná nebo nekonečná indexová množina a nechť X i jsou konvexní množiny pro všechna i I. Je-li množina X := i I X i = nebo jednoprvková, pak je tvrzení triviální. Uvažme tedy alespoň dvouprvkovou množinu X. Nechť x 1, x 2 X jsou libovolné. Pak nutně x 1, x 2 X i pro všechna i I. Jenže všechny množiny X i jsou konvexní, takže nutně x := λx 1 + (1 λ)x 2 X i pro všechna λ [0, 1] a všechna i I. To ale znamená, že také x X, tj. i I X i je konvexní. (ii) Nechť X je konvexní množina. Nejdříve ukážeme, že také množina Z = αx := { z R n z = αx pro nějaké x X } je konvexní pro libovolné α R. Je-li X = nebo jednoprvková, je tvrzení triviální. Uvažme tedy alespoň dvouprvkovou množinu X. Jestliže z 1, z 2 αx jsou libovolné, pak z 1 = αx 1 a z 2 = αx 2 pro nějaké x 1, x 2 X. Proto pro každé λ [0, 1] máme tj. αx je konvexní. λz 1 + (1 λ)z 2 = α [λx 1 + (1 λ)x 2 ] αx = Z, }{{} X Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 5 / 136 Důkaz Věty 2.1.2 (pokr.) Konvexní množiny Nechť nyní X, Y jsou konvexní množiny. Ukážeme, že také množina Z = X + Y := { z R n z = x + y pro nějaké x X a y Y } je konvexní. Jestliže X, Y jsou nejvýše jednoprvkové, je tvrzení triviální. Uvažme tedy, že alespoň jedna z těchto množin je alespoň dvouprvková. Jestliže z 1, z 2 X + Y, pak z 1 = x 1 + y 1 a z 2 = x 2 + y 2 pro nějaká x 1, x 2 X a y 1, y 2 Y. Proto pro každé λ [0, 1] máme λz 1 + (1 λ)z 2 = λ(x 1 + y 1 ) + (1 λ)(x 2 + y 2 ) = [λx 1 + (1 λ)x 2 ] }{{} X + [λy 1 + (1 λ)y 2 ] X + Y = Z, }{{} Y tj. X + Y je konvexní. Snadnou úvahou pak obdržíme samotné tvrzení věty. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 6 / 136

Konvexní množiny Definice 2.1.3 Množina X R n se nazývá (i) kužel, jestliže pro každé x X a pro každé λ [0, ) je také λx X; (ii) konvexní kužel, jestliže je množina X konvexní a současně kuželem; (iii) afinní (též lineární varieta), jestliže pro každé x 1, x 2 X a pro každé λ R platí λx 1 + (1 λ)x 2 X. PPříklady a další komentář... Definice 2.1.4 Nechť x 1,..., x m R n. Lineární kombinace λ 1 x 1 + +λ m x m se nazývá (i) konvexní, jestliže λ 1,..., λ m 0 a m λ i = 1; (ii) nezáporná, jestliže λ 1,..., λ m 0; (iii) afinní, jestliže m λ i = 1. PObrázek. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 7 / 136 Konvexní množiny S využitím Definice 2.1.4 ihned dostaneme: Množina obsahující všechny lineární kombinace libovolných dvou svých bodů (tj. s libovolnými dvěma body obsahuje i přímku procházející těmito body a počátek) je vektorový (lineární) prostor. Množina obsahující všechny afinní kombinace libovolných dvou svých bodů (tj. s libovolnými dvěma body obsahuje i přímku procházející těmito body) je afinní. Množina obsahující všechny nezáporné kombinace libovolných dvou svých bodů (tj. s libovolnými dvěma body obsahuje i celou výseč určenou polopřímkami vycházejícími z počátku a procházejícími těmito body) je konvexní kužel. Množina obsahující všechny konvexní kombinace libovolných dvou svých bodů (tj. s libovolnými dvěma body obsahuje i úsečku spojující tyto body) je konvexní. A pro více než dvojice? Věta 2.1.5 Nechť X R n. Množina X je konvexní (konvexní kužel/afinní) právě tehdy, když libovolná konvexní (nezáporná/afinní) kombinace prvků z X je opět prvkem množiny X, tj. je uzavřená na všechny konvexní (nezáporné/afinní) kombinace. Technicistní (vnitřní) vs. umělecký (vnější) popis konvexních množin. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 8 / 136

Konvexní množiny Důkaz Věty 2.1.5 Tvrzení dokážeme pouze pro konvexní kombinace, neboť zbývající dvě varianty lze dokázat s použitím analogických argumentů. = Triviální. = Nechť množina X je konvexní. Je-li X = nebo jednoprvková je tvrzení triviální. Nechť tedy X obsahuje alespoň dva různé body. Tvrzení dokážeme pomocí matematické indukce. Z definice ihned vyplývá (viz výše), že libovolná konvexní kombinace prvků z X je opět v X pro m = 2. Připusťme, že každá konvexní kombinace m-tice prvků z X je opět v X pro nějaké m NK{1}. Uvažme libovolnou konvexní kombinaci m+1 prvků z X, tj. x := m+1 λ i x i pro libovolná x 1,..., x m+1 X a λ 1,..., λ m+1 0 splňující m+1 λ i = 1. Je-li λ m+1 = 1, pak λ 1 = = λ m = 0 a zjevně x X. Je-li λ m+1 [0, 1), pak můžeme psát Ovšem m λ i 1 λ m+1 x = (1 λ m+1 ) = 1 a m λ i 1 λ m+1 x i + λ m+1 x m+1. λ 1 1 λ m+1 x i X podle indukčního předpokladu. Pak ale x máme vyjádřeno jako konvexní kombinaci dvou bodů z X, z čehož díky konvexnosti X ihned vyplývá x X, což dokazuje, že X je konvexní množina. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 9 / 136 Konvexní množiny Definice 2.1.6 Nechť X R n. (i) Průnik všech konvexních množin obsahujících množinu X se nazývá konvexní obal množiny X a značí se conv X. (ii) Průnik všech konvexních kuželů obsahujících množinu X se nazývá kónický (kuželový) obal množiny X a značí se cone X. (iii) Průnik všech afinních množin obsahujících množinu X se nazývá afinní obal množiny X a značí se aff X. Jeho zaměření se nazývá lineární obal množiny X a značí se Lin X. Dimenze afinního obalu množiny X se značí dim X a klademe dim X := dim Lin X. Lin vs. span. Věta 2.1.2(i) & Definice 2.1.6... PObrázek. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 10 / 136

Konvexní množiny Věta 2.1.7 Nechť X R n. Pak platí conv X = cone X = aff X = { x R n x = { x R n x = { x R n x = λ i x i pro libovolné m N a x 1,..., x m X, λ 1,..., λ m 0, λ i x i pro libovolné m N a } λ i = 1, } x 1,..., x m X, λ 1,..., λ m 0, λ i x i pro libovolné m N a x 1,..., x m X, } λ i = 1. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 11 / 136 Důkaz Věty 2.1.7 Konvexní množiny Opět dokážeme pouze první část, neboť zbývající dvě lze ukázat pomocí analogických argumentů. Nechť { Z := x R n x = λ i x i pro libovolné m N a x 1,..., x m X, λ 1,..., λ m 0, } λ i = 1. Postupně ukážeme, že conv X Z a conv X Z, z čeho ihned vyplyne tvrzení věty. Je zřejmé, že X Z. Proto conv X conv Z. Jenže množina Z je konvexní (!!V.2.1.5!! X vs. Z). Vskutku, jsou-li z 1, z 2 Z libovolné, tj. z 1 = α i x i & z 2 = k β i y i pro nějaká m, k N, x 1,..., x m, y 1,..., y k X, α 1,..., α m, β 1,..., β k 0 splňující m α i = 1 = k β i. BÚNO můžeme předpokládat, že m k. Proto položme α m+1 = = α k = 0. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 12 / 136

Konvexní množiny Důkaz Věty 2.1.7 (pokr.) Pak pro libovolné λ [0, 1] máme z := λz 1 + (1 λ)z 2 = k (λα i x i + (1 λ)β i y i ) Z podle definice množiny Z, neboť λα i, (1 λ)β i 0 a současně k (λα i + (1 λ)β i ) = λ + (1 λ) = 1. Tedy Z = conv Z, a tudíž conv X conv Z = Z. Nechť Y je libovolná konvexní množina taková, že X Y. Podle Věty 2.1.5 je libovolná konvexní kombinace prvků z Y prvkem Y, což vzhledem k inkluzi X Y implikuje Z Y. Ovšem Y X byla zvolena libovolně, takže nutně platí Z Y X Y konvexní Y Dfn. 2.1.6 = conv X. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 13 / 136 Konvexní množiny Je skutečně skutečně nutné charakterizovat conv X pomocí všech možných m-tic? Lemma 2.1.8 Nechť X R n a x cone X je libovolné. Pak existují body x 1,..., x n X a čísla λ 1,..., λ n 0 taková, že x = λ 1 x 1 + + λ n x n. Důkaz. Nechť x cone X je libovolné. Podle Věty 2.1.7 existuje m N, body x 1,..., x m X a čísla λ 1,..., λ m 0 taková, že x = m λ i x i. Jsou-li body x 1,..., x m lineárně nezávislé, pak nutně m n a tvrzení věty platí. Je-li m > n, pak jsou tyto body nutně lineárně závislé. Proto existují µ 1,..., µ m R taková, že m µ i x i = 0, přičemž alespoň jedno µ i > 0. Nechť α R je libovolné. Potom x = λ i x i α µ i x i = (λ i αµ i )x i. (2.1.1) Zvolme nyní α := min µi >0 λ i. Pak λ µ i αµ i 0 pro všechny indexy i i {1,..., m}, přičemž alespoň pro jeden index i platí λ i αµ i = 0, tj. podle (2.1.1) lze x vyjádřit jako nezápornou kombinaci nejvýše m 1 bodů. Je-li m 1 = n, je důkaz hotov. V opačném případě můžeme celou konstrukci zopakovat ještě (m n 1)-krát, tj. dokud nedostaneme x jako nezápornou kombinaci nejvýše n bodů. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 14 / 136

Konvexní množiny Z předchozího tvrzení snadno získáme analogický výsledek pro konvexní obal. Věta 2.1.9 (Carathéodory) Nechť X R n. Každý bod konvexního obalu conv X může být vyjádřen jako konvexní kombinace nejvýše n + 1 prvků množiny X, tj. pro x conv X existují x 1..., x n+1 X a λ 1,..., λ n+1 0 splňující n+1 λ i = 1 taková, že x = λ 1 x 1 + + λ n+1 x n+1. Důkaz. Nechť A R n+1 je množina bodů tvaru A := { [x, 1] x X }. Pak platí, že y = [x, 1] cone A právě tehdy, když x conv X. Vskutku, nechť x conv X, tj. x = m λ i x i pro nějaké m N, x 1,..., x m X a λ 1,..., λ m 0 splňující m λ i = 1. Pak [x, 1] cone A, neboť [ m ] [ m ] [x, 1] = λ i x i, 1 = λ i x i, λ i = λ i [x i, 1], což je nezáporná kombinace bodů z A. Naopak, je-li [x, 1] cone A, pak máme [x, 1] = m λ i[x i, 1] pro nějaké m N, x 1,..., x m X a λ 1,..., λ m 0, tj. x = m λ i x i a m λ i = 1 neboli x conv X. Jenže my navíc z Lemma 2.1.8 víme, že nám k předchozímu vyjádření stačí nejvýše n + 1 bodů, čímž je tvrzení dokázáno. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 15 / 136 Konvexní množiny Konvexní obal vs. kompaktnost? A jiné vlastnosti? Důsledek 2.1.10 Nechť X R n je kompaktní množina. Pak conv X je také kompaktní. Důkaz. Označme Λ := { λ R n+1 λ 1,..., λ n+1 0, Y := Λ X n+1 R (n+1)2 a definujme zobrazení F : Y R n předpisem F(λ, x 1,..., x n+1 ) := n+1 n+1 λ i x i. λ i = 1 }, Množina Λ je kompaktní (určitě?), a tudíž množina Y je také kompaktní (jakožto kartézský součin kompaktních množin, viz Tikhonovova věta /E. Čech první úplný důkaz/). Podle Věty 2.1.9 platí conv X = { F(λ, x 1,..., x n+1 ) λ Λ, x i X } = F(Y). Jelikož F je spojité zobrazení, je také množina conv X kompaktní (jakožto spojitý obraz kompaktní množiny). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 16 / 136

Konvexní množiny Vnitřní bod? Definice 2.1.11 Nechť X R n. Bod x X se nazývá relativně vnitřním bodem množiny X, jestliže existuje okolí O(x ) bodu x takové, že O(x ) aff X X. Množinu všech relativně vnitřních bodů množiny X nazýváme relativním vnitřkem množiny X a značíme ri X. Množina r X := XK ri X se nazývá relativní hranice množiny X. PObrázek. ri X vs. int X. X 1 X 2 = int X 1 int X 2 a ri X 1 vs. ri X 2? ri X pro afinní množinu X? Základní vztah: ri X X X aff X ( vs. ). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 17 / 136 Konvexní množiny Věta 2.1.12 Nechť X R n je neprázdná konvexní množina. (i) Pokud x ri X a y X, pak pro každé λ (0, 1] platí (1 λ)y + λx ri X. (ii) Množina ri X je neprázdná, konvexní a aff X = aff(ri X). Je-li navíc dim X = m > 0, pak existují z 0,..., z m ri X taková, že z 1 z 0,..., z m z 0 tvoří bázi Lin X. (iii) Platí x ri X právě tehdy, když pro každé x X existuje γ > 1 takové, že x + (γ 1)(x x) = γx + (1 γ) x X. (iv) Platí X = ri X, ri X = ri X, množina X je konvexní, aff X = aff X a je-li Y jiná konvexní množina, pak následující tvrzení jsou ekvivalentní (a) ri X = ri Y, (b) X = Y, (c) ri X Y X. Důsledky... Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 18 / 136

Konvexní množiny Důkaz Věty 2.1.12 (i) Nechť y X. Protože x ri X, existuje otevřená koule B := { z R n z x < ε } taková, že B aff X X. Pro λ (0, 1] označme x λ := λx + (1 λ)y X a B λ := { z R n z x λ < λε } (viz Pobrázek). Lze vidět, že každé x B λ aff X je konvexní kombinací bodu y X a nějakého bodu x B aff X X. Ovšem X je konvexní, takže x X, a tedy nutně B λ aff X X, tj. x λ ri X. Nechť nyní y X, tj. y XKX. K tomu, abychom ukázali, že pro všechna λ (0, 1] platí x λ := λx + (1 λ)y ri X, uvažme posloupnost {x k } X takovou, že x k y (y X!). Označme x k,λ := λx + (1 λ)x k X. Podobně jako v předchozí části plyne odtud, že množina {y R n z x k,λ < λε} aff X X pro všechna k, kde ε je opět takové, že otevřená koule B := { z R n z x < ε } splňuje B aff X X. Protože x k,λ x λ, pro k dostatečně velká (taková, aby x k,λ x λ < λε/2) platí { z R n z x λ < λε/2 } { z R n z x k,λ < λε }, tj. koule o poloměru λε/2 se středem v x λ je obsažena ve všech koulích o poloměru λε a středy x k,λ pro dostatečně velká k. Odtud plyne, že { z R n z x λ < λε/2 } aff X { z R n z x k,λ < λε } aff X X, což dokazuje, že x λ ri X. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 19 / 136 Důkaz Věty 2.1.12 (pokr.) Konvexní množiny (ii) BÚNO můžeme předpokládat, že 0 X. V opačném případě aplikujeme celý postup na množinu Y := { y R n y = x x 0 pro všechna x X }, tj. Y = X x 0, kde x 0 X je libovolné. Pak jistě 0 Y. Jelikož 0 X, platí aff X = Lin X, tj. aff X je vektorový podprostor. Nechť dim Lin X = m. Je-li m = 0, pak X = aff X = {0} jsou jednobodové množiny a tento bod je současně (jediným) relativně vnitřním bodem. Nechť m > 0. Pak můžeme najít takovou m-tici lineárně nezávislých bodů x 1,..., x m X, že span{x 1,..., x m } = aff X = Lin X. Tedy x 1,..., x m tvoří bázi aff X. Označme množiny Λ := { λ R m λ 1,..., λ m > 0, X := { x R n x = λ i < 1 }, λ i x i, λ Λ }, tj. je-li x X, pak x = A λ, kde A = (x 1,..., x m ) R n m a λ Λ (vizpobrázek). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 20 / 136

Konvexní množiny Důkaz Věty 2.1.12 (pokr.) Je zřejmé, že X conv X = X. Ukážeme, že množina X je relativně otevřená, tj. ri X = X, tj. pro každé x X existuje otevřené okolí O( x) takové, že O( x) aff X X. Zafixujme x X a nechť x aff XK{ x} je libovolné. Potom x = A λ & x = Aλ, kde λ Λ a λ R m, neboť sloupce matice A tvoří bázi aff X. Protože tyto sloupce jsou lineárně nezávislé, je matice A A symetrická a pozitivně definitní. Proto existuje číslo γ > 0, které nezávisí na x a x a platí x x 2 = (λ λ) A A(λ λ) γ λ λ 2. (2.1.2) Z tohoto odhadu plyne, že pokud zvolené x aff X leží uvnitř dostatečně malé koule se středem v x, tj. x O( x) aff X, pak také λ Λ (neboť Λ je otevřená množina), z čehož plyne x X (podle definice X). Tudíž O( x) aff X X X, tj. x ri X. Jelikož x X byl zvolen libovolně, platí X ri X, a tedy ri X. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 21 / 136 Důkaz Věty 2.1.12 (pokr.) Konvexní množiny Konvexnost ri X plyne z části (i). Pro důkaz poslední části uvažme body z 0 = λ x i, z i = z 0 + λx i, kde i {1,..., m} a λ (0, 1) je takové, že λ(m + 1) < 1. Pak z 0,..., z m X (z definice X), a jelikož X ri X dle předchozí části, máme také z 0,..., z m ri X. Navíc platí z i z 0 = λx i pro každé i {1,..., m}. Protože x 1,..., x m tvoří bázi aff X = Lin X, platí totéž o z 1 z 0,..., z m z 0. (iii) Jestliže x ri X, pak tvrzení plyne přímo z definice relativně vnitřního bodu (vizpobrázek). Naopak, nechť x X má vlastnost uvedenou v tvrzení. Ukážeme, že x ri X. Podle části (ii) existuje x ri X. Předpokládejme, že x x, protože v opačném případě je důkaz hotov. Jelikož x X, existuje podle předpokladů γ > 1 takové, že y := x + (γ 1)(x x) X. Tedy platí y = γx + (1 γ) x neboli x = (1 λ)y + λ x, kde λ = (1 1/γ) (0, 1). Pak ale z části (i) ihned vyplývá x ri X. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 22 / 136

Konvexní množiny Důkaz Věty 2.1.12 (pokr.) (iv) Protože ri X X, platí ri X X. Naopak, nechť x X. Ukážeme, že také x ri X. Nechť x ri X je libovolný bod (ten existuje dle části (ii)) a předpokládejme, že x x (v opačném případě jsme hotovi). Podle části (i) máme λx + (1 λ) x ri X pro všechna λ (0, 1]. Pak ale x { } je limitou posloupnosti 1k x+(1 k 1 ) x, jejíž prvky leží v ri X. Pak z definice uzávěru množiny vyplývá x ri X. Inkluze ri X ri X plyne z definice relativně vnitřních bodů a ze skutečnosti aff X = aff X. Pro důkaz opačné inkluze uvažme x ri X. Ukážeme, že x ri X. Podle části (ii) existuje x ri X. Nechť x x (jinak jsme hotovi). Zvolme γ > 1 dostatečně blízko 1 tak, že bod y := x+(γ 1)(x x) X, což lze vzhledem k části (iii). Pak máme x = (1 λ)y+λ x, kde λ = (1 1/γ) (0, 1), a tedy podle části (i) dostáváme x ri X, tj. ri X ri X. Pokud ri X = ri Y, pak (dvojnásobným) aplikováním první části (iv) dostaneme X = Y (X = ri X = ri Y = Y). Podobně pokud X = Y, pak druhá část (iv) implikuje ri X = ri Y (ri X = ri X = ri Y = ri Y). Tedy tvrzení (a) je ekvivalentní s (b). Konečně (a), (b) a vztah ri Y Y Y implikuje (c), neboť ri Y = ri X Y Y = X. Naopak, aplikováním uzávěru a s využitím k N první části (iv) dostaneme X = ri X Y X. Tudíž Y = X, tj. platí (b). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 23 / 136 Konvexní funkce 2.1 Konvexní množiny 2.2 Konvexní funkce 2.3 Oddělování konvexních množin a jeho důsledky 2.4 Vlastnosti konvexních funkcí 2.5 Subgradient a subdiferenciál 2.6 Fenchelova transformace Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 24 / 136

Definice 2.2.1 Konvexní funkce Konvexní funkce v R? Nechť X R n je konvexní množina. Funkce f : X R se nazývá (i) konvexní na X, jestliže pro všechna x 1, x 2 X a každé λ [0, 1] platí f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ); (2.2.1) (ii) ostře (ryze) konvexní na X, jestliže nerovnost (2.2.1) je ostrá pro všechna x 1, x 2 X, x 1 x 2 a každé λ (0, 1); (iii) silně konvexní na X s konstantou silné konvexnosti ϑ>0, jestliže pro všechna x 1, x 2 X a každé λ [0, 1] platí f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ) ϑλ(1 λ) x 1 x 2 2. (2.2.2) Věta 2.2.2 PKonvexnost v praxi? PPříklady a další jednoduché vlastnosti... Nechť X R n je konvexní množina a nechť f : X R. Funkce f je konvexní na X právě tehdy, když její nadgraf (epigraf) epi f := { [x, β] R n+1 x X, β f(x) } je konvexní množina. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 25 / 136 Důkaz Věty 2.2.2 Konvexní funkce = Nechť f je konvexní funkce na X. Ukážeme, že s libovolnými dvěma body z epi f obsahuje epi f také celou úsečku spojující tyto body. Nechť tedy λ [0, 1] a [x 1, β 1 ], [x 2, β 2 ] epi f, tj. β 1 f(x 1 ) a β 2 f(x 2 ). Potom λ[x 1, β 1 ] + (1 λ)[x 2, β 2 ] = [ ] λx 1 + (1 λ)x }{{ 2, λβ } 1 + (1 λ)β 2 X a současně λβ 1 + (1 λ)β 2 λf(x 1 ) + (1 λ)f(x 2 ) f(λx 1 + (1 λ)x 2 ), což znamená, že také λ[x 1, β 1 ] + (1 λ)[x 2, β 2 ] epi f, tj. epi f je konvexní. = Nechť epi f je konvexní množina. Ukážeme, že pak pro libovolné dva body z X platí (2.2.1). Nechť x 1, x 2 X a λ [0, 1]. Pak pro [x 1, f(x 1 )], [x 2, f(x 2 )] epi f je také λ[x 1, f(x 1 )] + (1 λ)[x 2, f(x 2 )] = [ λx 1 + (1 λ)x 2, λf(x 1 ) + (1 λ)f(x 2 ) ] epi f, což ale znamená, že λf(x 1 ) + (1 λ)f(x 2 ) f(λx 1 + (1 λ)x 2 ), tj. f je konvexní na X. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 26 / 136

Konvexní funkce Věta 2.2.3 Nechť X R n je konvexní množina, funkce f 1,..., f m : X R jsou konvexní na X a α 1,..., α m 0 jsou daná čísla. Potom také funkce F(x) := α 1 f 1 (x) + + α m f m (x) je konvexní na X. Důkaz. Tvrzení plyne z přímého výpočtu, přičemž pouze stačí ukázat konvexnost nezáporného násobku konvexní funkce a součtu dvou funkcí (srovnej s důkazem druhé části Věty 2.1.2). Je-li f : x R konvexní na X, pak funkce αf je také konvexní na X pro libovolné α 0, neboť pro α = 0 máme nulovou funkci a pro α > 0 platí (αf)(λx 1 + (1 λ)x 2 ) = αf(λx 1 + (1 λ)x 2 ) α>0 αλf(x 1 ) + α(1 λ)f(x 2 ), kde x 1, x 2 X a λ [0, 1] jsou libovolná. Nechť nyní f 1, f 2 : X R jsou konvexní funkce na X. Potom také f 1 + f 2 je konvexní funkce na X, neboť pro libovolné x 1, x 2 X a λ [0, 1] máme (f 1 + f 2 )(λx 1 + (1 λ)x 2 ) PPříklady. = f 1 (λx 1 + (1 λ)x 2 ) + f 2 (λx 1 + (1 λ)x 2 ) λf 1 (x 1 ) + (1 λ)f 1 (x 2 ) + λf 2 (x 1 ) + (1 λ)f 2 (x 2 ) = λ[f 1 (x 1 ) + f 2 (x 1 )] + (1 λ)[f 1 (x 2 ) + f 2 (x 2 )] = λ(f 1 + f 2 )(x 1 ) + (1 λ)(f 1 + f 2 )(x 2 ). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 27 / 136 Konvexní funkce PNadgraf vs. vrstevnice. Věta 2.2.4 Nechť X R n je konvexní množina a f : X R je konvexní funkce na X. Pak pro libovolné K R je odpovídající dolní vrstevnicová množina V K := { x X f(x) K } také konvexní. Důkaz. Je-li V K = nebo jednoprvková množina, opak je tvrzení triviální. Nechť je tedy V K alespoň dvouprvková množina a x 1, x 2 V k jsou libovolné. Pak pro libovolné λ [0, 1] máme f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ) λk + (1 λ)k = K, tj. také λx 1 + (1 λ)x 2 V k, a tedy V K je skutečně konvexní množina. PKonvexnost vs. kvazikonvexnost. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 28 / 136

Konvexní funkce Věta 2.2.5 (Jensen) Nechť X R n je konvexní množina a funkce f : X R je konvexní na X. Pak pro libovolné m N, x 1,..., x m X a čísla λ 1,..., λ m 0 splňující m λ i = 1 platí ( m ) f λ i x i λ i f(x i ). (2.2.3) Je-li funkce f navíc ostře konvexní a λ 1,..., λ m (0, 1), pak rovnost v (2.2.3) nastane právě tehdy, když x 1 = = x m. Ekvivalence v první části? A ve druhé části? Obměna! (A B) = (C D) (C D) = (A B) ( (C D) ( C D) ) = ( A B) Jestliže existuje m N takové, že buď v (2.2.3) nastane rovnost pro různé body nebo nastane ostrá nerovnost pro stejné body, pak funkce f není ostře konvexní nebo λ i {0, 1} pro nějaké i {1..., m}. Přehlednější: Nechť m N je libovolné. Pak pro λ 1,..., λ m [0, 1] splňující m λ i = 1 a m-tici x 1,..., x m X obsahující alespoň dva různé body s odpovídajícími kladnými koeficienty λ p a λ q nastane v (2.2.3) ostrá nerovnost právě tehdy, když funkce f je ostře konvexní. Wikipedia: rovnost v (2.2.3) f je lineární nebo x 1 = = x m?! Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 29 / 136 Důkaz Věty 2.2.5 Konvexní funkce Tvrzení dokážeme pomocí matematické indukce. Pro m = 1 je nerovnost triviální, zatímco pro m = 2 je ekvivalentní s definicí konvexností funkce f na X. Připusťme nyní, že tvrzení platí pro nějaké m NK{1}. Ukážeme, že pak platí i pro m + 1. Je-li λ m+1 = 1, potom λ 1 = = λ m = 0 a nerovnost (2.2.3) je splněna triviálně. Uvažme tedy λ m+1 < 1. Pak f(λ 1 x 1 + + λ m+1 x m+1 ) ( [ = f (1 λ m+1 ) λ 1 1 λ m+1 x 1 + + λ ] m x m + λ m+1 x m+1 ), 1 λ m+1 λ přičemž 1 λ,..., m [0, 1] a m 1 λ m+1 1 λ m+1 + λ m x 1 λ m X, a tedy z konvexnosti funkce f na X plyne m+1 λ i 1 λ m+1 = 1. Proto platí x := λ 1 1 λ m+1 x 1 + Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 30 / 136

Konvexní funkce Důkaz Věty 2.2.5 (pokr.) f(λ 1 x 1 + + λ m+1 x m+1 ) = f ( (1 λ m+1 ) x + λ m+1 x m+1 ) konvexnost (1 λ m+1 )f( x) + λ m+1 f(x m+1 ) ( λ 1 = (1 λ m+1 )f x 1 + + 1 λ m+1 [ indukce (1 λ m+1 ) λ 1 1 λ m+1 f(x 1 ) + + = λ 1 f(x 1 ) + + λ m+1 f(x m+1 ), ) λ m x m + λ m+1 f(x m+1 ) 1 λ m+1 ] λ m 1 λ m+1 f(x m ) což dokazuje platnost nerovnosti (2.2.3) pro libovolné m N. + λ m+1 f(x m+1 ) Nechť je nyní navíc f ostře konvexní a λ 1,..., λ m (0, 1). Je-li x 1 = = x m =: x X, pak zřejmě platí ( f(λ 1 x 1 + + λ m x m ) = f x tedy v (2.2.3) nastává rovnost. ) λ i = f(x) = f(x) λ i = λ i f(x) = λ i f(x i ), Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 31 / 136 Důkaz Věty 2.2.5 (pokr.) Konvexní funkce Naopak, nechť x 1,..., x m X jsou taková, že v (2.2.3) nastává rovnost. Opět využijeme matematickou indukci. Nechť m = 2 a λ 1, λ 2 (0, 1) splňují λ 1 + λ 2 = 1. Pak rovnost (2.2.3) je tvaru f(λ 1 x 1 + λ 2 x 2 ) = λ 1 f(x 1 ) + λ 2 f(x 2 ). Z definice ostré konvexnosti pak ale nutně plyne, že x 1 = x 2 (proč?). Nechť toto platí pro nějaké m NK{1} a nechť f ( m+1 ) λ i x i = m+1 λ i f(x i ), (2.2.4) kde λ 1,..., λ m+1 (0, 1) splňují m+1 λ i = 1. Položme x := m λ i x 1 λ i. Potom m+1 f(λ 1 x 1 + + λ m x m ) = f ( (1 λ m+1 ) x ) + λ m+1 x m+1 konvexnost (1 λ m+1 )f( x) + λ m+1 f(x m+1 ) ( ) λ 1 λ m = (1 λ m+1 )f x 1 + + x m + λ m+1 f(x m+1 ) 1 λ m+1 1 λ m+1 (2.2.3) λ 1 f(x 1 ) + + λ m+1 f(x m+1 ). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 32 / 136

Konvexní funkce Důkaz Věty 2.2.5 (pokr.) Jenže vzhledem k indukčnímu předpokladu (2.2.4) je zřejmé, že se nerovnosti v předchozím výpočtu ve skutečnosti realizují jako rovnosti. Pak první z nich implikuje x = x m+1 (ze stejného důvodu jako pro m = 2) a poslední x 1 = = x m (indukční předpoklad). Pak z definice x plyne x m+1 = x = = x 1 1 λ m+1 λ i 1 λ m+1 x i = x 1 λ i = λ i 1 λ m+1 x 1 1 λ m+1 (1 λ m+1 ) = x 1, což dohromady dává x 1 = = x m = x m+1 a důkaz je hotov. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 33 / 136 Konvexní funkce PAplikace Jensenovy nerovnosti (AG-nerovnost a jiné). Věta 2.2.6 Nechť X R n je konvexní množina a funkce f : X R konvexní. Potom následující tvrzení jsou pravdivá. (i) Libovolné lokální minimum funkce f na X je současně globálním minimem. (ii) Množina bodů množiny X, v nichž funkce f nabývá svého minima na X, je konvexní. Je-li funkce f dokonce ostře konvexní, pak je tato množina nejvýše jednoprvková. (iii) Je-li funkce f diferencovatelná na otevřené množině U X a x X je jejím stacionárním bodem, tj. grad f(x ) = 0, pak x je bodem globálního minima funkce f na množině X. Konstantnost v části (ii) Ekvivalence v části (iii)? Důsledek Je-li f : X R (ostře) konvexní a spojitá funkce na konvexní a kompaktní množině X R n, pak f má na X (právě jedno) globální minimum. Důkaz. Weisestrassova věta. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 34 / 136

Konvexní funkce Minimalizace & silná konvexnost Je-li funkce f : X R silně konvexní s konstantou silné konvexnosti ϑ > 0 a spojitá na uzavřené konvexní množině X R n, potom pro libovolné K R jsou dolní vrstevnicové množiny V K ohraničené. Proto má f na X právě jedno globální minimum ( = opět Weierstrass ). ù Silně konvexní funkce jsou ideálním objektem pro minimalizační úlohy, což se bohužel ne vždy stává... Ovšem na druhou stranu silná konvexnost pochopitelně není nutná pro existenci jediného globálního minima (viz níže). X = R n Pro funkci f : R n R platí: (i) je-li f konvexní na R n a v x R n nastává lokální minimum, pak x je globální minimum; (ii) je-li f ostře konvexní na R n a v x R n nastává lokální minimum, pak x je jediné globální minimum; (iii) je-li f silně konvexní na R n, pak existuje jediné globální minimum. PPříklady. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 35 / 136 Důkaz Věty 2.2.6 Konvexní funkce (i) Důkaz provedeme sporem. Nechť x je lokální minimum funkce f na X, tj. existuje O(x ) takové, že pro všechna x O(x ) X platí f(x) f(x ). Nechť ale současně x není globálním minimem funkce f na X, tj. existuje x X takové, že f( x) < f(x ). Pak z konvexnosti funkce f a množiny X plyne f(λx + (1 λ) x ) λf(x ) + (1 λ)f( x) < λf(x ) + (1 λ)f(x ) = f(x ) }{{} X pro všechny λ [0, 1). To je ale spor s tím, že x je lokálním minimem, neboť pro λ dostatečně blízko 1 musí být λx + (1 λ) x O(x ) X (Pobrázek). (ii) Označme jako X množinu všech bodů, ve kterých funkce f nabývá svého minima na X, tj. X := {x X f(x) = f = inf x X f(x)}. Je-li množina X prázdná nebo jednoprvková, je tvrzení triviální. Nechť tedy X je alespoň dvouprvková, tj. máme různé x 1, x 2 X. Pak pro libovolné λ [0, 1] platí f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ) = f. Jenže z definice f vyplývá, že také f f(λx + (1 λ)y) pro libovolné x, y X. To znamená, že v ( ) nastává rovnost, tj. λx 1 + (1 λ)x 2 X pro libovolné λ [0, 1], a tedy množina X je konvexní. Je-li navíc funkce f ostře konvexní, pak pro λ (0, 1) nastane v ( ) rovnost právě tehdy, když x 1 = x 2, tj. množina X je nejvýše jednoprvková. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 36 / 136 ( )

Konvexní funkce Důkaz Věty 2.2.6 (pokr.) (iii) Viz důsledky Věty 2.4.2 (později) nebo přímo. Nechť x 1, x 2 X a λ [0, 1] jsou libovolné. Pak z konvexnosti funkce f na X máme a současně z diferencovatelnosti plyne f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ) (2.2.5) f(λx 1 + (1 λ)x 2 ) = f(x 2 + λ(x 1 x 2 )) = f(x 2 ) + grad f(x 2 ), λ(x 1 x 2 ) + ω(λ(x 1 x 2 )), (2.2.6) kde lim h 0 + ω(h) h = 0. Volbou x 1 = x, x 2 = x a kombinací (2.2.5) a (2.2.6) dostáváme pro λ (0, 1] nerovnost f(x) f(x ) (2.2.5) Je-li x = x, pak zjevně 1 [ f(λx + (1 λ)x ) f(x ) ] = 1 [ f(x + λ(x x )) f(x ) ] λ λ (2.2.6) = 1 [ grad f(x ), λ(x x ) + ω(λ(x x )) ] λ grad f(x )=0 1 = λ ω(λ(x x )). (2.2.7) f(x) f(x ) 0. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 37 / 136 Důkaz Věty 2.2.6 (pokr.) Konvexní funkce Totéž dostaneme v (2.2.7) limitním přechodem pro λ 0 +, neboť 1 lim λ 0 + λ ω(λ(x ω(λ(x x )) x )) = lim λ 0 + λ x x }{{} 0 x x. 1 Tedy pro libovolné x X platí f(x) f(x ) 0, tj. x je bodem globálního minima funkce f na X. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 38 / 136

Konvexní funkce Minimalizace konvexní funkce na nekonvexní množině? A maximalizace konvexní funkce na konvexní množině? Věta (i) Nechť f : X R je konvexní funkce na konvexní množině X R n. Jestliže f nabývá svého maxima na množině X v bodě x ri X, pak f je konstantní funkce, tj. nekonstantní konvexní funkce může nabývat svého globálního maxima pouze v bodech množiny XK ri X (tj. na r X X zejména je-li X otevřená, pak f svého maxima na X nenabývá). (ii) Základní věta konvexního programování: Máme-li konvexní funkci f : X R na polytopu X := conv{x 1,..., x m } R n, pak je maximum funkce f na X dosaženo v některém z bodů x 1,..., x m (případně ve více z nich P na celé hraně??). Obecněji: je-li X konvexní a kompaktní množina, pak maximum nastává v extrémním bodě (tj. v takovém bodě, který není netriviální konvexní kombinací dvou bodů z X). Důsledek=Základní věta lineárního programováni: Je-li funkce f afinní, pak globální minimum nastává v některém z bodů x 1,..., x m ( vrcholů polytopu). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 39 / 136 Oddělování konvexních množin a jeho důsledky 2.1 Konvexní množiny 2.2 Konvexní funkce 2.3 Oddělování konvexních množin a jeho důsledky 2.4 Vlastnosti konvexních funkcí 2.5 Subgradient a subdiferenciál 2.6 Fenchelova transformace Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 40 / 136

Oddělování konvexních množin a jeho důsledky PMotivace. Definice 2.3.1 Neprázdné množiny X 1, X 2 R n se nazývají (i) oddělitelné, jestliže existuje p R n K{0} takový, že p, x 1 p, x 2 (2.3.1) pro každé x 1 X 1 a x 2 X 2 ; (ii) vlastně oddělitelné, jestliže jsou oddělitelné a zároveň existují body x 1 X 1 a x 2 X 2 splňující p, x 1 > p, x 2 ; (iii) silně oddělitelné, jestliže existuje p R n K{0} takový, že inf p, x 1 > sup p, x 2. x 1 X 1 x 2 X 2 Je-li navíc β [sup x2 X 2 p, x 2, inf x1 X 1 p, x 1 ], nadrovina H p,β := { x R n p, x = β } se nazývá oddělující nadrovinou množin X 1 a X 2. PVlastnosti z definice a příklady... Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 41 / 136 Oddělování konvexních množin a jeho důsledky Definice 2.3.2 Nechť X R n je neprázdná množina a x R n. Bod x X nazveme projekcí bodu x na množinu X a označíme Π X (x), jestliže Π X (x) x y x pro každé y X. PPříklady (existence a jednoznačnost). Lemma 2.3.3 Nechť X R n je neprázdná, uzavřená a konvexní množina. Pak pro libovolný bod x R n existuje jediná projekce Π X (x ) X a pro každé x X platí Π X (x ) x, x Π X (x ) 0, (2.3.2) Π X (x ) x, x x Π X (x ) x 2 0. (2.3.3) Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 42 / 136

Důkaz Lemma 2.3.3 Oddělování konvexních množin a jeho důsledky Je-li x X, pak tvrzení je triviální, neboť nutně Π X (x ) = x. Nechť tedy x X. Nejdříve si uvědomme, že projekce bodu x na množinu X je vlastně řešením úlohy f(x) := x x min, x X. (2.3.4) Pak funkce f odpovídá kvadratické formě s maticí A = I plus afinní část. To znamená, že f je ostře konvexní, a z Věty 2.2.6(ii) vyplývá, že úloha (2.3.4) má nejvýše jedno řešení. Položme nyní Y := X { x R n x x R }, kde R R dostatečně velké (jak? viz níže). Pak množina Y je kompaktní, a tedy existuje řešení úlohy f(x) min, x Y. Jenže řešení této úlohy je totožné s řešením (2.3.4) (proč? volba R), tj. projekce Π X (x ) existuje a je jednoznačně určena. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 43 / 136 Oddělování konvexních množin a jeho důsledky Důkaz Lemma 2.3.3 (pokr.) Z konvexnosti množiny X platí pro libovolné x X a λ (0, 1], že Π X (x ) x 2 Π X(x ) řeší (2.3.4) λx + (1 λ)π X (x ) x 2 = }{{} X & Π X (x ) = ΠX (x ) x + λ [ x Π X (x ) ] 2 = = Π X (x ) x + λ [ x Π X (x ) ], Π X (x ) x + λ [ x Π X (x ) ] = = Π X (x ) x, Π X (x ) x + λ Π X (x ) x, x Π X (x ) + + λ x Π X (x ), Π X (x ) x + λ 2 x Π X (x ), x Π X (x ) = Π X (x ) x 2 + 2λ Π X (x ) x, x Π X (x ) + λ 2 x Π X (x ) 2. Vydělením číslem λ (0, 1] dostáváme 0 2 Π X (x ) x, x Π X (x ) + λ x Π X (x ) 2, z čehož limitním přechodem pro λ 0 + obdržíme což je nerovnost (2.3.2). Navíc odtud plyne Π X (x ) x, x Π X (x ) 0, 0 Π X (x ) x, x Π X (x ) + x x = Π X (x ) x, x x + Π X (x ) x, x Π X (x ) = Π X (x ) x, x x Π X (x ) x 2, tj. platí Π X (x ) x, x x Π X (x ) x 2 0, což je nerovnost (2.3.3). Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 44 / 136

Oddělování konvexních množin a jeho důsledky Díky předchozímu výsledku snadno odvodíme nutnou a postačující podmínku silné oddělitelnosti. Věta 2.3.4 Neprázdné konvexní množiny X 1, X 2 R n jsou silně oddělitelné právě tehdy, když mají nenulovou vzdálenost, tj. ρ(x 1, X 2 ) := inf x 1 x 2 > 0, x 1 X 1,x 2 X 2 což je ekvivalentní s podmínkou 0 X 1 X 2. Toto ukazuje rozdíl mezi vlastní a silnou oddělitelností dvou množin. Poznámka Podmínky Věty 2.3.4 jsou splněny zejména v případě (i) X 1 = {x} a x X 2, (ii) X 1 X 2 = a X 1 nebo X 2 je ohraničená. Pozor! Nestačí, aby množiny X 1, X 2 byly konvexní, disjunktní a uzavřené, např.p, viz následující důsledek. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 45 / 136 Důkaz Věty 2.3.4 Oddělování konvexních množin a jeho důsledky = Nechť X 1, X 2 jsou silně oddělitelné (nemusí být konvexní), pak 0 < ε =: inf x 1 X 1 p, x 1 sup x 2 X 2 p, x 2 inf A sup B=inf(A B) = inf (x 1,x 2 ) X 1 X 2 p, x 1 x 2 C S a tedy ρ(x 1, X 2 ) ε/ p > 0. inf p x 1 x 2 = p ρ(x 1, X 2 ), (x 1,x 2 ) X 1 X 2 Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 46 / 136

Důkaz Věty 2.3.4 (pokr.) Oddělování konvexních množin a jeho důsledky = Nechť X 1, X 2 jsou konvexní množiny a platí ρ(x 1, X 2 ) > 0. Označme X := X 1 X 2 (pozor, platí pouze X 1 X 2 X 1 X 2 ). Pak X je konvexní a uzavřená (viz V.2.1.2(ii) a V.2.12(iv)). Protože ρ(x 1, X 2 ) > 0 ρ(x 1, X 2 ) > 0, máme 0 X (Pvskutku?). Pak ale p := Π X (0) 0 a ukážeme, že právě tento vektor splňuje požadavky silné oddělitelnosti (tj. p je normálový vektor /silně/ oddělující nadroviny). Podle Lemma 2.3.3 je vektor p určen jednoznačně a z nerovnosti (2.3.3) máme při x = 0 vztah p, x p 2 > 0 pro všechna x X, z čehož ihned vyplývá inf x X p, x > 0. Současně pro libovolné x 1 X 1 a x 2 X 2 je x := x 1 x 2 X a platí inf = x X inf p, x 1 x 2 = (x 1,x 2 ) X 1 X 2 ) inf p, x 1 sup p, x 2. x 1 X 1 x 2 X 2 Tudíž z čehož plyne tvrzení. inf p, x 1 sup p, x 2 > 0, x 1 X 1 x 2 X 2 Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 47 / 136 Oddělování konvexních množin a jeho důsledky Z Věty 2.3.4 ihned vyplývá následující tvrzení (důkaz?). Důsledek 2.3.5 Nechť X 1, X 2 R n jsou neprázdné, konvexní a disjunktní množiny. Nechť navíc X 1 je uzavřená a X 2 kompaktní. Potom jsou množiny X 1, X 2 silně oddělitelné. A nyní již můžeme podat umělecký (vnější) popis uzavřených konvexních množin (tzv. geometrická Hahnova Banachova věta základní princip konvexní geometrie). Věta 2.3.5a Libovolná uzavřená konvexní množina X R n je řešením (nekonečné) soustavy neostrých lineárních nerovnic. (Geometricky: každá uzavřená konvexní množina X R n je průnikem uzavřených poloprostorů, konkrétně všech uzavřených poloprostorů obsahujících X.) Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 48 / 136

Důkaz Věty 2.3.5a Oddělování konvexních množin a jeho důsledky Je-li X =, je tvrzení triviální, neboť se jedná o průnik dvou vhodně zvolených (tj. disjunktních) uzavřených poloprostorů. Je=li X = R n, pak je tvrzení také triviální, neboť se jedná o řešení prázdného systému, tj. Ax b pro A = 0 a b = 0. Nechť tedy X R n je uzavřená konvexní množina. Je-li x X libovolné, pak x má kladnou vzdálenost od X (proč?), a tudíž existuje nadrovina, která silně odděluje množiny {x} a X (Věta 2.3.4), tj. pro každé x X existuje vektor p x R n K{0} splňující p x, x > α x := sup p x, y. y X Současně pro každé x X obsahuje uzavřený poloprostor H x := {y R n p x, y α x } jistě celou množinu X a neobsahuje bod x. Proto X není větší (a samozřejmě ani menší) než průnik všech uzavřených poloprostorů, které obsahují X, tj. X = x X H x. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 49 / 136 Oddělování konvexních množin a jeho důsledky Mezi všemi uzavřenými poloprostory, které obsahují uzavřenou konvexní a netriviální (tj. a R n ) množinu X jsou velmi zajímavé ty extrémní, tj. takové jejichž hraniční nadrovina se dotýká množiny X. Tato terminologie je použitelná pro libovolnou (nikoli nutně uzavřenou) konvexní množinu, což je obsahem následující definice. S pomocí těchto nadrovin odvodíme postačující podmínku pro oddělitelnost dvou konvexních množin (V.2.3.7a) a ekvivalentní charakterizaci vlastní oddělitelnosti dvou konvexních množin (V.2.3.8). Definice 2.3.6 Nechť X R n je neprázdná množina a nechť a X := XK int X. Nadrovina H p,β se nazývá (i) opěrnou nadrovinou množiny X v bodě a, jestliže p, x β = p, a pro každé x X; (ii) vlastní opěrnou nadrovinou množiny X, jestliže je opěrnou nadrovinou množiny X a existuje-li x X takové, že PPříklady. p, x > β. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 50 / 136

Oddělování konvexních množin a jeho důsledky f(x 1, x 2 ) = x 2 1 x 1x 2 + x 2 2 & z = 2(x 1 x 2 ) Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 51 / 136 Oddělování konvexních množin a jeho důsledky f(x 1, x 2 ) = x 2 1 2x 1x 2 + x 2 2 & z = (x 1 x 2 )/2 Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 52 / 136

Oddělování konvexních množin a jeho důsledky f(x 1, x 2 ) = x 2 1 + 2x 1x 2 + 2x 2 2 & z = (x 1 + x 2 )/2 Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 53 / 136 Oddělování konvexních množin a jeho důsledky Věta 2.3.7 Poznámka Nechť X R n je neprázdná konvexní množina a nechť a r X X. Pak v bodě a existuje vlastní opěrná nadrovina množiny X. (i) r X vs. X. (ii) Tvrzení Věty 2.3.7 můžeme ještě rozšířit: pro existenci opěrné nadroviny stačí a X. Důkaz. Je-li int X =, pak aff X R n a aff X je průsečík několika nadrovin, vždyť aff X = {x R n Ax = b}. Potom ale nutně některá z těchto nadrovin je právě opěrnou (ne nutně vlastní) nadrovinou pro a X X. Je-li int X, pak X = r X a tvrzení plyne přímo z Věty 2.3.7. (iii) X = {a}? Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 54 / 136

Důkaz Věty 2.3.7 Oddělování konvexních množin a jeho důsledky Popíšeme konstrukci normálového vektoru opěrné nadroviny. Nechť a r X je libovolný bod. Pak existuje posloupnost {a k } k N taková, že a k aff XKX a a k a pro k (Pobrázek). Potom podle Věty 2.3.3 existuje Π X (a k ) pro každé k N a platí Π X (a k ) a k. Položme p k := Π X(a k ) a k Π X (a k ) a k. Pak p k = 1 a p k Lin X (viz Definici 2.1.6). Množina {y R n y = 1} je kompaktní, můžeme z posloupnosti {p k } k N vybrat konvergentní podposloupnost. BÚNO proto předpokládejme, že p k p, přičemž p = 1 a p Lin X (z uzavřenosti Lin X). Je toto hledaný normálový vektor? Z nerovnosti (2.3.3) plyne pro libovolné x X, že p k, x p k, a k = p k, x a k = (2.3.3) 1 Π X (a k ) a k Π X (a k ) a k, x a k 1 Π X (a k ) a k Π X (a k ) a k 2 = Π X (a k ) a k > 0, neboť Π X (a k ) a k. Limitním přechodem pro k dostáváme p, x p, a =: β pro každé x X, což znamená, že H p,β je hledaná opěrná nadrovina. A je vlastní? Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 55 / 136 Důkaz Věty 2.3.7 (pokr.) Oddělování konvexních množin a jeho důsledky Podle Věty 2.1.12(ii) je ri X, a tedy existuje x 1 ri X, tj. O ε (x 1 ) aff X X pro nějaké ε > 0. Položme x := x 1 εp pro nějaké dostatečně malé ε > 0. Protože p Lin X, je x aff X. Z definice ri X navíc vyplývá, že pro dostatečně malé ε > 0 je dokonce x ri X, a tedy také x X. Proto β p, x = p, x 1 εp = p, x 1 ε p, p = p, x 1 ε, tj. p, x 1 β+ε > β, což dokazuje, že nadrovina H p,β je vlastní opěrnou nadrovinou. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 56 / 136

Věta 2.3.7a Oddělování konvexních množin a jeho důsledky Tento výsledek nyní využijeme v důkazech tvrzení o oddělitelnosti konvexních množin. Nejdříve začneme se samotnou oddělitelností (srovnej s Větou 2.3.4). Nechť X 1, X 2 R n jsou neprázdné, konvexní a disjunktní množiny. Pak pro tyto množiny existuje oddělující nadrovina. Důkaz. Uvažme konvexní množinu X := X 1 X 2 = {x R n x = x 1 x 2 pro nějaké x 1 X 1, x 2 X 2 }. Protože X 1 X 2 =, máme 0 X a mohou tedy nastat pouze dvě možnosti: (i) 0 X. Pak množiny {0} a X jsou silně oddělitelné, tj. existuje p R n K{0} takový, že inf p, x }{{} x X = p, x 1 x 2 > sup p, y = 0, y {0} tj. inf x1 X 1 p, x 1 > sup x2 X 2 p, x 2, a tedy množiny X 1, X 2 jsou dokonce silně oddělitelné. (ii) 0 XKX r X. Pak podle Věty 2.3.7 existuje opěrná nadrovina, tj. existuje p R n K{0} takový, že p, x β := p, 0 = 0 pro všechna x X, tj. p, x 1 p, x 2 pro všechna x 1 X 1 a x 2 X 2. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 57 / 136 Oddělování konvexních množin a jeho důsledky Věta 2.3.8 Neprázdné konvexní množiny X 1, X 2 R n jsou vlastně oddělitelné právě tehdy, když ri X 1 ri X 2 =. Důkaz. = Sporem. Nechť X 1, X 2 jsou vlastně oddělitelné nadrovinou H p,β a předpokládejme, že existuje x ri X 1 ri X 2. Z definice vlastní oddělitelnosti vyplývá, že existují x 1 X 1 a x 2 X 2 takové, že Pro α [ 1, 0] položme p, x 1 > p, x 2, tj. p, x 1 x 2 > 0. ( ) x 1 := x α(x 1 x) = αx 1 + (1 + α)x X 1, x 2 := x α(x 2 x) = αx 2 + (1 + α)x X 2. Navíc podle Věty 2.1.12(iii) máme také x 1 X 1 a x 2 X 2 pro α > 0 dostatečně malé, neboť x 1 = x + (γ 1)(x x 1 ) a x 2 = x + (γ 1)(x x 2 ) pro γ := 1 + α. Pak ale pro toto α > 0 dostaneme p, x 1 p, x 2 = p, α(x x 1 ) α(x x 2 ) = α p, x 1 x 2 ( ) < 0, což je spor s oddělitelností množin X 1 a X 2. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 58 / 136

Důkaz Věty 2.3.8 (pokr.) Oddělování konvexních množin a jeho důsledky = Nechť ri X 1 ri X 2 =. Položme X := ri X 1 ri X 2. Pak X je konvexní množina a 0 X, přičemž mohou nastat dvě možnosti: (i) 0 X. Potom podle Věty 2.3.4 jsou množiny {0} a X silně oddělitelné a tato oddělující nadrovina vlastně odděluje i množiny X 1 a X 2. (ii) 0 XKX r X. Potom podle Věty 2.3.7 existuje v bodě 0 vlastní opěrná nadrovina množiny X a právě tato nadrovina vlastně odděluje množiny X 1 a X 2. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 59 / 136 Oddělování konvexních množin a jeho důsledky Teorie soustav lineárních nerovností... Věta 2.3.9 (Farkas & Minkowski) Obměna Nechť A R m n a b R m. Potom je právě jeden z následujících systémů rovnic a nerovnic řešitelný: Alternativní formulace: Ax = b, x 0, (2.3.5) A y 0, y, b < 0. (2.3.6) Soustava (2.3.5) má řešení právě tehdy, když pro všechna y R m taková, že A y 0, platí y, b 0. PObrázek. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 60 / 136

Důkaz Věty 2.3.9 Oddělování konvexních množin a jeho důsledky = (I-ano & II-ne) Nechť x R n, x 0, řeší (2.3.5). Pak pro libovolné y R m splňující A y 0 platí y, b = y, Ax = A y, x 0, neboť A y 0 a x (po složkách). = (I-ne & II-ano) Nyní předpokládejme, že soustava (2.3.5) nemá řešení. Ukážeme, že pak existuje y R m splňující (2.3.6). Označme a 1,..., a n R m sloupce matice A. Pak vektor b cone{a 1,..., a n } (proč?). Protože cone{a 1,..., a n } je uzavřená množina, jsou množiny {b} a cone{a 1,..., a n } silně oddělitelné, viz Věta 2.3.4. Nechť y je normálový vektor oddělující nadroviny, tj. y, z > y, b (BÚNO tvar nerovnosti) pro všechna z cone{a 1,..., a n }. Pak pro všechna x R n, x 0, platí A y, x = y, Ax Ax cone{a 1,...,a n } > y, b. (2.3.7) Dosadíme-li do (2.3.7) x = 0, pak 0 > y, b. Pokud naopak budeme jednotlivé složky x zvětšovat nad všechny meze (do ), pak nerovnost (2.3.7) bude splněna pouze v případě, že A y 0. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 61 / 136 Oddělování konvexních množin a jeho důsledky Poznámka Tvrzení Věty 2.3.9 lze také formulovat takto: Jestliže systém f 0 (x) := a 0, x < 0, f i (x) := a i, x 0, i {1,..., m} nemá pro daná a 0,..., a m R n řešení na R n, pak existují čísla y 1,..., y m 0 taková, že a 0 + y i a i = 0, tj. f 0 (x) + pro každé x R n. y i f i (x) = 0 Důkaz. Pokud v (2.3.6) položíme b := a 0, A := (a 1,..., a m ) a zaměníme-li x y, pak soustava A x 0 & x, a 0 < 0 nemá podle předpokladů řešení. Proto systém Ay = a 0 & y 0 má řešení. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 62 / 136

Oddělování konvexních množin a jeho důsledky V literatuře lze najít celou řadu různých vět o alternativě, které různými způsoby rozšiřují/zobecňují Větu 2.3.9. My jsme uvedli právě toto tvrzení kvůli jeho důležitosti v otázce řešitelnosti úloh lineárního programování. Věta 2.3.11 Nechť A R m n, b R m a c R n jsou dány. Jestliže (přípustná) množina X := { x R n Ax b } je neprázdná a funkce f(x) := c, x je zdola ohraničená na X, pak úloha lineárního programování je řešitelná. Důkaz. M0160. c, x min, x X, (2.3.8) Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 63 / 136 Oddělování konvexních množin a jeho důsledky Následující tvrzení a jeho regulární modifikace budou hrát velmi důležitou roli při dokazování základní věty matematického programování. Věta 2.3.12 (Fan & Glicksburg & Hoffman) Nechť množina X R n je konvexní, funkce f 1,..., f k : X R jsou konvexní a funkce f k+1,..., f m afinní, tj. pro j {k + 1,..., m} máme f j (x) = a j, x + β j pro vhodná a j R n a β j R. Jestliže systém nerovností a rovností } f i (x) < 0, i {1,..., k}, f j (x) = 0, j {k + 1,..., m}, (2.3.9) nemá řešení na X, pak existují takové konstanty y 1,..., y k 0 a y k+1,..., y m R, že alespoň pro jedno l {1,..., m} je y l 0 a pro všechna x X platí y i f i (x) 0. (2.3.10) Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 64 / 136

Důkaz Věty 2.3.12 Oddělování konvexních množin a jeho důsledky Definujme množiny A := { u R m existuje x X tak, že f i (x) u i, i {1,..., k}, & f j (x) = u j, j {k + 1,..., m} }, B := { v R m v i < 0, i 1,..., k, & v j = 0, j {k + 1,..., m} }. Jsou-li u, ũ A a x, x X odpovídající prvky z X z definice A, pak pro λ [0, 1] platí, že λu + (1 λ)ũ A, tj. množina A je konvexní. Vskutku, toto plyne z předpokladů na f i a f i (λx + (1 λ) x) λf i (x) + (1 λ)f i ( x) λu i + (1 λ)ũ i, i {1,..., k} f j (λx + (1 λ) x) = a j, λx + (1 λ) x + β j = = λ( a j, x + β j ) + (1 λ)( a j, x + β j ) = = λu j + (1 λ)ũ j, j {k + 1,..., m}. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 65 / 136 Oddělování konvexních množin a jeho důsledky Důkaz Věty 2.3.12 (pokr.) Množina B je také konvexní (zřejmé). Protože systém (2.3.9) nemá řešení na X, platí A B =. To znamená, že množiny A, B jsou oddělitelné, tj. existuje y = (y 1,..., y m ) 0 takové, že y, u y, v pro všechna u A a v B, tj. y i u i k y i v i. Pokud v 1,..., v k (levá strana je daná), vidíme, že předchozí nerovnost je splněna pouze tehdy, když y 1,..., y m 0. Dosadíme-li do této nerovnosti u i := f i (x) pro libovolné x X, i {1,..., m}, a jestliže v 1,..., v k 0, dostaneme požadované tvrzení. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 66 / 136

Oddělování konvexních množin a jeho důsledky Poznámka (i) Tvrzení Věty 2.3.12 nevylučuje y 1 = = y k = 0! (ii) Předpoklady konvexnosti a afinnosti hrají ve Větě 2.3.12 klíčovou roli. Položme k = 1 a m = 2 a zkuste najít funkce f 1, f 2 takové, že tvrzení Věty 2.3.12 již nebude splněno, pokud f 1 nebude konvexní, f 2 nebude afinní, množina X nebude konvexní. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 67 / 136 Oddělování konvexních množin a jeho důsledky Nyní si ukážeme regulární modifikace Věty 2.3.12. Jejich obsahem jsou tzv. podmínky regularity, které zajišťují kladnost jistého význačného koeficientu y i v (2.3.10). Po vydělení tohoto vztahu číslem y i se příliš nezmění, a tak můžeme BÚNO brát y i = 1. Navíc B/NO můžeme brát, že tento význačný index odpovídá i = 0. Věta 2.3.13 Nechť množina X R n je konvexní a funkce f 0,..., f m : X R jsou konvexní. Jestliže systém nerovností f 0 (x) < 0, (2.3.11) f i (x) < 0, i {1,..., m}, (2.3.12) nemá řešení na X a podsystém (2.3.12) má řešení na X, pak existují y 1,..., y m 0 taková, že pro všechna x X platí f 0 (x) + y i f i (x) 0. (2.3.13) Poznámka Ukažte, že řešitelnost podsystému (2.3.12) hraje v tvrzení Věty 2.3.13 klíčovou roli, tj. při m = 1 najděte f 0 a f 1 tak, že podsystém (2.3.12) nemá řešení a tvrzení věty naplatí. Petr Zemánek (PřF MU, Brno) zemanekp@math.muni.cz M5170: Kapitola 2 28. ledna 2019 68 / 136